Track: Armazenamento e Processamento de Big Data

Sala: Sala 02

Dia da semana: Segunda-feira

A Engenharia de Dados é uma disciplina que ganha relevância em um mundo onde as decisões baseadas em dados e inteligência artificial são cada vez mais frequentes. À medida que a quantidade de dados aumenta, novas técnicas e ferramentas para armazenamento e processamento surgem para resolver problemas típicos dessa nova era. A Engenharia de Dados traz mecanismos de armazenamento de dados especializados (baseados em grafos, otimizados para consultas, filas distribuídas, etc), ferramentas para processamento de streams (Spark, Beam, Flink, etc) e arquiteturas de dados que usam todas estas ferramentas para criar soluções escaláveis.

Esta trilha irá explorar quais são as tendências nessa área, quais são as tecnologias emergentes e como algumas das empresas mais avançadas em Engenharia de Dados estão resolvendo seus problemas.

Track Host: Fabiane Nardon

Chief Scientist na Tail

Fabiane é uma cientista da computação com PhD em Engenharia Elétrica que adora criar aplicações disruptivas. Depois de ganhar um Duke's Choice Award no JavaOne'2005, ela foi eleita Java Champion, liderou a comunidade JavaTools do Java.net e é palestrante frequente em conferências no Brasil e no exterior. Atualmente, Fabiane se diverte criando aplicações de Data Science na TailTarget, empresa que ela ajudou a construir.

CASE STUDY TALK (50 MIN)

2:05pm - 2:50pm

Processamento de dados em "tempo real" com Apache Spark Structured Streaming

Você tem um grande volume de transações e precisa transformar e agregar todos os dados antes de persistir? O Apache Spark tem uma solução de processamento de dados via Structured Streaming, que provê uma API simples para implementar o processamento de dados em "tempo real" de forma escalável.

Nessa apresentação vou mostrar o Structured Streaming do Apache Spark e como utilizamos essa tecnologia para processar mais de 100 milhões de transações de tentativas de tarifação por dia. Vou apresentar também nossa arquitetura e alguns aspectos que sobre Streams que poderão te ajudar na tarefa de trabalhar e transformar grandes volumes de dados.

Eiti Kimura, Coordenador de TI na Movile / Wavy
CASE STUDY TALK (50 MIN)

4:05pm - 4:50pm

A definir

Gleicon Moraes, Diretor de Data Engineering na Lucid LLC

Tracks

  • Arquiteturas que Você Sempre Quis Conhecer

    Segredos arquiteturais de aplicações populares, com milhões de pessoas usuárias e que nunca saem do ar.

  • Machine Learning e Inteligência Artificial

    Algoritmos, técnicas e ferramentas: o que está por trás de sistemas e soluções cada vez mais assertivas.

  • Construindo Culturas de Desenvolvimento Duradouras

    Criando e evoluindo a cultura de empresas: novas formas de organizar times com foco em produtividade. 

  • Java e JVM: Inovações no Ecossistema e Linguagem

    A maturidade, padrões, multiplataforma, retrocompatibilidade e a maior comunidade de desenvolvimento do mundo são algumas das características que tornam o Java a principal plataforma de desenvolvimento. Uma das características mais  interessantes da plataforma a sua aplicação nas mais distintas áreas de negócio, entre elas, o  mercado financeiro, acadêmico, saúde, entretenimento entre muitos outros.A trilha Java Moderno irá explorar a aplicação da plataforma nas novas buzzwords no mundo do desenvolvimento de software como por exemplo reactive, microservices, além das novidades do Java 9, 10 e 11.

  • Solutions Track #2

    Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.