Palestra: Processamento de dados em "tempo real" com Apache Spark Structured Streaming
Share this on:
Pontos Principais
- Conhecer o funcionamento da API de processamento de Streams do Apache Spark;
- Entender como tornar sua aplicação resiliente no processamento de Stream de dados
- Como criar uma aplicação de processamento em tempo real com Apache Spark
Resumo
Você tem um grande volume de transações e precisa transformar e agregar todos os dados antes de persistir? O Apache Spark tem uma solução de processamento de dados via Structured Streaming, que provê uma API simples para implementar o processamento de dados em "tempo real" de forma escalável.
Nessa apresentação vou mostrar o Structured Streaming do Apache Spark e como utilizamos essa tecnologia para processar mais de 100 milhões de transações de tentativas de tarifação por dia. Vou apresentar também nossa arquitetura e alguns aspectos que sobre Streams que poderão te ajudar na tarefa de trabalhar e transformar grandes volumes de dados.
Tracks 2019
Segunda-feira, 6 de maio
-
Microservices: Melhores Práticas e Padrões
Frameworks modernos e os desafios de implantação, gestão e pós-produção.
-
Armazenamento e Processamento de Big Data
As últimas tendências, arquiteturas e ferramentas para armazenar e processar o seu Big Data.
-
Java e JVM: Inovações no Ecossistema e Linguagem
Performance, maturidade e novidades da principal plataforma de desenvolvimento no Brasil e no mundo.
-
Front-end Moderno
Conheça as tendências e ecossistema da web moderna.
-
Solutions Track
Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.
Terça-feira, 7 de maio
-
Arquiteturas que Você Sempre Quis Conhecer
Segredos arquiteturais de aplicações populares, com milhões de pessoas usuárias e que nunca saem do ar.
-
Machine Learning e Inteligência Artificial
Algoritmos, técnicas e ferramentas: o que está por trás de sistemas e soluções cada vez mais assertivas.
-
Construindo Culturas de Desenvolvimento Duradouras
Criando e evoluindo a cultura de empresas: novas formas de organizar times com foco em produtividade.
-
Ciência da Computação no Mundo Real
Temas avançados em computação. Técnicas clássicas e modernas direto da academia para o seu código.
-
Solutions Track
Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.
Quarta-feira, 8 de maio
-
Arquiteturas de Vanguarda
Conheça as técnicas e tecnologias modernas que dominarão as arquiteturas em 2020.
-
Data Science Aplicada
Tecnologias e as boas práticas da ciência de dados trazendo ganho e diferencial competitivo para grandes empresas.
-
Atingindo Todo o Potencial de Containers
Técnicas modernas de DevOps, Containers e Continuous Delivery para explorar o potencial da conteinerização de aplicações.
-
Linguagens do Século 21
Linguagens e plataformas emergentes, com ênfase em linguagens projetadas para alta concorrência e sistemas distribuídos.
-
Levando Sua Carreira Para o Próximo Nível
Habilidades e estratégias para destravar sua carreira e potencializar seu desenvolvimento profissional.
-
Solutions Track
Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.