Palestra: Spark Streaming + Kafka sem perdas

Sala:

Dia da semana:

2:40pm - 3:30pm

A integração do sistema de mensageria Kafka com Spark Streaming é uma solução poderosa que tem sido utilizada para resolver diversos problemas de Big Data. Mas existem diferentes modos de integração entre essas ferramentas, cada um com suas vantagens e desvantagens. Nessa palestra vamos compartilhar a experiência adquirida ao construir uma arquitetura que utiliza Kafka como fonte de dados para o processamento de milhões de mensagens, integrado a Spark Streaming para um dos maiores e-commerces do país.

​Utilizando esta arquitetura, foi possível criar um ambiente para análise de dados de navegação do usuário pelo site, assim como métricas de venda 'near-realtime', com disponibilidade 24/7 – sem perdas de mensagens e garantindo que cada mensagem seja processada uma única vez.

​Serão apresentadas as dificuldades encontradas e o resultado obtido com a utilização de Kafka + Spark Streaming em uma situação complexa e real.

Tracks

Segunda-feira

Terça-feira

Quarta-feira