Palestra: Processamento de dados em "tempo real" com Apache Spark Structured Streaming

Track: Armazenamento e Processamento de Big Data

Sala: Pequim

Horário: 2:05pm - 2:50pm

Dia da semana: Segunda-feira

Nível: Iniciante

Persona: Arquiteto(a), Cientista de Dados, Desenvolvedor(a) Programador(a), Desenvolvedor(a) Sênior

Apresentação em Português

Compartilhe essa página no:

Pontos Principais

  • Conhecer o funcionamento da API de processamento de Streams do Apache Spark;
  • Entender como tornar sua aplicação resiliente no processamento de Stream de dados
  • Como criar uma aplicação de processamento em tempo real com Apache Spark

Resumo

Você tem um grande volume de transações e precisa transformar e agregar todos os dados antes de persistir? O Apache Spark tem uma solução de processamento de dados via Structured Streaming, que provê uma API simples para implementar o processamento de dados em "tempo real" de forma escalável.

Nessa apresentação vou mostrar o Structured Streaming do Apache Spark e como utilizamos essa tecnologia para processar mais de 100 milhões de transações de tentativas de tarifação por dia. Vou apresentar também nossa arquitetura e alguns aspectos que sobre Streams que poderão te ajudar na tarefa de trabalhar e transformar grandes volumes de dados.

Palestrante: Eiti Kimura

Coordenador de TI na Movile / Wavy

Eiti Kimura é Coordenador de TI e Arquiteto de Sistemas Distribuídos de alto desempenho na Movile Brasil. Eiti tem 17 anos de experiência em desenvolvimento de software. É entusiasta de tecnologias open-source, e é MVP do Apache Cassandra desde 2014 e tem vasta experiência com sistemas de backend, em especial plataformas de tarifação para as principais operadoras de telefonia do Brasil. Eiti possuí mestrado em engenharia elétrica e especialização em engenharia de software, além de palestrar internacionalmente em eventos como Strata Hadoop World, Spark Summit, Cassandra Summit e RedisConf.

Encontre mais informações sobre Eiti Kimura em

Tracks

Segunda-feira, 6 de maio

Terça-feira, 7 de maio

Quarta-feira, 8 de maio