Presentation: Processamento de dados em "tempo real" com Apache Spark Structured Streaming

Track: Armazenamento e Processamento de Big Data

Sala: Sala 02

Horário: 2:05pm - 2:50pm

Dia da semana: Segunda-feira

Nível: Iniciante

Persona: Arquiteto(a), Cientista de Dados, Desenvolvedor(a) Programador(a), Desenvolvedor(a) Sênior

Compartilhe essa página no:

Abstract

Você tem um grande volume de transações e precisa transformar e agregar todos os dados antes de persistir? O Apache Spark tem uma solução de processamento de dados via Structured Streaming, que provê uma API simples para implementar o processamento de dados em "tempo real" de forma escalável.

Nessa apresentação vou mostrar o Structured Streaming do Apache Spark e como utilizamos essa tecnologia para processar mais de 100 milhões de transações de tentativas de tarifação por dia. Vou apresentar também nossa arquitetura e alguns aspectos que sobre Streams que poderão te ajudar na tarefa de trabalhar e transformar grandes volumes de dados.

Speaker: Eiti Kimura

Coordenador de TI na Movile / Wavy

Eiti Kimura é Coordenador de TI e Arquiteto de Sistemas Distribuídos de alto desempenho na Movile Brasil. Eiti tem 17 anos de experiência em desenvolvimento de software. É entusiasta de tecnologias open-source, e é MVP do Apache Cassandra desde 2014 e tem vasta experiência com sistemas de backend, em especial plataformas de tarifação para as principais operadoras de telefonia do Brasil. Eiti possuí mestrado em engenharia elétrica e especialização em engenharia de software, além de palestrar internacionalmente em eventos como Strata Hadoop World, Spark Summit, Cassandra Summit e RedisConf.

Encontre mais informações sobre Eiti Kimura em

Perfil Palestrante

@eitikimura
Eiti Kimura

Tracks

  • Arquiteturas que Você Sempre Quis Conhecer

    Segredos arquiteturais de aplicações populares, com milhões de pessoas usuárias e que nunca saem do ar.

  • Machine Learning e Inteligência Artificial

    Algoritmos, técnicas e ferramentas: o que está por trás de sistemas e soluções cada vez mais assertivas.

  • Construindo Culturas de Desenvolvimento Duradouras

    Criando e evoluindo a cultura de empresas: novas formas de organizar times com foco em produtividade. 

  • Java e JVM: Inovações no Ecossistema e Linguagem

    A maturidade, padrões, multiplataforma, retrocompatibilidade e a maior comunidade de desenvolvimento do mundo são algumas das características que tornam o Java a principal plataforma de desenvolvimento. Uma das características mais  interessantes da plataforma a sua aplicação nas mais distintas áreas de negócio, entre elas, o  mercado financeiro, acadêmico, saúde, entretenimento entre muitos outros.A trilha Java Moderno irá explorar a aplicação da plataforma nas novas buzzwords no mundo do desenvolvimento de software como por exemplo reactive, microservices, além das novidades do Java 9, 10 e 11.

  • Solutions Track #2

    Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.

Programação 2018