Você está visualizando o site de uma EDIÇÃO PASSADA do QCon.

Palestra: Processamento de dados em "tempo real" com Apache Spark Structured Streaming

Track: Armazenamento e Processamento de Big Data

Sala: 4 São Francisco

Horário: 10:50am - 11:35am

Dia da semana: Segunda-feira

Nível: Iniciante

Persona: Arquiteto(a), Cientista de Dados, Desenvolvedor(a) Programador(a), Desenvolvedor(a) Sênior

Apresentação em Português

Share this on:

This presentation is now available to view on InfoQ.com

Assista a palestra

Pontos Principais

  • Conhecer o funcionamento da API de processamento de Streams do Apache Spark;
  • Entender como tornar sua aplicação resiliente no processamento de Stream de dados
  • Como criar uma aplicação de processamento em tempo real com Apache Spark

Resumo

Você tem um grande volume de transações e precisa transformar e agregar todos os dados antes de persistir? O Apache Spark tem uma solução de processamento de dados via Structured Streaming, que provê uma API simples para implementar o processamento de dados em "tempo real" de forma escalável.

Nessa apresentação vou mostrar o Structured Streaming do Apache Spark e como utilizamos essa tecnologia para processar mais de 100 milhões de transações de tentativas de tarifação por dia. Vou apresentar também nossa arquitetura e alguns aspectos que sobre Streams que poderão te ajudar na tarefa de trabalhar e transformar grandes volumes de dados.

Speaker: Eiti Kimura

Coordenador de TI na Movile / Wavy

Eiti Kimura é Coordenador de TI e Arquiteto de Sistemas Distribuídos de alto desempenho na Movile Brasil. Eiti tem 17 anos de experiência em desenvolvimento de software. É entusiasta de tecnologias open-source, e é MVP do Apache Cassandra desde 2014 e tem vasta experiência com sistemas de backend, em especial plataformas de tarifação para as principais operadoras de telefonia do Brasil. Eiti possuí mestrado em engenharia elétrica e especialização em engenharia de software, além de palestrar internacionalmente em eventos como Strata Hadoop World, Spark Summit, Cassandra Summit e RedisConf.

Find Eiti Kimura at

Tracks

  • Arquiteturas que você sempre quis conhecer

    Segredos arquiteturais de aplicações populares, com milhões de pessoas usuárias e que nunca saem do ar.

  • Engenharia aplicada a Machine Learning

    Conheça as principais técnicas de engenharia  e arquitetura de software de larga escala aplicadas a Machine Learning.

  • Microservices: melhores práticas e padrões

    Frameworks modernos e os desafios de implantação, gestão e pós-produção

  • Arquiteturas de vanguarda

    Conheça as técnicas e tecnologias modernas que dominarão as arquiteturas em 2020.

  • Atingindo todo o potencial de containers

    Técnicas modernas de DevOps, Containers e Continuous Delivery para explorar o potencial da conteinerização de aplicações.

  • Machine Learning e Inteligência Artificial

    Algoritmos, técnicas e ferramentas: o que está por trás de sistemas e soluções cada vez mais assertivas.

  • Data Science aplicada

    Tecnologias e as boas práticas da ciência de dados trazendo ganho e diferencial competitivo para grandes empresas.

  • Java e JVM em evolução

    Performance, escalabilidade e as mais recentes novidades da principal plataforma de desenvolvimento no Brasil e no mundo.

  • JavaScript: a plataforma da web moderna

    Explore profundamente os frameworks que tornam o JavaScript tão popular e saiba como as linguagens baseadas em JavaScript estão evoluindo o desenvolvimento de front-end (e back-end).

  • Levando sua carreira para o próximo nível

    Habilidades e estratégias para destravar sua carreira e potencializar seu desenvolvimento profissional.

  • Construindo culturas de desenvolvimento duradouras

    Criando e evoluindo a cultura de empresas: novas formas de organizar times com foco em produtividade. 

  • Ciência da Computação no mundo real

    Temas avançados em computação. Técnicas clássicas e modernas direto da academia para o seu código.

  • Linguagens do século 21

    Linguagens e plataformas emergentes, com ênfase em linguagens projetadas para alta concorrência e sistemas distribuídos.

  • AMA (Ask Me Anything)

    Discussões mais profundas com palestrantes do QCon São Paulo.

  • Solutions Track

    Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.