Palestra: Streaming e armazenamento de grande volume de dados: quando seus dados não cabem em banco de dados tradicionais

Track: Armazenamento e Processamento de Big Data

Sala: 4 São Francisco

Horário: 4:05pm - 4:50pm

Dia da semana: Segunda-feira

Nível: Intermediário

Persona: Arquiteto(a), Desenvolvedor(a) Sênior, DevOps, Gestão (VP, CTO, CIO, Diretoria), Líder Técnico(a)

Apresentação em Português

Share this on:

Pontos Principais

  • Lambda architecture - uma arquitetura comum de streaming e arquivamento de dados com kafka, s3, python e Go;
  • Parquet, Avro, Thrift, CSV e JSON: formato de arquivos;
  • Como processar grandes volumes de dados e se recuperar de problemas: kafka e log distribuido.

Resumo

Nesta palestra vou falar sobre arquiteturas orientadas a eventos, arquivamento de dados e como o formato escolhido pode ajudar ou dificultar o processamento de grandes volumes. O formato em que os dados são armazenados é importante, por exemplo, se eles podem ser divididos, reprocessados ou se ocupam muito espaço ou são comprimidos. A forma como os dados serão utilizados também é um fator importante, pois nestas arquiteturas ter o dado armazenado em formatos distintos é mais barato e rapido do que mante-los em um formato relacional (se você souber quais queries serão executadas). Séries de tempo, dados capturados de eventos web, dados transacionais e datalakes vão se beneficiar destas ideias.

Speaker: Gleicon Moraes

Diretor de Data Engineering na Lucid LLC

Gleicon Moraes atua construindo e consertando sistema distribuídos e de larga escala há mais de 20 anos, mantém projetos opensource em Python e Go. Se interessa por problemas de sistemas de larga escala e volume de dados. Escreveu dois livros: “Programação Avançada em Linux” em 2005 pela Novatec e “Caixa de Ferramentas Devops” pela Casa do Código. Trabalhou em empresas como Terra, UOL, Locaweb, B2W e Luizalabs. Atualmente é diretor de Data Engineering na Lucid (https://luc.id).

Find Gleicon Moraes at

Tracks 2019

Segunda-feira, 6 de maio

Terça-feira, 7 de maio

Quarta-feira, 8 de maio