Você está visualizando o site de uma EDIÇÃO PASSADA do QCon.

Palestra: Streaming e armazenamento de grande volume de dados: quando seus dados não cabem em banco de dados tradicionais

Track: Armazenamento e Processamento de Big Data

Sala: 4 São Francisco

Horário: 4:05pm - 4:50pm

Dia da semana: Segunda-feira

Nível: Intermediário

Persona: Arquiteto(a), Desenvolvedor(a) Sênior, DevOps, Gestão (VP, CTO, CIO, Diretoria), Líder Técnico(a)

Apresentação em Português

Share this on:

This presentation is now available to view on InfoQ.com

Assista a palestra

Pontos Principais

  • Lambda architecture - uma arquitetura comum de streaming e arquivamento de dados com kafka, s3, python e Go;
  • Parquet, Avro, Thrift, CSV e JSON: formato de arquivos;
  • Como processar grandes volumes de dados e se recuperar de problemas: kafka e log distribuido.

Resumo

Nesta palestra vou falar sobre arquiteturas orientadas a eventos, arquivamento de dados e como o formato escolhido pode ajudar ou dificultar o processamento de grandes volumes. O formato em que os dados são armazenados é importante, por exemplo, se eles podem ser divididos, reprocessados ou se ocupam muito espaço ou são comprimidos. A forma como os dados serão utilizados também é um fator importante, pois nestas arquiteturas ter o dado armazenado em formatos distintos é mais barato e rapido do que mante-los em um formato relacional (se você souber quais queries serão executadas). Séries de tempo, dados capturados de eventos web, dados transacionais e datalakes vão se beneficiar destas ideias.

Palestrante: Gleicon Moraes

VP de Engenharia no Nubank

Tracks

Segunda-feira, 4 de maio

Terça-feira, 5 de maio

Quarta-feira, 6 de maio

  • Microservices: melhores práticas e padrões

    Frameworks modernos e os desafios de implantação, gestão e pós-produção

  • Software Supply Chain

    Todas as fases do ciclo de vida de um artefato de software, do primeiro commit até o deployment. Segurança, observabilidade, genealogia e gestão de toda a sua cadeia de suprimentos de software

  • Data Science aplicada

    Tecnologias e as boas práticas da ciência de dados trazendo ganho e diferencial competitivo para grandes empresas.

  • Linguagens Contemporâneas

    Linguagens e plataformas emergentes, com ênfase em linguagens projetadas para alta concorrência e sistemas distribuídos.

  • Levando sua carreira para o próximo nível

    Habilidades e estratégias para destravar sua carreira e potencializar seu desenvolvimento profissional.

  • Solutions Track #3

    Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.