Palestra: Streaming e armazenamento de grande volume de dados: quando seus dados não cabem em banco de dados tradicionais
Share this on:
This presentation is now available to view on InfoQ.com
Assista a palestraPontos Principais
- Lambda architecture - uma arquitetura comum de streaming e arquivamento de dados com kafka, s3, python e Go;
- Parquet, Avro, Thrift, CSV e JSON: formato de arquivos;
- Como processar grandes volumes de dados e se recuperar de problemas: kafka e log distribuido.
Resumo
Nesta palestra vou falar sobre arquiteturas orientadas a eventos, arquivamento de dados e como o formato escolhido pode ajudar ou dificultar o processamento de grandes volumes. O formato em que os dados são armazenados é importante, por exemplo, se eles podem ser divididos, reprocessados ou se ocupam muito espaço ou são comprimidos. A forma como os dados serão utilizados também é um fator importante, pois nestas arquiteturas ter o dado armazenado em formatos distintos é mais barato e rapido do que mante-los em um formato relacional (se você souber quais queries serão executadas). Séries de tempo, dados capturados de eventos web, dados transacionais e datalakes vão se beneficiar destas ideias.
Tracks
-
Arquiteturas que você sempre quis conhecer
Segredos arquiteturais de aplicações populares, com milhões de pessoas usuárias e que nunca saem do ar.
-
Engenharia aplicada a Machine Learning
Conheça as principais técnicas de engenharia e arquitetura de software de larga escala aplicadas a Machine Learning.
-
Microservices: melhores práticas e padrões
Frameworks modernos e os desafios de implantação, gestão e pós-produção
-
Arquiteturas de vanguarda
Conheça as tendências em técnicas, práticas e princípios que norteiam o estado da arte em arquitetura de software e podem ser alavancas não só para times e organizações de tecnologia, mas para os negócios, nos próximos anos.
-
Software Supply Chain
Todas as fases do ciclo de vida de um artefato de software, do primeiro commit até o deployment. Segurança, observabilidade, genealogia e gestão de toda a sua cadeia de suprimentos de software
-
Machine Learning e Inteligência Artificial
Algoritmos, técnicas e ferramentas: o que está por trás de sistemas e soluções cada vez mais assertivos.
-
Data Science aplicada
Tecnologias e as boas práticas da ciência de dados trazendo ganho e diferencial competitivo para grandes empresas.
-
Java e JVM em evolução
Performance, escalabilidade e as mais recentes novidades da principal plataforma de desenvolvimento no Brasil e no mundo.
-
JavaScript: a plataforma da web moderna
Explore profundamente os frameworks que tornam o JavaScript tão popular e saiba como as linguagens baseadas em JavaScript estão evoluindo o desenvolvimento de front-end (e back-end).
-
Levando sua carreira para o próximo nível
Habilidades e estratégias para destravar sua carreira e potencializar seu desenvolvimento profissional.
-
Construindo culturas de desenvolvimento duradouras
Criando e evoluindo a cultura de empresas: novas formas de organizar times com foco em produtividade.
-
Ciência da Computação no mundo real
Temas avançados em computação. Técnicas clássicas e modernas direto da academia para o seu código.
-
Linguagens Contemporâneas
Linguagens e plataformas emergentes, com ênfase em linguagens projetadas para alta concorrência e sistemas distribuídos.
-
AMA (Ask Me Anything)
Discussões mais profundas com palestrantes do QCon São Paulo.
-
Solutions Track
Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.
-
Solutions Track #3
Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.
-
AMA (Ask Me Anything)
Discussões mais profundas com palestrantes do QCon São Paulo.
-
Solutions Track #2
Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.