Palestra: Abraçando a Anarquia: Design Patterns de Apache Kafka em Arquiteturas de Dados Modernas e Big Data
Share this on:
This presentation is now available to view on InfoQ.com
Assista a palestraPontos Principais
As capacidades do Apache Kafka, além de simples Pub/Sub e Filas - Persistência de Dados e Processamento;
Os benefícios do processamento de streams para definição de dados - pattern processe uma vez, reuse várias vezes;
Usando Kafka como base arquitetural para habilitação de sistemas que possam ser fracamente acoplados com relação às suas dependências de dados e portanto, habilitar a rápida evolução de sistemas;
Patterns e Anti-Patterns para arquiteturas baseadas em Kafka.
Resumo
Criar arquiteturas de dados escaláveis e em tempo real para empresas não é uma tarefa trivial. Raramente; uma única tecnologia é usada para endereçar todos os requisitos de sistema, e frequentemente diferentes equipes precisam ser envolvidas durante um projeto, o que gera problemas sérios de comunicação entre essas equipes.
O Apache Kafka é uma plataforma de streaming que atua como um ‘sistema nervoso central de dados’ para as empresas. Apesar da tecnologia ser largamente utilizada apenas como um motor de mensageria no estilo Pub-Sub, poucas pessoas exploram os reais benefícios do Kafka com relação a suas capacidades de persistência e processamento de dados. Quando estes recursos são corretamente explorados, o Apache Kafka pode habilitar casos de uso fantásticos tais como offload de bases de dados, offload de mainframes, comunicação entre microsserviços e também habilitar um sistema híbrido de ETL que entrega dados via batch ou online sem degradação de performance. Porém, estes casos de uso precisam ser munidos não somente do uso da tecnologia mas também de design patterns que ajudam o desenvolvedor a implementar Apache Kafka corretamente.
Esta palestra irá discutir o papel e os benefícios do Kafka em uma arquitetura de software, o seu ecossistema de projetos open-source, além de diversos design patterns usados para endereçar desafios comuns que organizações no mundo todo enfrentam enquanto lidam com grandes volumes de dados. Será abordado também como implementar aplicações que façam correto do Kafka, ressaltando as APIs que devem ser utilizadas e o impacto que estas trazem para as aplicações. Finalmente; a palestra irá mostrar as diferenças entre utilizar Kafka on-premise e na nuvem, onde serão mostradas as opções que desenvolvedores possuem para endereçar isso.
Tracks 2019
Segunda-feira, 6 de maio
-
Microservices: Melhores Práticas e Padrões
Frameworks modernos e os desafios de implantação, gestão e pós-produção.
-
Armazenamento e Processamento de Big Data
As últimas tendências, arquiteturas e ferramentas para armazenar e processar o seu Big Data.
-
Java e JVM: Inovações no Ecossistema e Linguagem
Performance, maturidade e novidades da principal plataforma de desenvolvimento no Brasil e no mundo.
-
Front-end Moderno
Conheça as tendências e ecossistema da web moderna.
-
Solutions Track
Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.
Terça-feira, 7 de maio
-
Arquiteturas que Você Sempre Quis Conhecer
Segredos arquiteturais de aplicações populares, com milhões de pessoas usuárias e que nunca saem do ar.
-
Machine Learning e Inteligência Artificial
Algoritmos, técnicas e ferramentas: o que está por trás de sistemas e soluções cada vez mais assertivas.
-
Construindo Culturas de Desenvolvimento Duradouras
Criando e evoluindo a cultura de empresas: novas formas de organizar times com foco em produtividade.
-
Ciência da Computação no Mundo Real
Temas avançados em computação. Técnicas clássicas e modernas direto da academia para o seu código.
-
Solutions Track
Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.
Quarta-feira, 8 de maio
-
Arquiteturas de Vanguarda
Conheça as técnicas e tecnologias modernas que dominarão as arquiteturas em 2020.
-
Data Science Aplicada
Tecnologias e as boas práticas da ciência de dados trazendo ganho e diferencial competitivo para grandes empresas.
-
Atingindo Todo o Potencial de Containers
Técnicas modernas de DevOps, Containers e Continuous Delivery para explorar o potencial da conteinerização de aplicações.
-
Linguagens do Século 21
Linguagens e plataformas emergentes, com ênfase em linguagens projetadas para alta concorrência e sistemas distribuídos.
-
Levando Sua Carreira Para o Próximo Nível
Habilidades e estratégias para destravar sua carreira e potencializar seu desenvolvimento profissional.
-
Solutions Track
Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.