Palestra: Abraçando a Anarquia: Design Patterns de Apache Kafka em Arquiteturas de Dados Modernas e Big Data

Track: Armazenamento e Processamento de Big Data

Sala: 4 São Francisco

Horário: 11:50am - 12:35pm

Dia da semana: Segunda-feira

Nível: Intermediário

Persona: Agile Coach, Arquiteto(a), Cientista de Dados, Desenvolvedor(a) Programador(a), Desenvolvedor(a) Sênior, DevOps, Gerente de Operações, Gerente de Produto, Gerente de Projetos, Líder Técnico(a), Product Owner, Scrum Master

Apresentação em Português

Share this on:

Pontos Principais

As capacidades do Apache Kafka, além de simples Pub/Sub e Filas - Persistência de Dados e Processamento;

Os benefícios do processamento de streams para definição de dados - pattern processe uma vez, reuse várias vezes;

Usando Kafka como base arquitetural para habilitação de sistemas que possam ser fracamente acoplados com relação às suas dependências de dados e portanto, habilitar a rápida evolução de sistemas;

Patterns e Anti-Patterns para arquiteturas baseadas em Kafka.

Resumo

Criar arquiteturas de dados escaláveis e em tempo real para empresas não é uma tarefa trivial. Raramente; uma única tecnologia é usada para endereçar todos os requisitos de sistema, e frequentemente diferentes equipes precisam ser envolvidas durante um projeto, o que gera problemas sérios de comunicação entre essas equipes.

O Apache Kafka é uma plataforma de streaming que atua como um ‘sistema nervoso central de dados’ para as empresas. Apesar da tecnologia ser largamente utilizada apenas como um motor de mensageria no estilo Pub-Sub, poucas pessoas exploram os reais benefícios do Kafka com relação a suas capacidades de persistência e processamento de dados. Quando estes recursos são corretamente explorados, o Apache Kafka pode habilitar casos de uso fantásticos tais como offload de bases de dados, offload de mainframes, comunicação entre microsserviços e também habilitar um sistema híbrido de ETL que entrega dados via batch ou online sem degradação de performance. Porém, estes casos de uso precisam ser munidos não somente do uso da tecnologia mas também de design patterns que ajudam o desenvolvedor a implementar Apache Kafka corretamente.

Esta palestra irá discutir o papel e os benefícios do Kafka em uma arquitetura de software, o seu ecossistema de projetos open-source, além de diversos design patterns usados para endereçar desafios comuns que organizações no mundo todo enfrentam enquanto lidam com grandes volumes de dados. Será abordado também como implementar aplicações que façam correto do Kafka, ressaltando as APIs que devem ser utilizadas e o impacto que estas trazem para as aplicações. Finalmente; a palestra irá mostrar as diferenças entre utilizar Kafka on-premise e na nuvem, onde serão mostradas as opções que desenvolvedores possuem para endereçar isso.

Speaker: Ricardo Ferreira

Developer Advocate at Confluent

Ricardo é Developer Advocate na Confluent — a empresa fundada pelos criadores do Apache Kafka. Ele possui mais de 21 anos de experiência trabalhando com desenvolvimento de software, onde se especializou em diferentes arquiteturas de sistemas distribuídos como SOA, NoSQL, Mensageria, In-Memory Caches e Cloud Computing. Antes da Confluent ele trabalhou em outros fabricantes como Oracle, Red Hat e IONA Technologies, assim como em diferentes empresas de consultoria. Quando ele não está trabalhando e tal como um bom brasileiro — ele adora fazer churrascos com sua família e amigos, onde ele têm a chance de falar sobre qualquer assunto que não seja geek. Ele pode ser facilmente encontrado no Twitter via o handle @riferrei, ou via seu blog pessoal https://riferrei.net.

Find Ricardo Ferreira at

Tracks

Segunda-feira, 6 de maio

Terça-feira, 7 de maio

Quarta-feira, 8 de maio