Você está visualizando o site de uma EDIÇÃO PASSADA do QCon.

Palestra: Abraçando a Anarquia: Design Patterns de Apache Kafka em Arquiteturas de Dados Modernas e Big Data

Track: Armazenamento e Processamento de Big Data

Sala: 4 São Francisco

Horário: 11:50am - 12:35pm

Dia da semana: Segunda-feira

Nível: Intermediário

Persona: Agile Coach, Arquiteto(a), Cientista de Dados, Desenvolvedor(a) Programador(a), Desenvolvedor(a) Sênior, DevOps, Gerente de Operações, Gerente de Produto, Gerente de Projetos, Líder Técnico(a), Product Owner, Scrum Master

Apresentação em Português

Share this on:

This presentation is now available to view on InfoQ.com

Assista a palestra

Pontos Principais

As capacidades do Apache Kafka, além de simples Pub/Sub e Filas - Persistência de Dados e Processamento;

Os benefícios do processamento de streams para definição de dados - pattern processe uma vez, reuse várias vezes;

Usando Kafka como base arquitetural para habilitação de sistemas que possam ser fracamente acoplados com relação às suas dependências de dados e portanto, habilitar a rápida evolução de sistemas;

Patterns e Anti-Patterns para arquiteturas baseadas em Kafka.

Resumo

Criar arquiteturas de dados escaláveis e em tempo real para empresas não é uma tarefa trivial. Raramente; uma única tecnologia é usada para endereçar todos os requisitos de sistema, e frequentemente diferentes equipes precisam ser envolvidas durante um projeto, o que gera problemas sérios de comunicação entre essas equipes.

O Apache Kafka é uma plataforma de streaming que atua como um ‘sistema nervoso central de dados’ para as empresas. Apesar da tecnologia ser largamente utilizada apenas como um motor de mensageria no estilo Pub-Sub, poucas pessoas exploram os reais benefícios do Kafka com relação a suas capacidades de persistência e processamento de dados. Quando estes recursos são corretamente explorados, o Apache Kafka pode habilitar casos de uso fantásticos tais como offload de bases de dados, offload de mainframes, comunicação entre microsserviços e também habilitar um sistema híbrido de ETL que entrega dados via batch ou online sem degradação de performance. Porém, estes casos de uso precisam ser munidos não somente do uso da tecnologia mas também de design patterns que ajudam o desenvolvedor a implementar Apache Kafka corretamente.

Esta palestra irá discutir o papel e os benefícios do Kafka em uma arquitetura de software, o seu ecossistema de projetos open-source, além de diversos design patterns usados para endereçar desafios comuns que organizações no mundo todo enfrentam enquanto lidam com grandes volumes de dados. Será abordado também como implementar aplicações que façam correto do Kafka, ressaltando as APIs que devem ser utilizadas e o impacto que estas trazem para as aplicações. Finalmente; a palestra irá mostrar as diferenças entre utilizar Kafka on-premise e na nuvem, onde serão mostradas as opções que desenvolvedores possuem para endereçar isso.

Speaker: Ricardo Ferreira

Developer Advocate at Confluent

Ricardo é Developer Advocate na Confluent — a empresa fundada pelos criadores do Apache Kafka. Ele possui mais de 21 anos de experiência trabalhando com desenvolvimento de software, onde se especializou em diferentes arquiteturas de sistemas distribuídos como SOA, NoSQL, Mensageria, In-Memory Caches e Cloud Computing. Antes da Confluent ele trabalhou em outros fabricantes como Oracle, Red Hat e IONA Technologies, assim como em diferentes empresas de consultoria. Quando ele não está trabalhando e tal como um bom brasileiro — ele adora fazer churrascos com sua família e amigos, onde ele têm a chance de falar sobre qualquer assunto que não seja geek. Ele pode ser facilmente encontrado no Twitter via o handle @riferrei, ou via seu blog pessoal https://riferrei.net.

Find Ricardo Ferreira at

Tracks 2020

  • Arquiteturas que você sempre quis conhecer

    Segredos arquiteturais de aplicações populares, com milhões de pessoas usuárias e que nunca saem do ar.

  • Engenharia aplicada a Machine Learning

    Conheça as principais técnicas de engenharia  e arquitetura de software de larga escala aplicadas a Machine Learning.

  • Microservices: melhores práticas e padrões

    Frameworks modernos e os desafios de implantação, gestão e pós-produção

  • Arquiteturas de vanguarda

    Conheça as técnicas e tecnologias modernas que dominarão as arquiteturas em 2020.

  • Atingindo todo o potencial de containers

    Técnicas modernas de DevOps, Containers e Continuous Delivery para explorar o potencial da conteinerização de aplicações.

  • Machine Learning e Inteligência Artificial

    Algoritmos, técnicas e ferramentas: o que está por trás de sistemas e soluções cada vez mais assertivas.

  • Data Science aplicada

    Tecnologias e as boas práticas da ciência de dados trazendo ganho e diferencial competitivo para grandes empresas.

  • Java e JVM em evolução

    Performance, escalabilidade e as mais recentes novidades da principal plataforma de desenvolvimento no Brasil e no mundo.

  • JavaScript: a plataforma da web moderna

    Explore profundamente os frameworks que tornam o JavaScript tão popular e saiba como as linguagens baseadas em JavaScript estão evoluindo o desenvolvimento de front-end (e back-end).

  • Levando sua carreira para o próximo nível

    Habilidades e estratégias para destravar sua carreira e potencializar seu desenvolvimento profissional.

  • Construindo culturas de desenvolvimento duradouras

    Criando e evoluindo a cultura de empresas: novas formas de organizar times com foco em produtividade. 

  • Ciência da Computação no mundo real

    Temas avançados em computação. Técnicas clássicas e modernas direto da academia para o seu código.

  • Linguagens do século 21

    Linguagens e plataformas emergentes, com ênfase em linguagens projetadas para alta concorrência e sistemas distribuídos.

  • AMA (Ask Me Anything)

    Discussões mais profundas com palestrantes do QCon São Paulo.

  • Solutions Track

    Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.