Você está visualizando o site de uma EDIÇÃO PASSADA do QCon.

Palestra: Abraçando a Anarquia: Design Patterns de Apache Kafka em Arquiteturas de Dados Modernas e Big Data

Track: Armazenamento e Processamento de Big Data

Sala: 4 São Francisco

Horário: 11:50am - 12:35pm

Dia da semana: Segunda-feira

Slides: Download Slides

Nível: Intermediário

Persona: Agile Coach, Arquiteto(a), Cientista de Dados, Desenvolvedor(a) Programador(a), Desenvolvedor(a) Sênior, DevOps, Gerente de Operações, Gerente de Produto, Gerente de Projetos, Líder Técnico(a), Product Owner, Scrum Master

Apresentação em Português

Share this on:

This presentation is now available to view on InfoQ.com

Assista a palestra

Pontos Principais

As capacidades do Apache Kafka, além de simples Pub/Sub e Filas - Persistência de Dados e Processamento;

Os benefícios do processamento de streams para definição de dados - pattern processe uma vez, reuse várias vezes;

Usando Kafka como base arquitetural para habilitação de sistemas que possam ser fracamente acoplados com relação às suas dependências de dados e portanto, habilitar a rápida evolução de sistemas;

Patterns e Anti-Patterns para arquiteturas baseadas em Kafka.

Resumo

Criar arquiteturas de dados escaláveis e em tempo real para empresas não é uma tarefa trivial. Raramente; uma única tecnologia é usada para endereçar todos os requisitos de sistema, e frequentemente diferentes equipes precisam ser envolvidas durante um projeto, o que gera problemas sérios de comunicação entre essas equipes.

O Apache Kafka é uma plataforma de streaming que atua como um ‘sistema nervoso central de dados’ para as empresas. Apesar da tecnologia ser largamente utilizada apenas como um motor de mensageria no estilo Pub-Sub, poucas pessoas exploram os reais benefícios do Kafka com relação a suas capacidades de persistência e processamento de dados. Quando estes recursos são corretamente explorados, o Apache Kafka pode habilitar casos de uso fantásticos tais como offload de bases de dados, offload de mainframes, comunicação entre microsserviços e também habilitar um sistema híbrido de ETL que entrega dados via batch ou online sem degradação de performance. Porém, estes casos de uso precisam ser munidos não somente do uso da tecnologia mas também de design patterns que ajudam o desenvolvedor a implementar Apache Kafka corretamente.

Esta palestra irá discutir o papel e os benefícios do Kafka em uma arquitetura de software, o seu ecossistema de projetos open-source, além de diversos design patterns usados para endereçar desafios comuns que organizações no mundo todo enfrentam enquanto lidam com grandes volumes de dados. Será abordado também como implementar aplicações que façam correto do Kafka, ressaltando as APIs que devem ser utilizadas e o impacto que estas trazem para as aplicações. Finalmente; a palestra irá mostrar as diferenças entre utilizar Kafka on-premise e na nuvem, onde serão mostradas as opções que desenvolvedores possuem para endereçar isso.

Palestrante: Ricardo Ferreira

Developer Advocate at Confluent

Ricardo is a Developer Advocate at Confluent, the company founded by the creators of Apache Kafka. He has over 21 years of experience working with software engineering, where he specialized in different types of distributed systems such as integration, SOA, NoSQL, messaging, API management, and cloud computing. Prior to Confluent, he worked for other vendors such as Oracle, Red Hat and IONA Technologies, as well as several consulting firms.

While not working he enjoys grilling steaks on his backyard with his family and friends, where he gets the chance to talk about anything that is not IT related. Currently, he lives in Apex, North Carolina, with his wife, and son. Follow Ricardo on Twitter: @riferrei

Find Ricardo Ferreira at

Tracks

  • Segunda-feira, 14 de Dezembro

  • Arquiteturas que você sempre quis conhecer

    Segredos arquiteturais de aplicações populares, com milhões de pessoas usuárias e que nunca saem do ar.

  • Engenharia aplicada a Machine Learning

    Conheça as principais técnicas de engenharia  e arquitetura de software de larga escala aplicadas a Machine Learning.

  • Java e JVM em evolução

    Performance, escalabilidade e as mais recentes novidades da principal plataforma de desenvolvimento no Brasil e no mundo.

  • JavaScript: a plataforma da web moderna

    Explore profundamente os frameworks que tornam o JavaScript tão popular e saiba como as linguagens baseadas em JavaScript estão evoluindo o desenvolvimento de front-end (e back-end).

  • AMA (Ask Me Anything)

    Discussões mais profundas com palestrantes do QCon São Paulo.

  • Solutions Track

    Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.

  • Terça-feira, 15 de Dezembro

  • Construindo culturas de desenvolvimento duradouras

    Criando e evoluindo a cultura de empresas: novas formas de organizar times com foco em produtividade.

  • Arquiteturas de vanguarda

    Conheça as tendências em técnicas, práticas e princípios que norteiam o estado da arte em arquitetura de software e podem ser alavancas não só para times e organizações de tecnologia, mas para os negócios, nos próximos anos.

  • Machine Learning e Inteligência Artificial

    Algoritmos, técnicas e ferramentas: o que está por trás de sistemas e soluções cada vez mais assertivos.

  • Ciência da Computação no mundo real

    Temas avançados em computação. Técnicas clássicas e modernas direto da academia para o seu código.

  • AMA (Ask Me Anything)

    Discussões mais profundas com palestrantes do QCon São Paulo.

  • Solutions Track #2

    Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.

  • Quarta-feira, 16 de Dezembro

  • Microservices: melhores práticas e padrões

    Frameworks modernos e os desafios de implantação, gestão e pós-produção

  • Software Supply Chain

    Todas as fases do ciclo de vida de um artefato de software, do primeiro commit até o deployment. Segurança, observabilidade, genealogia e gestão de toda a sua cadeia de suprimentos de software

  • Data Science aplicada

    Tecnologias e as boas práticas da ciência de dados trazendo ganho e diferencial competitivo para grandes empresas.

  • Linguagens Contemporâneas

    Linguagens e plataformas emergentes, com ênfase em linguagens projetadas para alta concorrência e sistemas distribuídos.

  • Levando sua carreira para o próximo nível

    Habilidades e estratégias para destravar sua carreira e potencializar seu desenvolvimento profissional.

  • Solutions Track #3

    Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.