Palestra: Como arquiteturas de dados quebram e como consertá-las

Sala:

Dia da semana:

12:05pm - 12:55pm

Nível da palestra:

Persona:

Apresentação em Português

Pontos principais

  • Engenharia de dados e o papel de construir pipelines para market research e adtech;
  • Histórias de guerra na recuperação de dados na nuvem;
  • Como bancos de dados distribuídos quebram e como consertá-los.

Resumo

Criar arquiteturas para processar grandes volumes de dados é um desafio. Usar estas arquiteturas em ambientes de nuvem introduz uma nova gama de problemas e uma série de condições não previstas.

Nem sempre o que consideramos “big data” começa com um volume de dados e operações que possam ser influenciados por estas condições. Contudo, quando você acumula uma quantidade massiva de dados o tempo é um fator implacável. Um banco de dados distribuído que atualmente apresenta bons resultados, pode se desintegrar em um curto espaço de tempo.

Nesta palestra serão apresentados como bancos de dados distribuídos quebram e como consertá-los, em quais situações EMR e Hadoop ficam imprevisíveis e o que torna alguns destes bancos de dados inviáveis em determinados cenários. Serão apresentados as razões para migração do processos que consomem eventos de um cluster Kafka do EMR para pequenos processos em python e golang com orquestração separada e como, em determinados cenários, o Airflow pode simplificar uma arquitetura de dados tornando fácil sua manipulação.

Similar Talks

Tracks

Quarta-feira

  • Engenharia de Dados

    Armazenando e processando Big Data com eficiência.

  • Microservices e Web APIs

    Da ubiquidade das APIs a microservices ultra-modulares, frameworks modernos e os desafios de implantação, gestão e pós-produção.

  • JavaScript e Web

    Desenvolvimento com HTML5, JS, CCS3, HTTP/2 e novas tendências da web moderna.

  • IoT: Tecnologias do Mundo Real

    Conheça experiências de mundo real em IoT, bem como tecnologias que vão habilitar os próximos grandes avanços desta revolução.

  • Solutions Track #1

    Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.

Quinta-feira

Sexta-feira

  • Data Science Aplicada

    Da teoria à prática: como grandes cases do Brasil e do mundo têm utilizado DataScience para alavancar seus negócios.

  • Containers: o Estado da Arte

    Muito mais do que uma tecnologia, Containers são uma plataforma. Qual é o estado da arte, novidades, tendências e casos de uso sobre esta revolução.

  • Ciência da Computação no Mundo Real

    Temas discutidos na academia que podem nos ajudar a obter melhores resultados em nosso dia-a-dia.

  • Linguagens do Século 21

    Linguagens e plataformas emergentes no server-side, com ênfase em linguagens projetadas especificamente para alta concorrência e sistemas distribuídos.

  • Carreira e Soft-Skills

    Profissionais de sucesso vão muito além das suas habilidades em escrever código. Como potencializar seu desenvolvimento como profissional.