Palestra: Data Lake além da buzzword

Sala:

Dia da semana:

3:35pm - 4:25pm

Nível da palestra:

Persona:

Apresentação em Português

Pontos principais

  • Vantagens e desvantagens de Data Lakes;
  • Lições aprendidas na arquitetura e implantação;
  • Conhecimento sobre o papel de ferramentas e serviços como: S3, Presto, Spark, Redshift Spectrum, AWS Athena, Bigquery,AWS Glue, Apache Atlas, Dremio, Kylo.

Resumo

Segundo o Gartner, em 2018, 90% dos Data Lakes implantados serão inúteis. Mas o que pode ser feito para compor os 10% que agregam valor para o negócio? Quais vantagens os Data Lakes podem trazer para as diferentes áreas da empresa? Quais os desafios da implantação de um Data Lake?

Da arquitetura até a implantação de um Data Lake nos deparamos com uma grande quantidade de ferramentas open source e serviços na nuvem que agregam ao universo Big data. Juntar essas “peças” para construir algo que gere valor para o negócio é um desafio.

O objetivo dessa palestra é compartilhar os erros e acertos na implantação de um Data Lake através da análise de trade-offs e resultados de benchmarks realizados durante a jornada na Movile. Utilizando o resultado das provas de conceito e comparando com a realidade após a implantação do Data Lake, serão abordadas diversas ferramentas deste universo, desde armazenamento e processamento distribuído como S3, Presto, Spark, Redshift Spectrum, AWS Athena, Bigquery até frameworks para gerenciar dados e metadados como AWS Glue, Apache Atlas, Dremio, Kylo.

Similar Talks

Tracks

Quarta-feira

  • Engenharia de Dados

    Armazenando e processando Big Data com eficiência.

  • Microservices e Web APIs

    Da ubiquidade das APIs a microservices ultra-modulares, frameworks modernos e os desafios de implantação, gestão e pós-produção.

  • JavaScript e Web

    Desenvolvimento com HTML5, JS, CCS3, HTTP/2 e novas tendências da web moderna.

  • IoT: Tecnologias do Mundo Real

    Conheça experiências de mundo real em IoT, bem como tecnologias que vão habilitar os próximos grandes avanços desta revolução.

  • Solutions Track #1

    Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.

Quinta-feira

Sexta-feira

  • Data Science Aplicada

    Da teoria à prática: como grandes cases do Brasil e do mundo têm utilizado DataScience para alavancar seus negócios.

  • Containers: o Estado da Arte

    Muito mais do que uma tecnologia, Containers são uma plataforma. Qual é o estado da arte, novidades, tendências e casos de uso sobre esta revolução.

  • Ciência da Computação no Mundo Real

    Temas discutidos na academia que podem nos ajudar a obter melhores resultados em nosso dia-a-dia.

  • Linguagens do Século 21

    Linguagens e plataformas emergentes no server-side, com ênfase em linguagens projetadas especificamente para alta concorrência e sistemas distribuídos.

  • Carreira e Soft-Skills

    Profissionais de sucesso vão muito além das suas habilidades em escrever código. Como potencializar seu desenvolvimento como profissional.