Palestra: Experimentações com grandes volumes de dados usando Notebooks

Sala:

Dia da semana:

11:00am - 11:50am

Nível da palestra:

Persona:

Apresentação em Português

Pontos principais

  • Zeppelin e Jupyter Notebooks;
  • Experimentação com grandes volumes de dados;
  • Reprodutibilidade e metodologias ágeis de ciência de dados.

Resumo

Notebooks são ferramentas usadas em Data Science que permitem a criação de documentos na web que integram código, equações, gráficos, animações e textos possibilitando a criação de narrativas capazes de comunicar resultados e conceitos complexos.

Nesta palestra mostraremos como a utilização de Notebooks possibilita o desenvolvimento de projetos de ciência de dados de forma ágil, eficiente e replicável. Estas três características são obtidas pela possibilidade de integração do Notebook com os ambientes de processamento distribuído, pela visualização dos resultados em tempo real e pela facilidade de reproduzir seu experimento em qualquer ambiente que atenda os mesmos critérios e configurações.

Demonstraremos como esta prática pode ser aplicada utilizando Zeppelin e Jupyter Notebooks conectados a um cluster Spark na nuvem. Ao final, vamos apresentar como o iFood vem utilizando essa forma de trabalho para aumentar a produtividade do seu time de Ciência de Dados e potencializar os resultados do negócio.

Similar Talks

Tracks

Quarta-feira

  • Engenharia de Dados

    Armazenando e processando Big Data com eficiência.

  • Microservices e Web APIs

    Da ubiquidade das APIs a microservices ultra-modulares, frameworks modernos e os desafios de implantação, gestão e pós-produção.

  • JavaScript e Web

    Desenvolvimento com HTML5, JS, CCS3, HTTP/2 e novas tendências da web moderna.

  • IoT: Tecnologias do Mundo Real

    Conheça experiências de mundo real em IoT, bem como tecnologias que vão habilitar os próximos grandes avanços desta revolução.

  • Solutions Track #1

    Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.

Quinta-feira

Sexta-feira

  • Data Science Aplicada

    Da teoria à prática: como grandes cases do Brasil e do mundo têm utilizado DataScience para alavancar seus negócios.

  • Containers: o Estado da Arte

    Muito mais do que uma tecnologia, Containers são uma plataforma. Qual é o estado da arte, novidades, tendências e casos de uso sobre esta revolução.

  • Ciência da Computação no Mundo Real

    Temas discutidos na academia que podem nos ajudar a obter melhores resultados em nosso dia-a-dia.

  • Linguagens do Século 21

    Linguagens e plataformas emergentes no server-side, com ênfase em linguagens projetadas especificamente para alta concorrência e sistemas distribuídos.

  • Carreira e Soft-Skills

    Profissionais de sucesso vão muito além das suas habilidades em escrever código. Como potencializar seu desenvolvimento como profissional.