Palestra: Big Data como Serviço: da captura à visualização de dados com alto desempenho

Sala:

Dia da semana:

12:10pm - 1:00pm

Apresentação em Português

A Neoway fornece serviços de análise de dados e Big Data por assinatura, trabalhando com mais de 10 terabytes de dados indexados de centenas de fontes, em duas verticais: prospecção de clientes e prevenção de fraudes bancárias. Nesta palestra vamos mostrar como organizamos o fluxo de processamento e análise de dados, desde a captura dos dados de mais de 200 fontes públicas, até a disponibilização para clientes.

Apresentaremos como é gerenciado e monitorado nosso ecossistema para garantir alto desempenho e resiliência da plataforma, que consiste de 30 microsserviços e um cluster de ElasticSearch com mais de dez nós. Também serão mostradas as ferramentas utilizadas para implementar Continuous Integration/Delivery/Deployment, e o que nos motivou a refatorar grande parte dos serviços para a linguagem Go e a substituição de RabbitMQ para NSQ.io, assim como os ganhos obtidos e desafios enfrentados com essas mudanças.

Um dos nossos principais desafios tem sido minimizar o tempo desde a captura de grandes volumes de dados até a disponibilização para clientes. Mostraremos como foi acelerado este processo de nove dias para quase realtime através de uma Stream API.

Tracks

Segunda-feira

Terça-feira

Quarta-feira