Palestra: Metrics Driven Machine Learning Development at Salesforce Einstein
Share this on:
Pontos Principais
- The AutoML metrics framework enables the Einstein team to monitor and troubleshoot thousands of models running and production;
- Metrics can automatically alert us of any modeling issues across the platform;
- They are an invaluable part of the development process- by tracking metrics in modeling experiments we can test and evaluate new features before deploying them to production.
Resumo
The Einstein Prediction Builder modeling pipeline automates all steps of the end-to-end modeling process, from data auditing and feature engineering to model selection, for thousands of models. Although powerful, automated machine learning pipelines are inherently a black box that can be notoriously difficult to troubleshoot. This talk walks through a Data Science perspective of using monitoring and alerting, well-established practices in traditional engineering, to develop our modeling pipeline. We will discuss how we track data and modeling metrics at each stage in the pipeline to identify data and modeling issues and to raise alerts for issues affecting models running production. Furthermore, we will cover how this metrics framework is instrumental in helping to develop new features in a data-driven manner.
Tracks
Segunda-feira, 6 de maio
-
Microservices: Melhores Práticas e Padrões
Frameworks modernos e os desafios de implantação, gestão e pós-produção.
-
Armazenamento e Processamento de Big Data
As últimas tendências, arquiteturas e ferramentas para armazenar e processar o seu Big Data.
-
Java e JVM: Inovações no Ecossistema e Linguagem
Performance, maturidade e novidades da principal plataforma de desenvolvimento no Brasil e no mundo.
-
Front-end Moderno
Conheça as tendências e ecossistema da web moderna.
-
Solutions Track
Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.
Terça-feira, 7 de maio
-
Arquiteturas que Você Sempre Quis Conhecer
Segredos arquiteturais de aplicações populares, com milhões de pessoas usuárias e que nunca saem do ar.
-
Machine Learning e Inteligência Artificial
Algoritmos, técnicas e ferramentas: o que está por trás de sistemas e soluções cada vez mais assertivas.
-
Construindo Culturas de Desenvolvimento Duradouras
Criando e evoluindo a cultura de empresas: novas formas de organizar times com foco em produtividade.
-
Ciência da Computação no Mundo Real
Temas avançados em computação. Técnicas clássicas e modernas direto da academia para o seu código.
-
Solutions Track
Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.
Quarta-feira, 8 de maio
-
Arquiteturas de Vanguarda
Conheça as técnicas e tecnologias modernas que dominarão as arquiteturas em 2020.
-
Data Science Aplicada
Tecnologias e as boas práticas da ciência de dados trazendo ganho e diferencial competitivo para grandes empresas.
-
Atingindo Todo o Potencial de Containers
Técnicas modernas de DevOps, Containers e Continuous Delivery para explorar o potencial da conteinerização de aplicações.
-
Linguagens do Século 21
Linguagens e plataformas emergentes, com ênfase em linguagens projetadas para alta concorrência e sistemas distribuídos.
-
Levando Sua Carreira Para o Próximo Nível
Habilidades e estratégias para destravar sua carreira e potencializar seu desenvolvimento profissional.
-
Solutions Track
Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.