Palestra: Bayesian Optimization of Gaussian Processes with Applications to Performance Tuning
Share this on:
Pontos Principais
- Mathematical basics of Gaussian Processes (GP);
- Application of Bayesian Optimization (BO) to optimize high-dimensional systems;
- Large-scale performance tuning can be automated by leveraging BO of GP, but we have to be careful how we do it.
Resumo
In 1951, Daniel Krige, a mining engineer in South Africa, invented a statistical technique for finding minerals with the fewest holes drilled for prospecting. Since drilling and sample analysis is expensive, he wanted to find the place where most minerals existed with minimal drilling and analysis effort. Over the years this method has been refined, most notably by Matheron, Mockus and Jones, with more modern statistical techniques. Today, Bayesian Optimization of Gaussian Processes is used in many engineering disciplines to efficiently explore vast design spaces. It is also used for hyperparameter optimization of neural networks.
After a brief description of the technique, we show how it can be applied to a modern microservices architecture to optimize its performance. We motivate why this is an important but difficult problem, and why Bayesian Optimization is well-suited to solving this problem. We describe our implementation of a service, called Autotune, for this purpose, what issues we had to address when applying this technique, and how it will be used at Twitter to continuously optimize performance in the data-center. Some recent wins from Autotune will be highlighted.
No prior background in Bayesian Optimization, Gaussian Processes, Statistics, or Performance Tuning is needed to attend this presentation.
Tracks
Segunda-feira, 6 de maio
-
Microservices: Melhores Práticas e Padrões
Frameworks modernos e os desafios de implantação, gestão e pós-produção.
-
Armazenamento e Processamento de Big Data
As últimas tendências, arquiteturas e ferramentas para armazenar e processar o seu Big Data.
-
Java e JVM: Inovações no Ecossistema e Linguagem
Performance, maturidade e novidades da principal plataforma de desenvolvimento no Brasil e no mundo.
-
Front-end Moderno
Conheça as tendências e ecossistema da web moderna.
-
Solutions Track
Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.
Terça-feira, 7 de maio
-
Arquiteturas que Você Sempre Quis Conhecer
Segredos arquiteturais de aplicações populares, com milhões de pessoas usuárias e que nunca saem do ar.
-
Machine Learning e Inteligência Artificial
Algoritmos, técnicas e ferramentas: o que está por trás de sistemas e soluções cada vez mais assertivas.
-
Construindo Culturas de Desenvolvimento Duradouras
Criando e evoluindo a cultura de empresas: novas formas de organizar times com foco em produtividade.
-
Ciência da Computação no Mundo Real
Temas avançados em computação. Técnicas clássicas e modernas direto da academia para o seu código.
-
Solutions Track
Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.
Quarta-feira, 8 de maio
-
Arquiteturas de Vanguarda
Conheça as técnicas e tecnologias modernas que dominarão as arquiteturas em 2020.
-
Data Science Aplicada
Tecnologias e as boas práticas da ciência de dados trazendo ganho e diferencial competitivo para grandes empresas.
-
Atingindo Todo o Potencial de Containers
Técnicas modernas de DevOps, Containers e Continuous Delivery para explorar o potencial da conteinerização de aplicações.
-
Linguagens do Século 21
Linguagens e plataformas emergentes, com ênfase em linguagens projetadas para alta concorrência e sistemas distribuídos.
-
Levando Sua Carreira Para o Próximo Nível
Habilidades e estratégias para destravar sua carreira e potencializar seu desenvolvimento profissional.
-
Solutions Track
Conheça soluções, ferramentas e técnicas de empresas parceiras do QCon São Paulo.