O professor Andy Pavlo, referência mundial em sistemas de banco de dados, anunciou que está se juntando ao ClickHouse para criar e liderar o ClickHouse Labs, um novo grupo de pesquisa da empresa. A informação foi divulgada no blog oficial do ClickHouse.

Pavlo é professor do Departamento de Ciência da Computação da Universidade Carnegie Mellon desde 2013. Durante sua carreira, ele se dedicou a entender os detalhes internos dos sistemas de gerenciamento de banco de dados (DBMS) modernos, acompanhando de perto cada novo sistema que surge, tanto na indústria quanto na academia.

O pesquisador conhece o ClickHouse desde seu lançamento como software de código aberto, em junho de 2016. Na época, sua reação inicial foi de que se tratava de ‘vaporware’, pois parecia bom demais para ser verdade. O ClickHouse já tinha funcionalidades que só existiam em poucos DBMS analíticos comerciais e fechados.

Um dos diferenciais era a implementação em C++ com execução vetorizada usando SIMD, algo raro em sistemas abertos naquele ano. A maioria dos DBMS analíticos de código aberto em 2016 era baseada em JVM e só adotou otimizações SIMD anos depois.

Desde então, Pavlo acompanhou de perto a evolução do ClickHouse, que sempre se destacou como um sistema líder e relevante para seus projetos de pesquisa acadêmica. Ele lembra que usava uma camiseta original do ClickHouse em suas primeiras aulas remotas, em 2020, quando a pandemia forçou a migração dos cursos de banco de dados para o online.

O convite para fundar o ClickHouse Labs partiu dos cofundadores da empresa, e Pavlo não hesitou em aceitar. Ele compara a colaboração com a equipe de engenharia do ClickHouse a uma parceria de peso no hip-hop, como a união de Killer Mike com El-P para formar um supergrupo.

O objetivo do ClickHouse Labs é criar uma organização de pesquisa industrial de alto nível, focada em bancos de dados. A ideia não é ser um grupo isolado que apenas ‘joga ideias por cima do muro’ para a engenharia. Pelo contrário, o laboratório vai trabalhar em estreita colaboração com engenheiros, clientes, colaboradores e parceiros da indústria para desenvolver e disseminar novas ideias que mantenham o ClickHouse na vanguarda.

O laboratório também vai atuar junto ao time de PostgreSQL do ClickHouse para consolidar o serviço gerenciado da empresa como referência em performance e confiabilidade. A combinação de PostgreSQL e ClickHouse, que atendem a diferentes cargas de trabalho, oferece uma base ampla para investigar problemas transacionais e analíticos.

A missão é clara e ambiciosa: conduzir pesquisa com valor científico e transformar as melhores ideias em tecnologia que faça diferença para os usuários. Pavlo quer alcançar o mesmo nível de impacto de organizações pioneiras como IBM Research e Microsoft Research, que mostraram que laboratórios industriais podem avançar a ciência da computação, influenciar produtos comerciais e formar gerações de pesquisadores.

O ClickHouse já tem um histórico notável de publicações técnicas detalhadas. Desde a fundação da empresa, em 2021, os engenheiros produziram artigos aprofundados sobre a implementação do DBMS. Há também o artigo da VLDB de 2024 que descreve a arquitetura central do ClickHouse. Esses trabalhos são tão completos que Pavlo os usa como leitura obrigatória para seus alunos na Carnegie Mellon.

Uma das prioridades imediatas de Pavlo é acelerar a validação de ideias e otimizações que a equipe de engenharia já explorou, mas ainda não teve tempo de levar à produção. Esse será o ponto de partida para explorar novas fronteiras e impulsionar ainda mais o ClickHouse.

Uma questão central que o laboratório vai investigar é como DBMSs como ClickHouse e PostgreSQL se encaixam nas tecnologias emergentes de IA e agentes. O problema tem dois lados: primeiro, definir como um DBMS deve ser para melhor suportar agentes; segundo, como agentes podem melhorar e automatizar o desenvolvimento dos próprios DBMS.

Tudo está em aberto: novos hardwares, algoritmos, estruturas de dados, estratégias de execução e novas formas de construir e operar software de banco de dados. Pavlo admite que ainda não tem respostas para essas questões — afinal, é por isso que é pesquisa —, mas está confiante de que a base sólida do modelo relacional do ClickHouse o posiciona bem para evoluir junto com essas cargas de trabalho intensivas em dados.

Com o ClickHouse Labs, Pavlo vê a oportunidade de criar uma organização dedicada a avançar o conhecimento em bancos de dados, formando novos pesquisadores e desenvolvendo tecnologia que beneficie toda a comunidade.