Como rastrear tempos de compilação C++ em CI

Everett Pompeii

Os tempos de compilação podem ser uma parte significativa do seu tempo de build, especialmente em C++. Benchmarking Contínuo é a prática de executar benchmarks em cada conjunto de alterações para garantir que as mudanças não introduzam regressões de desempenho. Você pode tratar os tempos de compilação como um benchmark e monitorá-los no CI para identificar compilações lentas. A maneira mais fácil de implementar o Benchmarking Contínuo para tempos de compilação de C++ é usar o Bencher.

O que é o Bencher?

Bencher é um conjunto de ferramentas de benchmarking contínuas. Já teve algum impacto de regressão de desempenho nos seus usuários? Bencher poderia ter prevenido isso. Bencher permite que você detecte e previna regressões de desempenho antes que cheguem à produção.

• Execute: Execute seus benchmarks localmente ou no CI usando suas ferramentas de benchmarking favoritas. O CLI bencher simplesmente envolve seu harness de benchmark existente e armazena seus resultados.
• Rastreie: Acompanhe os resultados de seus benchmarks ao longo do tempo. Monitore, consulte e faça gráficos dos resultados usando o console web do Bencher baseado na branch de origem, testbed e medida.
• Capture: Capture regressões de desempenho no CI. Bencher usa análises personalizáveis e de última geração para detectar regressões de desempenho antes que elas cheguem à produção.

Pelos mesmos motivos que os testes de unidade são executados no CI para prevenir regressões de funcionalidades, benchmarks deveriam ser executados no CI com o Bencher para prevenir regressões de desempenho. Bugs de desempenho são bugs!

Passos para o Bencher Cloud

1. Crie uma conta no Bencher Cloud.
2. Crie um token de API e adicione-o ao seu CI como um segredo.
3. Crie um fluxo de trabalho para o seu CI, como GitHub Actions ou GitLab CI/CD.
4. Instale o Bencher CLI no seu fluxo de trabalho CI.
5. Compile seu código C++ com o subcomando bencher run em seu fluxo de trabalho de CI usando a opção --build-time com o adaptador json.

Passos para Bencher Self-Hosted

1. Crie uma instância Bencher Self-Hosted.
2. Crie uma conta em sua instância Bencher Self-Hosted.
3. Crie um token de API e adicione-o ao seu CI como um segredo.
4. Crie um fluxo de trabalho para o seu CI, como GitHub Actions ou GitLab CI/CD.
5. Instale o Bencher CLI no fluxo de trabalho do seu CI. Certifique-se de que a versão do CLI corresponda à versão da sua instância Bencher Self-Hosted.
6. Compile seu código C++ com o subcomando bencher run em seu fluxo de trabalho de CI usando a opção --build-time com o adaptador json e configurando a opção --host para a URL da sua instância do Bencher Self-Hosted.

⏱️ Build Time

O subcomando de CLI bencher run pode ser usado para rastrear o tempo de build (ou seja, tempo de compilação) dos seus entregáveis com a flag --build-time. Nos bastidores, bencher run produz os resultados como Bencher Metric Format (BMF) JSON. Portanto, é uma boa prática usar explicitamente o adaptador json. Para mais detalhes, veja como rastrear o tempo de build.

A Medida build-time (ou seja, segundos (s)) é coletada. Apenas o valor do tempo de build (ou seja, value) está disponível. Nem lower_value nem upper_value são coletados. A Medida build-time não é criada por padrão para todos os Projetos. No entanto, quando você usa a flag --build-time, esta Medida será criada automaticamente para o seu Projeto.

bencher run --build-time --adapter json "make build"