Porque é útil uma cache de compilação dedicada para programadores que trabalham em vários dispositivos?

Eva Wong é a redatora técnica e entusiasta residente na ZimaSpace. Uma geek desde sempre, apaixonada por homelabs e software de código aberto, dedica-se a traduzir conceitos técnicos complexos em guias práticos. A Eva acredita que a auto-hospedagem deve ser divertida, não intimidante. Através dos seus tutoriais, ajuda a comunidade a desmistificar configurações de hardware, desde montar o primeiro NAS até dominar os contentores Docker.

Uma cache de compilação dedicada é útil quando os mesmos repositórios são compilados num portátil, num computador de secretária, num executor de CI ou em plataformas com processadores diferentes, e o custo do trabalho repetido é superior ao da transferência e manutenção da cache.

A cache deve continuar a ser uma otimização, não a fonte de verdade. As compilações têm de continuar a ser bem-sucedidas quando não há correspondência na cache, enquanto as chaves da cache, os limites de confiança, as quotas e a recolha de lixo impedem que um dispositivo comprometa ou encha o serviço partilhado.

Meça o trabalho repetido entre dispositivos

Registe as transferências de dependências, as camadas de contentores, os objetos compilados, os recursos gerados e o tempo total de compilação em cada dispositivo. Conte quantas vezes as mesmas entradas são compiladas novamente após mudar de máquina ou iniciar uma tarefa de CI efémera.

Um guia prático sobre a cache remota do Bazel explica como várias máquinas podem reutilizar artefactos em vez de compilarem de novo, de forma independente, entradas idênticas.

Uma cache dedicada justifica-se quando o trabalho repetido é frequente, os artefactos são determinísticos e o tempo de transferência é inferior ao de voltar a calcular. Acrescenta pouco valor quando os projetos são pequenos ou os dispositivos raramente partilham entradas.

Defina as chaves da cache e os limites de confiança

As chaves devem incluir as entradas do código-fonte, os ficheiros de bloqueio das dependências, a versão do compilador ou do ambiente de execução, a arquitetura de destino, as flags importantes do ambiente e a etapa de compilação. Uma chave demasiado abrangente produz correspondências incorretas; uma chave demasiado restrita não permite qualquer reutilização.

Dê acesso de escrita às tarefas de CI fidedignas e considere o acesso só de leitura para máquinas de programadores ou branches não fidedignas. Uma entrada na cache pode conter resultados executáveis, pelo que aceitar escritas de código arbitrário é uma decisão relativa à cadeia de fornecimento.

Arquiteturas e gerações de cadeias de ferramentas distintas. Um portátil com Apple Silicon e um executor Linux x86 podem partilhar pacotes de origem transferidos, mas necessitam de artefactos compilados diferentes.

Coloque a cache perto do trabalho mais exigente

Localização da cache Ponto forte Limitação
Local em cada dispositivo Latência mínima Sem reutilização entre dispositivos
Servidor de cache na LAN Reutilização rápida em casa Indisponível quando não está ligado
Registo ou armazenamento de objetos Funciona em vários locais Sobrecarga de carregamento e transferência de dados
Anfitrião de compilação remoto A cache fica junto à computação Torna-se infraestrutura de execução
Local híbrido e partilhado Acessos rápidos e ampla reutilização Mais políticas para gerir

Num fluxo de trabalho doméstico, mantenha uma pequena cache local em cada dispositivo e uma cache partilhada maior no servidor. Os programadores remotos só devem usar a camada partilhada quando a velocidade da rede for suficiente para superar a recompilação.

Mantenha a cache fora das partilhas familiares protegidas e dos destinos de cópia de segurança. A elevada rotatividade e a eliminação automática devem ficar num conjunto de dados dedicado, com uma quota própria.

Gira quotas, recolha de lixo e falhas de cache

Defina um tamanho máximo, limites superior e inferior, uma idade máxima e uma política para entradas de grandes dimensões. Acompanhe a taxa de acerto, os bytes transferidos, o tempo de compilação poupado, a taxa de remoção e o tempo gasto na pesquisa da cache.

Um relato operacional sobre a execução de infraestrutura de compilação remota observa que os discos de cache podem encher mais depressa do que a recolha de lixo consegue libertar espaço e que a latência de cauda da rede pode eliminar os ganhos médios.

Em caso de indisponibilidade da cache, permita que a compilação prossiga sem ela: deve recalcular, em vez de parar. Restaure o serviço a partir da configuração e deixe as entradas serem repostas, exceto se uma cache específica contiver dados de proveniência irreproduzíveis.

Defina um limite para usar a cache ou parar

Implemente uma cache dedicada quando pelo menos dois dispositivos recompilarem os mesmos elementos de entrada dispendiosos, a taxa de acerto for mensurável e for possível impor uma política única para os dispositivos com permissão para escrever. Comece por um conjunto de ferramentas, em vez de colocar logo todos os gestores de pacotes em cache.

Divida os serviços de cache quando os projetos tiverem diferentes níveis de confiança, períodos de retenção ou padrões de E/S. Aumente a capacidade do SSD quando as remoções expulsarem artefactos frequentemente utilizados; aumente a capacidade da rede apenas quando as transferências, e não as pesquisas ou compilações, forem o estrangulamento medido. O fluxo de trabalho de teste de ficheiros pequenos por SMB pode ajudar a identificar limites de transferência causados por operações de metadados.

Deixe de expandir a cache se a taxa de acerto continuar baixa ou se os incidentes de invalidação custarem mais do que o tempo poupado nas compilações. Uma falha de cache limpa custa menos do que um artefacto errado, ainda que rápido.

Regra final da configuração

A configuração é aprovada quando cada serviço tem uma função identificada, um estado protegido, um caminho de acesso controlado, um restauro testado e um indicador mensurável para dividir ou expandir a topologia.

Configuração de NAS e servidor

Mais para ler

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.