Uma cache de compilação dedicada é útil quando os mesmos repositórios são compilados num portátil, num computador de secretária, num executor de CI ou em plataformas com processadores diferentes, e o custo do trabalho repetido é superior ao da transferência e manutenção da cache.
A cache deve continuar a ser uma otimização, não a fonte de verdade. As compilações têm de continuar a ser bem-sucedidas quando não há correspondência na cache, enquanto as chaves da cache, os limites de confiança, as quotas e a recolha de lixo impedem que um dispositivo comprometa ou encha o serviço partilhado.
Meça o trabalho repetido entre dispositivos
Registe as transferências de dependências, as camadas de contentores, os objetos compilados, os recursos gerados e o tempo total de compilação em cada dispositivo. Conte quantas vezes as mesmas entradas são compiladas novamente após mudar de máquina ou iniciar uma tarefa de CI efémera.
Um guia prático sobre a cache remota do Bazel explica como várias máquinas podem reutilizar artefactos em vez de compilarem de novo, de forma independente, entradas idênticas.
Uma cache dedicada justifica-se quando o trabalho repetido é frequente, os artefactos são determinísticos e o tempo de transferência é inferior ao de voltar a calcular. Acrescenta pouco valor quando os projetos são pequenos ou os dispositivos raramente partilham entradas.
Defina as chaves da cache e os limites de confiança
As chaves devem incluir as entradas do código-fonte, os ficheiros de bloqueio das dependências, a versão do compilador ou do ambiente de execução, a arquitetura de destino, as flags importantes do ambiente e a etapa de compilação. Uma chave demasiado abrangente produz correspondências incorretas; uma chave demasiado restrita não permite qualquer reutilização.
Dê acesso de escrita às tarefas de CI fidedignas e considere o acesso só de leitura para máquinas de programadores ou branches não fidedignas. Uma entrada na cache pode conter resultados executáveis, pelo que aceitar escritas de código arbitrário é uma decisão relativa à cadeia de fornecimento.
Arquiteturas e gerações de cadeias de ferramentas distintas. Um portátil com Apple Silicon e um executor Linux x86 podem partilhar pacotes de origem transferidos, mas necessitam de artefactos compilados diferentes.
Coloque a cache perto do trabalho mais exigente
| Localização da cache | Ponto forte | Limitação |
|---|---|---|
| Local em cada dispositivo | Latência mínima | Sem reutilização entre dispositivos |
| Servidor de cache na LAN | Reutilização rápida em casa | Indisponível quando não está ligado |
| Registo ou armazenamento de objetos | Funciona em vários locais | Sobrecarga de carregamento e transferência de dados |
| Anfitrião de compilação remoto | A cache fica junto à computação | Torna-se infraestrutura de execução |
| Local híbrido e partilhado | Acessos rápidos e ampla reutilização | Mais políticas para gerir |
Num fluxo de trabalho doméstico, mantenha uma pequena cache local em cada dispositivo e uma cache partilhada maior no servidor. Os programadores remotos só devem usar a camada partilhada quando a velocidade da rede for suficiente para superar a recompilação.
Mantenha a cache fora das partilhas familiares protegidas e dos destinos de cópia de segurança. A elevada rotatividade e a eliminação automática devem ficar num conjunto de dados dedicado, com uma quota própria.
Gira quotas, recolha de lixo e falhas de cache
Defina um tamanho máximo, limites superior e inferior, uma idade máxima e uma política para entradas de grandes dimensões. Acompanhe a taxa de acerto, os bytes transferidos, o tempo de compilação poupado, a taxa de remoção e o tempo gasto na pesquisa da cache.
Um relato operacional sobre a execução de infraestrutura de compilação remota observa que os discos de cache podem encher mais depressa do que a recolha de lixo consegue libertar espaço e que a latência de cauda da rede pode eliminar os ganhos médios.
Em caso de indisponibilidade da cache, permita que a compilação prossiga sem ela: deve recalcular, em vez de parar. Restaure o serviço a partir da configuração e deixe as entradas serem repostas, exceto se uma cache específica contiver dados de proveniência irreproduzíveis.
Defina um limite para usar a cache ou parar
Implemente uma cache dedicada quando pelo menos dois dispositivos recompilarem os mesmos elementos de entrada dispendiosos, a taxa de acerto for mensurável e for possível impor uma política única para os dispositivos com permissão para escrever. Comece por um conjunto de ferramentas, em vez de colocar logo todos os gestores de pacotes em cache.
Divida os serviços de cache quando os projetos tiverem diferentes níveis de confiança, períodos de retenção ou padrões de E/S. Aumente a capacidade do SSD quando as remoções expulsarem artefactos frequentemente utilizados; aumente a capacidade da rede apenas quando as transferências, e não as pesquisas ou compilações, forem o estrangulamento medido. O fluxo de trabalho de teste de ficheiros pequenos por SMB pode ajudar a identificar limites de transferência causados por operações de metadados.
Deixe de expandir a cache se a taxa de acerto continuar baixa ou se os incidentes de invalidação custarem mais do que o tempo poupado nas compilações. Uma falha de cache limpa custa menos do que um artefacto errado, ainda que rápido.
Regra final da configuração
A configuração é aprovada quando cada serviço tem uma função identificada, um estado protegido, um caminho de acesso controlado, um restauro testado e um indicador mensurável para dividir ou expandir a topologia.
Configuração de NAS e servidor
Mais para ler

Um servidor no dormitório pode funcionar silenciosamente o suficiente para dormir, estudar e fazer videochamadas?
Sim - um servidor num dormitório pode passar despercebido se o hardware consumir pouca energia, as vibrações do armazenamento forem controladas, as tarefas mais...

Um homelab de estudante que pode passar do quarto da residência universitária para o primeiro apartamento
Mantenha um homelab de estudante portátil, separando os serviços da rede específica de cada divisão, minimizando o hardware, criando cópias de segurança do estado...

Como partilhar um servidor doméstico com colegas de casa sem partilhar contas nem ficheiros privados
Dê a cada pessoa que partilha a casa uma identidade própria, armazenamento privado e apenas os privilégios partilhados de que precisa; mantenha a administração,...



