Comment identifier la dépendance de conteneur qui provoque une boucle de redémarrage

Eva Wong est la rédactrice technique et bricoleuse résidente chez ZimaSpace. Geek depuis toujours, passionnée par les laboratoires informatiques personnels et les logiciels open source, elle se spécialise dans la vulgarisation de concepts techniques complexes au moyen de guides pratiques et concrets. Eva pense que l’hébergement personnel doit être amusant, et non intimidant. À travers ses tutoriels, elle aide la communauté à démystifier les configurations matérielles, de la construction de leur premier NAS à la maîtrise des conteneurs Docker.

Identifiez la première dépendance qui devient indisponible avant que l’application ne se ferme, au lieu de considérer chaque conteneur qui redémarre comme la cause première.

Dans une pile Docker Compose, l’application visible peut être en boucle parce qu’une base de données démarre encore, que Redis est inaccessible, que le DNS renvoie le mauvais service, qu’un montage lié est manquant, qu’un secret a changé, qu’une migration a échoué ou que l’application est arrêtée par une pression mémoire. Pour diagnostiquer rapidement le problème, capturez le premier arrêt et l’erreur de dépendance, suspendez les redémarrages automatiques, puis testez chaque service nécessaire depuis le même réseau et avec les mêmes identifiants que le conteneur défaillant.

Trouvez le premier conteneur qui échoue, pas celui qui fait le plus de bruit

Pour chaque service de la pile, consignez le nombre de redémarrages, l’état actuel, l’état de santé, le dernier code de sortie et l’heure de démarrage. Triez la chronologie pour que le premier échec apparaisse avant que les conteneurs secondaires ne commencent à se reconnecter ou à redémarrer.

Le guide de Netdata sur les boucles de redémarrage montre comment les codes et états de sortie permettent de distinguer les arrêts dus à un manque de mémoire, les erreurs de segmentation, les arrêts normaux et ceux liés à l’état de santé. Un signal OOMKilled ou de code de sortie peut éviter de chercher du côté des dépendances si l’application manque en réalité de mémoire ou plante en interne.

Si une dépendance échoue en premier, examinez-la avant l’application. Si l’application se ferme d’abord avec des erreurs de connexion refusée, de délai d’attente dépassé, d’authentification ou de fichier manquant, associez le message à la dépendance exacte qu’elle a tenté d’utiliser.

Mettez la boucle de redémarrage en pause et capturez un échec sans relance

Désactivez temporairement ou remplacez la stratégie de redémarrage du service concerné, puis lancez-le une fois en avant-plan ou consultez l’intégralité de ses journaux pour une seule tentative de démarrage. Conservez les horodatages du démon Docker et de chaque dépendance.

Les redémarrages automatiques répétés peuvent écraser la première erreur significative par des échecs de connexion ultérieurs. Un conteneur qui redémarre toutes les quelques secondes peut aussi surcharger sa base de données, son résolveur DNS ou son volume de journaux, et provoquer des symptômes secondaires.

Ne supprimez pas les conteneurs, volumes ou bases de données pendant cette capture. Arrêtez uniquement la boucle de redémarrage, reproduisez le problème une fois et enregistrez l’environnement, les montages, les connexions réseau, la commande et l’état de sortie avant de modifier la configuration.

Répertoriez toutes les dépendances dont le conteneur a besoin pour être prêt

Notez les services dont l’application a besoin : base de données, cache, file de messages, stockage d’objets, résolveur DNS, fournisseur d’identité, fichiers montés, secrets et API externes. Indiquez le nom de service, le port, le protocole, le nom d’utilisateur, la base de données et le chemin attendus.

Dash0 explique que l’ordre de démarrage de Compose ne signifie pas automatiquement que le processus d’une dépendance est prêt ; une application peut démarrer alors que Postgres est encore en cours d’initialisation. La solution consiste à attendre que la dépendance soit en bonne santé, plutôt que de se contenter de vérifier qu’elle est en cours d’exécution.

Classez les dépendances comme critiques ou facultatives. L’indisponibilité d’un service facultatif de métriques ne devrait pas provoquer le redémarrage de l’application principale, tandis qu’une base de données indisponible peut nécessiter une attente contrôlée, une nouvelle tentative ou un arrêt.

Testez chaque dépendance depuis le réseau du conteneur défaillant

Utilisez un conteneur de diagnostic temporaire connecté au même réseau, ou lancez un shell pris en charge avant la fermeture de l’application. Testez dans cet ordre le DNS du nom du service, le port TCP, TLS, l’authentification, une requête à la base de données et le chemin requis.

Le guide de Last9 sur les contrôles de santé Compose indique que les contrôles de disponibilité empêchent le démarrage des services dépendants tant que les composants critiques ne peuvent pas réellement répondre. Un contrôle utile valide l’opération du service dont les clients ont besoin, au lieu de confirmer uniquement qu’un processus existe.

Si le DNS échoue, vérifiez l’appartenance au réseau et les alias. Si la connexion TCP s’établit mais que l’authentification échoue, comparez les secrets et les utilisateurs. Si la connexion fonctionne mais que le schéma, le compartiment, la file d’attente ou le répertoire attendu est absent, réparez l’initialisation plutôt que le réseau.

Vérifiez les montages, les secrets et les migrations comme dépendances

Comparez les montages liés, les volumes nommés, les autorisations, les propriétaires, les fichiers d’environnement, les fichiers de secrets et la version de l’application actuels avec ceux du dernier déploiement fonctionnel. Un conteneur peut accéder à sa base de données tout en redémarrant parce qu’un fichier de configuration est en lecture seule ou qu’une migration ne peut pas écrire.

Une étude de cas sur le démarrage des conteneurs montre qu’un ordre de dépendance fondé sur l’état de santé peut empêcher une application de planter avant que sa base de données soit prête. La séquence de démarrage conditionnelle devient particulièrement importante au premier démarrage et pendant les migrations.

Exécutez les migrations une seule fois en gardant les journaux visibles et sauvegardez la base de données avant de réessayer des opérations destructives. Si la version de l’application a changé, vérifiez que la version de la dépendance et le chemin de mise à niveau du schéma sont pris en charge.

Réactivez les services dans l’ordre des dépendances et vérifiez la stabilité

Démarrez d’abord la dépendance de niveau le plus bas, attendez que son véritable contrôle de santé soit réussi, puis démarrez la couche suivante et enfin l’application. Consignez les nombres de redémarrages et les changements d’état de santé pendant plusieurs intervalles de contrôle.

Le guide ZimaSpace sur les défaillances DNS côté conteneur décrit un chemin de dépendance qui peut apparaître uniquement dans l’environnement de l’application.

Le problème n’est résolu que lorsque l’application démarre une fois, que toutes les dépendances critiques restent opérationnelles, que les migrations aboutissent et qu’un redémarrage délibéré d’une dépendance déclenche une nouvelle tentative ou une récupération contrôlée plutôt qu’une autre boucle. Ne rétablissez une politique de redémarrage que lorsque la cause première est observable et circonscrite.

Assistance et conseils

À lire aussi

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.