Så identifierar du vilket containerberoende som orsakar en omstartsloop

Eva Wong är teknisk skribent och händig hemmabyggare på ZimaSpace. Som tekniknörd sedan barnsben med ett brinnande intresse för hemlabb och programvara med öppen källkodspecialiserar hon sig på att göra komplexa tekniska koncept begripliga genom praktiska, praktiska guider. Eva tycker att självhosting ska vara roligt, inte avskräckande. Genom sina handledningar hjälper hon communityn att göra hårdvaruinstallationer mindre mystiska, från att bygga sin första NAS till att bemästra Docker-containrar.

Identifiera det första beroendet som blir otillgängligt innan appen avslutas, i stället för att behandla varje container som startar om som grundorsaken.

I en Docker Compose-stack kan appen som syns utåt hamna i en omstartsloop eftersom en databas fortfarande startar, Redis inte går att nå, DNS returnerar fel tjänst, en bindmontering saknas, en hemlighet har ändrats, en migrering misslyckades eller appen avslutas på grund av minnesbrist. Snabbast felsöker du genom att fånga den första avslutningen och beroendefelet, pausa automatiska omstarter och sedan testa varje nödvändig tjänst från samma nätverk och med samma inloggningsuppgifter som den felande containern använder.

Hitta den första containern som fallerar, inte den som låter mest

Lista antalet omstarter, aktuellt tillstånd, hälsotillstånd, senaste avslutskod och starttid för varje tjänst i stacken. Sortera tidslinjen så att det första felet visas innan sekundära containrar börjar återansluta eller starta om.

Netdatas guide om omstartsloopar visar hur avslutskoder och tillstånd skiljer mellan OOM-avslut, segmenteringsfel, normal avslutning och stopp på grund av hälsokontroller. En OOMKilled- eller avslutskodssignal kan göra felsökning av beroenden onödig om appen i själva verket får slut på minne eller kraschar internt.

Om ett beroende fallerar först ska du undersöka det innan appen. Om appen avslutas först med fel om nekad anslutning, tidsgräns, autentisering eller saknad fil ska du koppla meddelandet till det exakta beroende som den försökte använda.

Pausa den upprepade omstarten och fånga ett rent fel

Inaktivera eller åsidosätt tillfälligt omstartspolicyn för den berörda tjänsten och kör den en gång i förgrunden, eller granska de fullständiga loggarna från ett enda startförsök. Bevara tidsstämplar från Docker-daemonen och alla beroenden.

Upprepade automatiska omstarter kan skriva över det första betydelsefulla felet med senare anslutningsfel. En container som startar om med några sekunders mellanrum kan också överbelasta databasen, DNS-resolvern eller loggvolymen och orsaka sekundära symptom.

Ta inte bort containrar, volymer eller databaser medan du samlar in den här informationen. Stoppa bara den upprepade omstarten, återskapa felet en gång och spara miljön, monteringar, nätverksanslutningar, kommandot och sluttillståndet innan du ändrar konfigurationen.

Kartlägg alla beroenden som containern behöver för att bli redo

Anteckna vilken databas, cache, meddelandekö, objektlagring, DNS-resolver, identitetsleverantör, monterade filer, hemligheter och externa API:er appen behöver. Ange förväntat tjänstnamn, port, protokoll, användarnamn, databas och sökväg.

Dash0 förklarar att ordningsföljden när tjänster startas med Compose inte automatiskt innebär att processen i ett beroende är redo; en app kan starta medan Postgres fortfarande initieras. Lösningen är att vänta tills ett beroende har ett friskt tillstånd i stället för att bara vänta tills det körs.

Klassificera beroenden som obligatoriska eller valfria. En saknad valfri metriktjänst ska inte starta om huvudappen, medan en otillgänglig databas kan kräva en kontrollerad väntan, ett nytt försök eller ett stopp.

Testa varje beroende från det felande containernätverket

Använd en tillfällig diagnostikcontainer som är ansluten till samma nätverk, eller kör ett skal som stöds innan appen avslutas. Testa DNS för tjänstenamnet, TCP-porten, TLS, autentisering, databasfrågan och den nödvändiga sökvägen i den ordningen.

Last9:s guide till hälsokontroller i Compose förklarar att beredskapskontroller hindrar beroende tjänster från att starta innan viktiga komponenter faktiskt kan svara. En användbar kontroll verifierar den tjänstefunktion som klienterna behöver i stället för att bara bekräfta att en process finns.

Om DNS misslyckas ska du kontrollera nätverksmedlemskap och alias. Om TCP-anslutningen upprättas men autentiseringen misslyckas ska du jämföra hemligheter och användare. Om inloggningen fungerar men det förväntade schemat, den förväntade bucketen, kön eller katalogen saknas ska du åtgärda initieringen i stället för nätverket.

Kontrollera monteringar, hemligheter och migreringar som beroenden

Jämför aktuella bind-monteringar, namngivna volymer, behörigheter, ägarskap, miljöfiler, hemliga filer och applikationsversion med den senaste fungerande driftsättningen. En container kan nå databasen men ändå starta om eftersom en konfigurationsfil är skrivskyddad eller en migrering inte kan skriva.

En fallstudie om containerstarter visar att en beroendeordning baserad på hälsa kan hindra en applikation från att krascha innan databasen är klar. Den villkorade startsekvensen är särskilt viktig vid den första starten och vid migreringar.

Kör migreringarna en gång med synliga loggar och säkerhetskopiera databasen innan du försöker igen med destruktiva steg. Om appversionen har ändrats ska du kontrollera att beroendeversionen och uppgraderingsvägen för schemat stöds.

Återaktivera tjänster i beroendeordning och verifiera stabiliteten

Starta beroendet på den lägsta nivån först och vänta på att dess faktiska hälsokontroll godkänns. Starta sedan nästa lager och till sist applikationen. Anteckna omstartsantal och hälsostatusändringar under flera kontrollintervall.

ZimaSpaces guide till DNS-fel i containrar tar upp en beroendeväg som bara kan uppstå i appmiljön.

Problemet är åtgärdat först när applikationen startar en gång, alla hårda beroenden förblir friska, migreringarna slutförs och en avsiktlig omstart av ett beroende leder till en kontrollerad ny försöksomgång eller återhämtning i stället för ännu en omstartsloop. Återställ en omstartspolicy först när grundfelet går att observera och är begränsat.

Support och tips

Mer att läsa

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.