Hur hindrar du Docker-loggar från att fylla värdens startdisk?

Eva Wong är teknisk skribent och händig hemmabyggare på ZimaSpace. Som tekniknörd sedan barnsben med ett brinnande intresse för hemlabb och programvara med öppen källkodspecialiserar hon sig på att göra komplexa tekniska koncept begripliga genom praktiska, praktiska guider. Eva tycker att självhosting ska vara roligt, inte avskräckande. Genom sina handledningar hjälper hon communityn att göra hårdvaruinstallationer mindre mystiska, från att bygga sin första NAS till att bemästra Docker-containrar.

Stoppa den omedelbara loggproducenten, identifiera den aktiva loggmottagaren och konfigurera sedan rotation med begränsad storlek samt åtgärda felet eller omstartsloopen som orsakar floden.

På en NAS eller hemmaserver baserad på Docker kan startdisken bli full även när media och databaser ligger på en annan lagringspool, eftersom containrarnas stdout och stderr, systemd-journaldata och programspecifika filer ändå kan finnas kvar på systemfilsystemet. En säker arbetsgång är att bevara tillräckligt med nyliga bevis, stoppa den okontrollerade tillväxten, fastställa vilket loggningslager som tar upp utrymmet, konfigurera lagringstider för befintliga och framtida tjänster och kontrollera att det underliggande programmet inte längre genererar samma mängd data.

Hitta logglagringen som faktiskt växer

Kontrollera det lediga utrymmet på startfilsystemet och jämför sedan storleken på Dockers datakatalog, loggfiler per container, systemjournalen och programmets loggkataloger som monterats från värden. Anteckna de största sökvägarna innan du tar bort eller tömmer något.

I ett fall med diskutrymmesbrist på Docker upptäckte man att vanliga Docker-sammanfattningar inte visade vad som tog mest plats, eftersom standardloggfilen växte separat. Det avgörande beviset var en containerlogg som växte oavbrutet under den lokala Docker-sökvägen för lagring.

Granska den konfigurerade loggdrivrutinen och loggsökvägen för varje container som körs, och matcha sedan den största filen med containerns namn och de senaste meddelandena. Om ingen containerlogg förklarar användningen bör du fortsätta med journald och programmets egna mappar i stället för att anta att alla Docker-relaterade diskproblem beror på json-file.

Stoppa containern som genererar mest loggar innan du gör en akut rensning

När startdisken nästan är full bör du pausa eller stoppa containern som växer snabbast. Spara en begränsad slutdel av loggen, dess omstartsräknare, sluttillstånd, avbildningsversion, miljö, monteringar och det första återkommande felet innan du frigör utrymme.

Administratörer upptäcker ofta att JSON-loggar från containrar kan förbruka det återstående diskutrymmet när ingen storleksgräns har konfigurerats. En långvarig diskussion på Stack Overflow pekar ut obegränsad tillväxt av JSON-loggar som en separat kapacitetsrisk, utöver avbildnings- och volymdata.

Radera inte en aktiv loggfil utan vidare medan Docker fortfarande har den öppen, och ta aldrig bort godtyckliga kataloger från Dockers metadataträd. Använd endast plattformens stödda rotations- eller trunkeringsprocedur efter att ha stoppat processen som skriver till filen. Bekräfta sedan att det frigjorda diskutrymmet syns innan du startar om någon berörd tjänst.

Tillämpa begränsad rotation på varje långvarig tjänst

Ange en uttrycklig loggdrivrutin och fasta rotationsgränser i Compose-tjänsten eller containerkonfigurationen. För den vanliga JSON-drivrutinen är de viktigaste inställningarna en maximal filstorlek och ett begränsat antal filer som behålls.

En diskussion om loggrotation i Dockers community förklarar att alternativ som max-size och max-file begränsar hur mycket lokal historik varje container behåller. Det operativa kravet är en begränsad rotationspolicy, inte en fil som växer utan gräns.

Välj gränser utifrån hur snabbt en incident måste kunna diagnostiseras och hur mycket diskutrymme på startdisken värden säkert kan avsätta. Återskapa tjänsten så att den nya loggningskonfigurationen börjar gälla för den körande containern. Granska sedan dess aktiva inställningar och kör ett litet, kontrollerat test för att säkerställa att filerna roteras som förväntat.

Ange standardvärden för framtida containrar utan att anta att de ändrar befintliga

Konfigurera en standard på daemon- eller plattformsnivå för nyskapade containrar, så att en utelämnad tjänsteinställning inte i tysthet leder till obegränsad lokal loggning igen. Låt viktiga tjänster använda en snävare åsidosättning när deras diagnostikbehov skiljer sig åt.

En ändring av Dockers loggningsstandarder skriver inte om alla befintliga containerkonfigurationer på värden i efterhand. Samma vägledning från communityn skiljer mellan daemon-standarder och inställningar per container vid skapandet, så gamla tjänster måste granskas och återskapas medvetet.

Rulla först ut ändringen till en tjänst som inte är kritisk. Bekräfta att hämtning av loggar, övervakning, aviseringar och supportflöden fortfarande fungerar, och återskapa sedan de återstående tjänsterna i kontrollerade omgångar utan att ta bort deras beständiga volymer.

Åtgärda händelsen som orsakar loggfloden

Loggrotation begränsar skadan, men den åtgärdar inte en container som startar om med några sekunders mellanrum, försöker ansluta till en oåtkomlig databas om och om igen, loggar varje hälsokontroll, utsätts för en attack eller en flod av förfrågningar eller lämnades i felsökningsläge efter felsökningen.

En Docker-användare spårade en JSON-logg på cirka 80 GB till överdrivet mycket felsökningsutdata, vilket visar hur utdata på felsökningsnivå kan överbelasta en startdisk även när rotation är det omedelbara skyddet.

Gruppera upprepade meddelanden efter frekvens och första tidsstämpel, och åtgärda sedan det första grundfelet. ZimaSpace-guiden om att hitta ett beroende som orsakar en omstartsloop är nästa steg i felsökningen när fel med anslutningar, monteringar, hemligheter eller beredskap orsakar loggfloden.

Håll koll på Docker-loggar, Journald-loggar och applikationernas egna loggar separat

En container kan skicka stdout till Docker och samtidigt skriva egna filer till en bind-monterad katalog, medan själva Docker-tjänsten kan skicka daemonhändelser till journald. Varje loggmottagare har en egen lagringsansvarig och kan fylla samma startfilsystem oberoende av de andra.

Användare som driver hemmaservrar har rapporterat att applikationernas loggkataloger växer trots förväntningar om att rotation på Docker-nivå skulle hålla dem under kontroll. Ett fall i TrueNAS-communityn visar att man måste ta reda på vilket loggningslager som ansvarar för lagringen innan man justerar gränserna.

Dokumentera en baslinje efter åtgärden för startdiskens användning, de största loggfilerna, journalens storlek, antal omstarter av containrar och den dagliga tillväxten. Åtgärden är slutförd först när varje aktiv loggmottagare har en begränsad policy, den störande tjänsten är stabil under sin normala belastning och en avsiktlig omstart inte återskapar obegränsade filer.

Support och tips

Mer att läsa

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.