Så stoppar du en databaskontainer från att växa efter datarensning

Eva Wong är teknisk skribent och händig hemmabyggare på ZimaSpace. Som tekniknörd sedan barnsben med ett brinnande intresse för hemlabb och programvara med öppen källkodspecialiserar hon sig på att göra komplexa tekniska koncept begripliga genom praktiska, praktiska guider. Eva tycker att självhosting ska vara roligt, inte avskräckande. Genom sina handledningar hjälper hon communityn att göra hårdvaruinstallationer mindre mystiska, från att bygga sin första NAS till att bemästra Docker-containrar.

En databaskontainer kan fortsätta att växa efter datarensning eftersom raderade rader, transaktionsloggar, index och containerloggar följer olika regler för hur diskutrymme frigörs.

Utgå inte från att databasvolymen växer bara för att containerns totala diskutrymme ökar. Mät databaskatalogen, katalogerna för WAL eller binloggar, Docker-loggfilen, det skrivbara lagret samt sökvägar för säkerhetskopior eller temporära filer separat. Ta sedan reda på om raderat databasutrymme kan återanvändas internt men inte återföras till värden, om en omskrivning verkligen krävs eller om en helt annan fil fortfarande växer.

Mät vilken sökväg som fortfarande växer

Anteckna storleken på den namngivna volymen eller den bind-monterade databaskatalogen, containerns skrivbara lager, containerns loggfil på värden, databaskatalogen för transaktionsloggar samt eventuella dump- eller temporärkataloger före och efter en rensningscykel.

En felsökningsguide för diskutrymme i PostgreSQL börjar med samma princip: ta reda på var utrymmet finns innan du väljer en åtgärd för att frigöra det.

Om bara Docker-loggen växer är databasrensning irrelevant. Om datafilen förblir stor men slutar växa efter rensningen kanske databasmotorn redan återanvänder frigjorda sidor, även om värdens filsystem inte visar någon minskning.

Skilj mellan återanvändbart databasutrymme och utrymme som återförs till disken

Många transaktionsdatabaser tar inte omedelbart bort filblock från mitten av en tabell när rader har raderats. I stället markerar eller frigör de interna sidor så att senare infogningar kan återanvända utrymmet medan den underliggande filen behåller samma storlek.

PostgreSQL är ett tydligt exempel: vanlig VACUUM gör utrymme återanvändbart internt men återför vanligtvis inte de här områdena mitt i filen till operativsystemet.

Håll koll på om filen fortsätter att växa vid nya infogningar efter rensningen. En stabil filstorlek samtidigt som den interna mängden outnyttjat utrymme minskar skiljer sig från okontrollerad tillväxt och motiverar vanligtvis inte en akut omskrivning.

Använd databasmotorns metod för att frigöra utrymme, inte en generell Docker-rensning

Om målet är att frigöra kapacitet på värden ska du först ta reda på vilken motor och vilket lagringsformat som används. PostgreSQL, MySQL eller MariaDB och SQLite använder inte ett gemensamt krympningskommando, och vissa åtgärder för att frigöra utrymme skriver om stora filer eller låser tabeller.

En artikel om MySQL-lagring förklarar hur OPTIMIZE kan bygga om InnoDB-tabeller i stället för att behandla en DELETE som ett bevis på att värden omedelbart bör få tillbaka lagringsutrymme.

Säkerhetskopiera databasen och kontrollera att det finns ledigt arbetsutrymme innan du utför en operation som skriver om stora datamängder. Ett nästan fullt filsystem på en hemmaserver är den sämsta tidpunkten att starta ett kommando som behöver en andra kopia av en stor tabell.

Single board computer zimaboard2

Kontrollera WAL-, binlogg- och replikeringslagring separat

Transaktionsloggar kan växa även efter att gamla programrader har raderats. Ett misslyckat arkiveringsjobb, en inaktuell replikeringsplats, en eftersläpande replika, en lång transaktion eller ett krav på att behålla säkerhetskopior kan göra att historiska loggsegment blir kvar på disken.

En ny anteckning om PostgreSQL-återställning visar hur WAL-lagring kan ta upp lagringsutrymme oberoende av tabelldata som användaren just har rensat bort.

Ta inte bort WAL- eller binloggfiler manuellt från filsystemet. Åtgärda orsaken till lagringen via databasmotorn och kontrollera sedan att normal återanvändning av loggar återupptas.

Begränsa Docker-loggar och kontrollera det skrivbara lagret

En databaskontainer kan verka växa eftersom stdout eller stderr samlas in i en obegränsad Docker-logg, eller för att en tillfällig export, cache eller databasfil har skrivits till containerns skrivbara lager i stället för till den avsedda beständiga volymen.

I en anteckning om självhostad Docker står det att containerloggar kan växa obegränsat när loggrotation inte har konfigurerats.

Koppla varje stor fil på värden till dess containersökväg innan du raderar något. Konfigurera loggrotation för framtida tillväxt och flytta databastillståndet till en uttrycklig volym i stället för att förlita dig på det flyktiga skrivbara lagret.

Kontrollera att rensningen ger hållbart utrymme

Efter den valda åtgärden för att frigöra utrymme kör du den vanliga skrivarbetsbelastningen under en representativ period och jämför ledigt utrymme på värden, databasfilens storlek, transaktionsloggens storlek, Docker-loggar och mätvärden för internt ledigt utrymme eller fragmentering.

En guide till att minska PostgreSQL-lagring betonar att krympning kräver riktat underhåll i stället för att anta att varje borttagning omedelbart bör minska operativsystemets filstorlek.

Åtgärden är klar när förväntad databasökning återanvänder utrymme eller hålls inom gränser och värden inte längre förlorar oförklarligt lagringsutrymme efter varje rensningsomgång. Den relaterade ZimaSpace-guiden om konsekventa säkerhetskopior av databascontainrar ger en återställningspunkt innan någon åtgärd skriver om databasfiler.

Vanliga frågor

Varför frigörs nästan inget diskutrymme på värden ibland när miljontals rader tas bort?

Databasmotorn kan markera sidorna som återanvändbara i databasfilen i stället för att korta själva filen. Det kan förhindra framtida tillväxt utan att ändra filstorleken som visas på värden.

Bör jag alltid skriva om databasen helt när containern blir stor?

Nej. Åtgärder som skriver om data kan kräva lås, tillfälligt utrymme och omfattande I/O. Använd dem bara när det är nödvändigt att frigöra utrymme på värden och du förstår de specifika riskerna med databasmotorn.

Kan Docker prune frigöra utrymme i en databasvolym?

Inte om volymen fortfarande ingår i databasens beständiga tillstånd. Ta reda på om utrymmet hör till loggar, avbildningar, stoppade containrar eller aktiva databasedata innan du rensar.

Support och tips

Mer att läsa

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.