So verhindern Sie, dass ein Datenbank-Container nach dem Bereinigen von Daten weiter wächst

Eva Wong ist die technische Redakteurin und begeisterte Tüftlerin bei ZimaSpace. Als lebenslanger Geek mit einer Leidenschaft für Homelabs und Open-Source-Softwarehat sie sich darauf spezialisiert, komplexe technische Konzepte in verständliche, praxisnahe Anleitungenzu übersetzen. Eva ist überzeugt, dass Self-Hosting Spaß machen sollte und nicht einschüchternd sein darf. Mit ihren Tutorials hilft sie der Community dabei, Hardware-Setups zu durchschauen, vom Bau des ersten NAS bis zum sicheren Umgang mit Docker-Containern.

Ein Datenbank-Container kann auch nach der Datenbereinigung weiter wachsen, weil gelöschte Zeilen, Transaktionsprotokolle, Indizes und Container-Protokolle unterschiedlichen Regeln für die Speicherplatzrückgewinnung unterliegen.

Gehe nicht davon aus, dass das Datenbank-Volume wächst, nur weil der gesamte Speicherbedarf des Containers zunimmt. Miss das Datenbankdatenverzeichnis, die WAL- oder Binlog-Verzeichnisse, die Docker-Protokolldatei, die beschreibbare Ebene sowie Sicherungs- und temporäre Pfade getrennt. Ermittle dann, ob gelöschter Datenbankspeicherplatz intern wiederverwendbar ist, aber nicht an den Host zurückgegeben wird, ob tatsächlich eine Neuschreibung erforderlich ist oder ob eine ganz andere Datei weiter wächst.

Messen, welcher Pfad noch wächst

Erfasse vor und nach einem Bereinigungsdurchlauf die Größe des benannten Volumes oder des per Bind-Mount eingebundenen Datenbankverzeichnisses, der beschreibbaren Container-Ebene, des containerseitigen Protokolls auf dem Host, des Datenbank-Transaktionsprotokollverzeichnisses sowie etwaiger Dump- oder temporärer Verzeichnisse.

Ein Leitfaden zur Fehlerbehebung bei Speicherplatzproblemen in PostgreSQL beginnt mit demselben Grundsatz: herausfinden, wo der Speicherplatz belegt ist, bevor eine Rückgewinnungsmaßnahme gewählt wird.

Wenn nur das Docker-Protokoll wächst, ist die Datenbankbereinigung irrelevant. Bleibt die Datendatei groß, wächst nach der Bereinigung aber nicht weiter, verwendet die Datenbank-Engine möglicherweise bereits freigegebene Seiten wieder, auch wenn das Host-Dateisystem keine Verkleinerung erkennt.

Wiederverwendbaren Datenbankspeicherplatz von an den Datenträger zurückgegebenem Speicherplatz unterscheiden

Viele transaktionale Datenbanken entfernen Dateiblöcke aus der Mitte einer Tabelle nicht sofort, nachdem Zeilen gelöscht wurden. Sie markieren interne Seiten oder geben sie frei, damit spätere Einfügungen diesen Speicherplatz wiederverwenden können, während die zugrunde liegende Datei gleich groß bleibt.

PostgreSQL ist ein anschauliches Beispiel: Gewöhnliches VACUUM macht Speicherplatz intern wiederverwendbar, gibt diese mittleren Dateibereiche aber normalerweise nicht an das Betriebssystem zurück.

Beobachte, ob die Datei bei neuen Einfügungen nach der Bereinigung weiter wächst. Eine stabile Dateigröße bei abnehmendem internem Platzverbrauch ist etwas anderes als unkontrolliertes Wachstum und rechtfertigt normalerweise keine Notfall-Neuschreibung.

Die Freigabemethode der Datenbank-Engine verwenden, keine allgemeine Docker-Bereinigung

Wenn Speicherplatz für den Host freigegeben werden soll, zuerst Engine und Speicherformat ermitteln. PostgreSQL, MySQL oder MariaDB und SQLite verwenden nicht denselben universellen Verkleinerungsbefehl. Manche Vorgänge zur Speicherfreigabe schreiben große Dateien neu oder sperren Tabellen.

Ein MySQL-Artikel zum Speicher erklärt, wie OPTIMIZE InnoDB-Tabellen neu erstellen kann, statt ein DELETE als Beweis dafür zu werten, dass der Host sofort Speicherplatz zurückgewinnen sollte.

Vor jedem Vorgang mit umfangreichen Neuschreibungen die Datenbank sichern und den freien Speicherplatz im Arbeitsbereich prüfen. Ein fast volles Dateisystem auf dem Home-Server ist der ungünstigste Zeitpunkt, um einen Befehl zu starten, der eine zweite Kopie einer großen Tabelle benötigt.

Single board computer zimaboard2

WAL-, Binlog- und Replikationsaufbewahrung getrennt prüfen

Transaktionsprotokolle können auch dann weiter anwachsen, wenn alte Anwendungszeilen gelöscht wurden. Ein fehlgeschlagener Archivierungsjob, ein veralteter Replikationsslot, ein Replikat mit Rückstand, eine lang laufende Transaktion oder Anforderungen an die Aufbewahrung von Backups können historische Protokollsegmente auf der Festplatte halten.

Ein aktueller PostgreSQL-Wiederherstellungshinweis zeigt, wie die WAL-Aufbewahrung Speicherplatz belegen kann, unabhängig von den Tabellendaten, die ein Nutzer gerade bereinigt hat.

WAL- oder Binlog-Dateien nicht von Hand aus dem Dateisystem löschen. Die Ursache für die Aufbewahrung über die Datenbank-Engine beheben und anschließend prüfen, ob die reguläre Wiederverwendung wieder einsetzt.

Docker-Logs begrenzen und die beschreibbare Ebene prüfen

Ein Datenbank-Container kann scheinbar immer größer werden, weil die Standardausgabe oder die Fehlerausgabe in ein unbegrenzt wachsendes Docker-Log geschrieben wird oder weil ein temporärer Export, Cache oder eine Datenbankdatei in der beschreibbaren Container-Ebene statt im vorgesehenen persistenten Volume gespeichert wurde.

In einem Fallbeispiel zum Self-Hosting wird darauf hingewiesen, dass Container-Logs unbegrenzt wachsen können, wenn keine Rotation konfiguriert ist.

Ordnen Sie jede große Host-Datei ihrem Container-Pfad zu, bevor Sie etwas löschen. Richten Sie eine Protokollrotation für künftiges Wachstum ein und verschieben Sie den Datenbankzustand in ein ausdrücklich angegebenes Volume, anstatt sich auf die flüchtige beschreibbare Ebene zu verlassen.

Stellen Sie sicher, dass die Bereinigung dauerhaft ausreichend freien Speicherplatz schafft

Führen Sie nach dem gewählten Schritt zur Speicherplatzfreigabe die übliche Schreiblast über einen repräsentativen Zeitraum aus und vergleichen Sie den freien Speicherplatz auf dem Host, die Größe der Datenbankdatei, die Größe des Transaktionsprotokolls, die Docker-Protokolle sowie interne Kennzahlen zu freiem Speicherplatz oder Bloat.

Ein Leitfaden zur Verringerung des PostgreSQL-Speicherbedarfs betont, dass die Verkleinerung gezielte Wartungsmaßnahmen erfordert, statt davon auszugehen, dass jedes Löschen sofort die Dateigröße im Betriebssystem reduziert.

Die Korrektur ist abgeschlossen, wenn das erwartete Datenbankwachstum wiederverwendet oder begrenzt wird und der Host nach jedem Bereinigungszyklus keine unerklärlichen Kapazitätsverluste mehr aufweist. Der zugehörige ZimaSpace-Leitfaden zu konsistenten Sicherungen von Datenbank-Containern bietet die Möglichkeit zum Zurücksetzen, bevor Datenbankdateien durch einen Vorgang umgeschrieben werden.

Häufig gestellte Fragen

Warum gibt das Löschen von Millionen Zeilen manchmal kaum Speicherplatz auf dem Host frei?

Die Engine kann diese Seiten innerhalb der Datenbankdatei als wiederverwendbar markieren, anstatt die Datei selbst zu kürzen. Dadurch kann weiteres Wachstum verhindert werden, ohne die für den Host sichtbare Dateigröße zu ändern.

Sollte ich jedes Mal eine vollständige Umschreibung ausführen, wenn der Container zu groß wird?

Nein. Vorgänge mit umfangreichen Umschreibungen können Sperren, temporären Speicherplatz und erhebliche E/A erfordern. Führen Sie sie nur aus, wenn Speicherplatz auf dem Host freigegeben werden muss und die enginespezifischen Risiken bekannt sind.

Kann Docker-Prune Speicherplatz in einem Datenbank-Volume freigeben?

Nicht gefahrlos, solange das Volume noch zum dauerhaften Zustand der Datenbank gehört. Stellen Sie fest, ob der Speicherplatz auf Protokolle, Images, gestoppte Container oder aktive Datenbankdaten entfällt, bevor Sie etwas bereinigen.

Support und Tipps

Mehr zum Lesen

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.