Waarom voert een zelfgehoste app dezelfde databasemigratie twee keer uit na een nieuwe implementatie?

Eva Wong is de technisch schrijver en vaste knutselaar bij ZimaSpace. Als levenslange geek met een passie voor homelabs en open-sourcesoftwareis ze gespecialiseerd in het vertalen van complexe technische concepten naar toegankelijke, praktische handleidingen. Eva vindt dat self-hosting leuk moet zijn en niet intimiderend. Met haar tutorials helpt ze de community om hardware-installaties te doorgronden, van het bouwen van hun eerste NAS tot het beheersen van Docker-containers.

Een databasemigratie kan twee keer worden uitgevoerd wanneer meer dan één opstartpad, container of scheduler denkt verantwoordelijk te zijn voor dezelfde upgrapestap.

Zelfgehoste applicaties starten migraties vaak vanuit een entrypoint, webproces, worker, sidecar, systemd-unit of implementatiehook. Na een herimplementatie kan een oude container overlappen met een nieuwe, kan een herstartbeleid een mislukte migratietaak opnieuw uitvoeren of kunnen twee replica's de database bereiken voordat een ervan de voltooiing vastlegt. Bij de diagnose moeten alle mogelijke uitvoerders worden geïdentificeerd en moet worden aangetoond of het migratieframework een persistente vergrendeling of een schemageschiedenisrecord gebruikt voordat er gegevens worden hersteld.

Identificeer elk proces dat de migratie kan starten

Zoek naar de migratieopdracht in het entrypoint van de image, de Compose-opdracht, de worker-opdracht, de systemd-unit, de cronjob, het implementatiescript en het opstartlogboek van de applicatie. Noteer de proces-ID's en containernamen op de twee uitvoeringsmomenten.

Docker Compose kan services starten volgens de opgegeven afhankelijkheden, maar alleen de opstartvolgorde maakt een applicatiemigratie niet tot de verantwoordelijkheid van één enkele uitvoerder. De officiële richtlijnen voor de opstartvolgorde laten zien waarom een beschikbare database en een migratie die door precies één uitvoerder wordt beheerd, afzonderlijke voorwaarden zijn.

Als dezelfde opdracht zowel in het web-entrypoint als in een aparte migratieservice voorkomt, verwijder dan een van beide uitvoerders. Als er maar één opdracht voorkomt, controleer dan verder op replica's, herstartlussen en migratiestatusrecords.

Controleer op overlappende oude en nieuwe containers

Vermeld tijdens de implementatie de actieve, herstartende, beëindigde en verweesde containers. Vergelijk projectnamen, servicenamen, container-ID's en aanmaaktijdstempels.

Systemd documenteert dat het herstartbeleid van services een mislukte opdracht opnieuw kan uitvoeren, afhankelijk van de unitinstellingen. Het herstartmodel van services helpt verklaren waarom een host-launcher de migratie opnieuw kan uitvoeren nadat de poging in de container is beëindigd met een niet-nulstatus.

Verwijder aantoonbaar achtergebleven uitvoerders pas nadat u hun logboeken hebt veiliggesteld. Een tweede migratietijdstempel kort na de eerste duidt vaak op een nieuwe poging en niet op een afzonderlijk geplande taak.

Gebruik een databasevergrendeling voordat u schemawijzigingen toepast

Stel vast of de toepassing een vergrendeling op databaseniveau verkrijgt voordat de migratiestatus wordt gelezen en wijzigingen worden toegepast. Test twee gelijktijdige opstartpogingen in een wegwerpomgeving.

PostgreSQL biedt advisory locks voor door de toepassing gedefinieerde coördinatie, zodat één migratie-uitvoerder een andere kan uitsluiten, zelfs als ze vrijwel gelijktijdig starten.

Een vergrendeling moet de volledige besluitvormings- en uitvoeringsperiode beslaan. Als u de huidige schemaversie controleert voordat u de vergrendeling verkrijgt, kunnen twee uitvoerders nog steeds dezelfde openstaande migratie kiezen.

Controleer de vergrendelingssemantiek in MySQL of MariaDB

Controleer bij MySQL-compatibele toepassingen of de migratietool een benoemde vergrendeling, transactie of vergrendelingstabel gebruikt en of de verbinding gedurende de hele migratie actief blijft.

MySQL documenteert verbindingsgebonden benoemde vergrendelingen, die worden vrijgegeven wanneer de bijbehorende sessie wordt beëindigd en daarom na een crash of herstart veilig opnieuw moeten worden verkregen.

Bij een mislukte verbinding kan de vergrendeling worden vrijgegeven voordat het migratieframework de voltooiing vastlegt. Vergelijk de databaselogboeken met de tijdstempels van containerherstarts om deze volgorde vast te stellen.

Controleer de geschiedenistabel van het migratieframework

Geef migratie-identificaties, uitvoeringsvolgorde, succesvlaggen, checksums en tijdstempels weer. Vergelijk de twee geregistreerde uitvoeringen met de records die daadwerkelijk in de database zijn vastgelegd.

Flyway gebruikt een tabel met schemageschiedenis om toegepaste migraties en hun statussen bij te houden.

Als de eerste uitvoering het schema heeft gewijzigd, maar is mislukt voordat het succes werd vastgelegd, kan de tweede uitvoering een migratie opnieuw proberen die niet idempotent is geschreven. Herstel de geschiedenis pas nadat u het werkelijke schema hebt vergeleken met het verwachte resultaat van de migratie.

Controleer de identiteit van het wijzigingslogbestand en wijzigingen in checksums

Vergelijk de bestandsnamen, ID's, auteurs, paden en checksums van migraties vóór en na de afbeeldingsupdate. Controleer of de afbeelding dubbele of hernoemde vermeldingen in het wijzigingslogbestand bevat.

Liquibase registreert uitgevoerde wijzigingen in de tabel DATABASECHANGELOG, waar de identiteit van een wijziging afhangt van de ID, auteur en het bestandspad.

Een wijzigingslogbestand verplaatsen of ID's opnieuw genereren kan oud werk nieuw doen lijken, zelfs als de SQL vergelijkbaar is. Herstel de stabiele migratie-identiteit in plaats van brede bereiken uit de geschiedenis handmatig te verwijderen.

Implementeer opnieuw met één eigenaar van de migratie en controleer de idempotentie

Wijs één eigenaar van de migratie aan, voeg duurzame vergrendeling toe, laat de web- en workerdiensten wachten tot de migratie is voltooid en voer de implementatie opnieuw uit op een testkopie van de database.

Het artikel van ZimaSpace over planningsgrenzen van containers geeft de aanvullende regel: één onderhoudstaak hoort één bewezen uitvoerder tijdens runtime te hebben.

Het probleem is opgelost wanneer gelijktijdig of herhaald opstarten resulteert in één toegepaste migratie, één blijvend geschiedenisrecord en geen tweede schemamutatie na een herstart.

Veelgestelde vragen

Beschadigt het twee keer uitvoeren van een migratie altijd de database?

Nee. Idempotente migraties kunnen veilig bestaande objecten detecteren, maar niet-idempotente datatransformaties, het aanmaken van indexen of wijzigingen aan kolommen kunnen mislukken of gegevens dupliceren.

Moet elke webreplica migraties mogen uitvoeren?

Alleen wanneer het framework betrouwbare coördinatie op databaseniveau biedt. In een thuisserverimplementatie is een aangewezen, eenmalige eigenaar van de migratie makkelijker te controleren.

Kan ik de migratie handmatig als voltooid markeren?

Pas nadat is bewezen dat het live schema en de gegevens overeenkomen met het verwachte resultaat van de migratie. De geschiedenis eerst bewerken kan een gedeeltelijk toegepaste wijziging verbergen.

Ondersteuning en tips

Meer om te lezen

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.