Co oznacza całkowite usunięcie danych osobowych w wektorowej bazie danych?

Eva Wong

IceWhale author

Eva Wong jest Technicznym pisarzem i stałym majsterkowiczem w ZimaSpace. Całe życie geek z pasją do homelabów i oprogramowania open-source, specjalizuje się w tłumaczeniu skomplikowanych koncepcji technicznych na przystępne, praktyczne przewodniki. Eva wierzy, że samodzielne hostowanie powinno być zabawą, a nie czymś onieśmielającym. Poprzez swoje samouczki umożliwia społeczności rozwiewanie tajemnic konfiguracji sprzętu, od budowy pierwszego NAS po opanowanie kontenerów Docker.

What Does Complete Personal-Data Deletion Mean in a Vector Database? - Zima Store Online

Całkowite usunięcie danych osobowych z bazy danych wektorowych oznacza, że dane nie są już dostępne za pośrednictwem interfejsu API, a także zostały usunięte, wygasły lub stały się kryptograficznie niemożliwe do odzyskania we wszystkich fizycznych stanach indeksu i jego kopiach zależnych.

Problem polega na tym, że system RAG nie przechowuje jednego obiektu w jednym miejscu. Oryginalny tekst może generować fragmenty, wektory osadzeń, metadane, indeksy grafowe, pamięci podręczne, repliki, dzienniki, migawki i kopie zapasowe. Usunięcie rekordu głównego to dopiero pierwszy etap tego cyklu życia.

Usunięcie logiczne i fizyczne wymazanie to różne stany

Indeksy wektorowe często wymagają szybkiej modyfikacji bez natychmiastowego przebudowywania dużych struktur grafowych lub segmentów. Operacja usunięcia może więc oznaczyć punkt jako niedostępny dla zwykłych zapytań, podczas gdy stare bajty pozostają w segmencie indeksu do czasu kompaktowania, optymalizacji lub zastąpienia segmentu.

Badanie Ghost Vectors z 2026 roku wykazało, że miękko usunięte wektory osadzeń mogą pozostać fizycznie możliwe do odzyskania z surowych plików indeksu HNSW nawet po usunięciu na poziomie interfejsu API. Naukowcy wykazali możliwość odzyskania poufnych atrybutów z kilku rodzajów wektorów osadzeń, konkretnie pokazując różnicę między niewidocznością w wyszukiwaniu a fizycznym wymazaniem.

Nie oznacza to, że każda baza danych wektorowych przechowuje każdy usunięty wektor na zawsze. Oznacza to, że gwarancja usunięcia musi opisywać cykl czyszczenia silnika pamięci masowej. „Zapytanie już go nie zwraca” to test funkcjonalny, a nie dowód, że podstawowa reprezentacja zniknęła.

Kopie pochodne rozszerzają zakres usuwania poza główny wektor

Prywatny dokument może istnieć jako surowy tekst, kilka fragmentów, wektory osadzeń, metadane dokumentu, pamięci podręczne rerankera, wygenerowane podsumowania, cytowania w rozmowach i pamięci podręczne wyników wyszukiwania. Jeśli jakakolwiek kopia pochodna może ujawnić usunięte dane osobowe, usunięcie jednego identyfikatora wektora nie kończy realizacji żądania użytkownika.

Proces usuwania danych w prywatnym systemie RAG obejmuje zakres usuwania w systemie RAG obejmujący rekordy źródłowe, wektory osadzeń, indeksy pochodne i warstwy przechowywania. Najważniejsza lekcja architektoniczna dotyczy pochodzenia danych: każdy wygenerowany rekord potrzebuje stabilnej ścieżki prowadzącej z powrotem do tożsamości źródła, aby żądanie usunięcia mogło znaleźć wszystkie jego elementy pochodne.

Powiązany artykuł ZimaSpace o znacznikach usunięcia w indeksach wektorowych analizuje jeden z mechanizmów na poziomie indeksu. Całkowite wymazanie ma szerszy zakres, ponieważ wymaga śledzenia danych osobowych w całym stosie wyszukiwania, a nie tylko usunięcia węzła grafu ze zwykłych wyników wyszukiwania.

Kompaktowanie, repliki i kopie zapasowe tworzą różne harmonogramy usuwania

Usunięcie z aktywnych replik może wymagać natychmiastowego propagowania, podczas gdy niezmienne kopie zapasowe mogą przechowywać stare dane do upływu udokumentowanego okresu przechowywania. Zadanie kompaktowania może fizycznie przepisać segmenty indeksu później niż usunięcie wykonane przez interfejs API. Te harmonogramy powinny być jasno określone, aby system potrafił rozróżnić stany „niedostępne”, „oczekujące na wyczyszczenie” i „wygasłe we wszystkich przechowywanych kopiach”.

W przypadku kopii zapasowych potrzebna jest także reguła dotycząca odtwarzania. Jeśli zostanie odtworzona starsza kopia zapasowa, system nie może po cichu przywrócić danych, których usunięcie nastąpiło po jej utworzeniu. Należy przechowywać trwały rejestr usunięć lub równoważny stan uzgadniania, który można ponownie zastosować po odzyskiwaniu po awarii, aż każda kopia zapasowa zawierająca stare dane ulegnie wygaśnięciu.

-15% OFF

ZimaBoard 2 – Mini serwer domowy dla Twojego wielkiego pomysłu

Single board computer zimaboard2

Twierdzenie o usunięciu wymaga możliwego do zweryfikowania stanu końcowego

Należy zdefiniować obiekty objęte żądaniem, usunąć je z wyszukiwania online, propagować usunięcie do replik i kopii pochodnych, uruchomić mechanizm fizycznego czyszczenia silnika lub zaczekać na jego wykonanie oraz odnotować, które przechowywane kopie zapasowe nadal zawierają kopie historyczne. Następnie należy przetestować zarówno zwykły dostęp za pośrednictwem interfejsu API, jak i dostęp do niższego poziomu pamięci masowej, odpowiednio do modelu zagrożeń.

Badanie z dziedziny systemów baz danych dotyczące znaczącego wymazywania danych przy istniejących zależnościach formalizuje trudniejszy wymóg niż samo usunięcie wiersza: pozostałe zależności danych nie powinny umożliwiać nowego wnioskowania o wymazanych informacjach. Wzmacnia to przedstawioną tu granicę systemową — usuwanie musi uwzględniać zależne reprezentacje i przechowywane kopie, a nie tylko główny identyfikator wektora.

Usunięcie należy uznać za zakończone wyłącznie w odniesieniu do udokumentowanej granicy: kopie możliwe do wyszukania zostały natychmiast usunięte, fizyczne czyszczenie aktywnego magazynu zostało zweryfikowane, kopie pochodne wyczyszczono, a przechowywane kopie zapasowe podlegają jasno określonej polityce wygasania lub wymazywania kryptograficznego. Jeśli system nie potrafi wyliczyć miejsc, do których rozprzestrzenił się jeden dokument źródłowy, nie może wiarygodnie zagwarantować, że usunięcie żądane przez użytkownika dotarło do każdej kopii.