Czym jest osadzanie multimodalne i kiedy ma znaczenie w wyszukiwaniu multimediów w domu?
Embedding multimodalny przedstawia różne typy mediów w porównywalnej semantycznej przestrzeni wektorowej, dzięki czemu zapytanie w jednej modalności może wyszukiwać treści w innej.
W przypadku domowego archiwum może to oznaczać wpisanie „czerwony rower obok garażu” i znalezienie zdjęć lub klatek wideo, nawet jeśli żadna nazwa pliku ani podpis nie zawiera tych słów. Istotne jest nie tylko to, że obrazy i tekst mają własne embeddingi, lecz także to, że ich reprezentacje są wystarczająco dobrze wyrównane, aby podobieństwo między modalnościami miało znaczenie. Jest to szczególnie przydatne, gdy metadane multimediów są skąpe, ale wiąże się również z kompromisami dotyczącymi indeksowania, szczegółowości i fałszywych dopasowań.
Embeddingi multimodalne odwzorowują różne dane wejściowe we wspólnej przestrzeni
Enkoder tekstu oraz enkoder obrazu, dźwięku lub wideo mogą generować wektory, których geometria jest trenowana tak, aby semantycznie powiązane dane wejściowe znajdowały się blisko siebie. To wyrównanie umożliwia bezpośrednie porównywanie zapytania tekstowego z reprezentacjami obrazu lub dźwięku.
Nadzorowanie za pomocą języka naturalnego może tworzyć wyrównane reprezentacje obrazu i języka, które umożliwiają bezpośrednie porównywanie obrazów i tekstu bez dodatkowego trenowania dla konkretnego zadania.
Domowy indeks multimediów może więc przechowywać embeddingi obrazów i kodować frazę wyszukiwania za pomocą powiązanego enkodera tekstu. Baza danych nadal wykonuje wyszukiwanie podobieństwa wektorowego, ale wektory łączą teraz różne modalności, zamiast reprezentować wyłącznie tekst.
Wspólna przestrzeń umożliwia wyszukiwanie między modalnościami
Ta sama idea wykracza poza obraz i tekst, gdy model jest trenowany do wyrównywania wielu modalności wokół powiązanych treści semantycznych. Dźwięk, obraz i opis mogą być wtedy porównywane, mimo że ich surowe formaty nie mają wspólnych tokenów ani pikseli.
Wspólny embedding dla wielu modalności może obejmować obrazy, tekst, dźwięk, głębię, termowizję i sygnały inercyjne.
W przypadku prywatnego archiwum umożliwia to wyszukiwanie, takie jak znajdowanie klipów z szczekającym psem na podstawie frazy tekstowej lub grupowanie dźwięków i obrazów wokół tego samego wydarzenia. Obsługa zależy od rzeczywistych modalności, których nauczył się wybrany model, a nie od ogólnego założenia, że każdy wektor można bezproblemowo łączyć z innymi.
Różne rodziny embeddingów używają również różnych wymiarów i geometrii, dlatego wektorów z niezależnych modeli nie należy mieszać w jednej przestrzeni podobieństwa, chyba że system jawnie nauczył się wyrównania lub je stosuje.
Wideo zwykle wymaga reprezentacji na poziomie klatek lub klipów
Długie wideo zawiera wiele scen, obiektów, mówców i działań, dlatego pojedynczy wektor dla całego pliku może rozmywać moment, który użytkownik chce znaleźć. Wyszukiwanie w domowych materiałach zwykle wymaga reprezentacji klatek, ujęć, klipów lub segmentów połączonych w czasie.
Ujednolicony model może odwzorowywać tekst, obraz, wideo i dźwięk we wspólnej przestrzeni wyszukiwania, ale aplikacja nadal musi wybrać jednostkę czasową, która stanie się przeszukiwalnym rekordem.
Dziesięciosekundowy klip może lepiej zachowywać kontekst działania niż pojedyncza klatka, podczas gdy gęste embeddingi klatek zwiększają zapotrzebowanie na miejsce i powielają niemal identyczne treści. Odpowiednia szczegółowość zależy od tego, czy archiwum ma wyszukiwać obiekty, sceny, osoby, dźwięki czy wydarzenia.
Podobieństwo między modalnościami jest wskazówką semantyczną, a nie dowodem tożsamości
Wysoki wynik podobieństwa oznacza, że model znalazł powiązane znaczenia zgodnie ze swoim celem treningowym. Nie dowodzi jednak, że dwa rekordy przedstawiają tę samą osobę, dokładnie ten sam produkt lub to samo wydarzenie, a model może mylić podobne wizualnie lub koncepcyjnie treści domowe.
Nawet w przypadku znormalizowanych wektorów w stylu CLIP geometria embeddingów odzwierciedla wyuczone podobieństwo, a nie zweryfikowaną relację tożsamości.
Gdy aplikacja potrzebuje silniejszych dowodów niż wyszukiwanie semantyczne, należy używać metadanych, znaczników czasu, identyfikatora kamery, modeli wyspecjalizowanych w rozpoznawaniu twarzy lub obiektów oraz weryfikacji przez człowieka.
Ta granica ma szczególne znaczenie w przypadku domowych nagrań z monitoringu. Wyszukiwanie tekstowe „osoba dostarczająca przesyłkę” może wskazać prawdopodobne klipy, ale samo w sobie nie powinno być podstawą decyzji dotyczącej kontroli dostępu ani tożsamości.
Embeddingi multimodalne są najbardziej przydatne, gdy metadane są niekompletne
Dobrze opisane albumy z wiarygodnymi podpisami, datami i oznaczeniami osób mogą już być łatwe do przeszukiwania tekstowego. Embeddingi multimodalne przynoszą największą wartość wtedy, gdy treści wizualne lub akustyczne mają istotne znaczenie, którego nigdy nie zapisano w metadanych.
Warstwa prywatnego organizowania multimediów może wykorzystywać embeddingi multimodalne jako jeden z mechanizmów wyszukiwania treści, których nie da się opisać za pomocą nazw plików ani folderów.
Przed utworzeniem embeddingu dla każdej klatki w dużym archiwum należy zmierzyć skuteczność wyszukiwania za pomocą zapytań typowych dla danego gospodarstwa domowego. Dodatkowa liczba wektorów, zajęte miejsce i praca związana z indeksowaniem są uzasadnione tylko wtedy, gdy wyszukiwanie między modalnościami znajduje przydatne materiały pomijane przez istniejące metadane.
Polecane produkty
Centrum Technologii i Sztucznej Inteligencji
Więcej do przeczytania
Czym jest stan Plexa i które jego elementy muszą być zachowane?
Trwały stan Plex to informacje, które zachowują konfigurację serwera po ponownym uruchomieniu i odbudowie; multimedia oraz tymczasowe dane transkodowania pełnią odrębne funkcje.
Jak Plex obsługuje uwierzytelnianie w sesjach lokalnych i zdalnych?
Uwierzytelnianie w Plex rozpoczyna się od tożsamości serwera i konta, a następnie lokalne lub zdalne ścieżki sieciowe określają dostępność oraz sposób nawiązywania bezpiecznego połączenia.
Dlaczego wyszukiwanie w Plex może zwalniać wraz ze wzrostem ilości danych biblioteki?
Sam wzrost biblioteki nie jest diagnozą. Zanim obwinisz rozmiar bazy danych, przetestuj kształt zapytań, indeksy, stan pamięci podręcznej, opóźnienia pamięci masowej i aktywność zapisu.
