Comment l’indexation par apprentissage automatique d’Immich rend les photos privées consultables par recherche

Immich rend les photos consultables en convertissant les images préparées en représentations stockées qui peuvent être comparées aux requêtes et filtrées selon les droits d’accès.

Un parent se souvient d’un vélo rouge dans une photo de vacances, mais pas de son nom de fichier ni de sa date, et effectue une recherche en langage courant sur le serveur photo domestique. Pour obtenir un résultat utile, il ne suffit pas de conserver l’image sur le disque. La représentation visuelle, la recherche dans la base de données et le périmètre des autorisations doivent fonctionner ensemble, tandis que le modèle choisi détermine les similitudes que la recherche peut reconnaître.

Préparer une image n’est pas entraîner un modèle

L’importation d’une photothèque exécute normalement une inférence avec un modèle existant ; elle n’entraîne pas un nouveau modèle généraliste sur la collection familiale. Le serveur prépare les données d’image exploitables, demande une analyse et associe les informations renvoyées à un élément. Cette distinction explique pourquoi un import initial important consomme des ressources de calcul sans nécessiter un projet d’entraînement familial.

L’indexation visuelle locale permet à une application photo hébergée de créer des représentations de recherche avant qu’un utilisateur ne saisisse une requête. Le premier passage prend du temps, car chaque image admissible doit tout de même être traitée. Une fois les représentations créées, une recherche ultérieure peut les réutiliser au lieu de relancer toute la charge d’analyse d’image sur chaque photo.

La disponibilité se situe donc en aval de l’importation. Un original lisible peut exister avant que sa représentation visuelle ne soit disponible. Considérez l’indexation initiale comme une étape distincte et n’interprétez pas un transfert réussi ou l’affichage rapide d’un aperçu mis en cache comme la preuve que l’analyse sémantique est terminée pour cet élément.

Les plongements relient les images aux mots

Un plongement est une représentation numérique utilisée pour comparer une signification ou un contenu visuel. Un encodeur d’images et un encodeur de texte compatibles transforment des entrées différentes en représentations comparables. La phrase recherchée n’est pas simplement comparée à un nom de fichier généré en secret, et un résultat pertinent n’implique pas que le système ait rédigé une légende exacte pour chaque image.

L’apprentissage contrastif image-texte rapproche les images et les descriptions associées tout en séparant les paires moins pertinentes pendant l’entraînement. Lors de la recherche, la représentation entraînée permet de comparer une phrase aux vecteurs d’images stockés. C’est le mécanisme qui permet de rechercher des concepts visuels sans attribuer au préalable le même mot-clé littéral à chaque photo pertinente.

Par exemple, un vélo sur une plage peut être bien classé pour une phrase descriptive, même si aucun de ces deux mots n’apparaît dans ses métadonnées. Il s’agit d’un jugement de pertinence, et non de la preuve que l’image contient chaque détail demandé. La formulation, le cadrage, les petits objets et les éléments visuels concurrents peuvent modifier le classement malgré un fichier original inchangé.

La base de données rend les résultats accessibles

Le calcul d’un vecteur ne termine pas le processus de recherche : l’application doit le stocker et l’interroger avec les informations relatives à l’élément. La base de données renvoie les identifiants des résultats candidats, après quoi l’application peut fournir les médias correspondants. Le débit de calcul et la latence de récupération dans la base de données sont des composantes liées, mais mesurables séparément, de l’expérience.

Le moteur de recherche dépend de la version. Immich a supprimé la prise en charge de pgvecto.rs dans la v3 et recommande VectorChord comme successeur ; un ancien article d’architecture citant pgvecto.rs ne doit donc pas devenir une recommandation actuelle de déploiement. Le principe durable réside dans l’association de vecteurs stockés et de l’état relationnel de l’application, et non dans le nom d’une extension historique.

Pour donner un ordre de grandeur, 100 000 vecteurs contenant 512 valeurs de quatre octets occupent environ 205 Mo sous forme de nombres bruts. Il ne s’agit pas d’une estimation de la base de données Immich : les dimensions réelles, les types, les index, les lignes et la journalisation à écriture anticipée modifient le total. Ce calcul montre seulement pourquoi une représentation diffère du stockage d’une autre image en pleine résolution.

-15% OFF

ZimaBoard 2 - Mini serveur domestique pour votre grande idée

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

Les personnes, les métadonnées et la recherche visuelle suivent des chemins différents

La recherche visuelle, le filtrage des métadonnées et la recherche de personnes nommées répondent à des questions différentes. Un filtre de date utilise des informations enregistrées ; la recherche visuelle classe une description de scène ; les fonctions liées aux visages détectent et regroupent les visages qu’un utilisateur peut ensuite nommer. S’attendre à ce que ces trois méthodes se comportent comme une recherche exacte par nom de fichier masque les raisons pour lesquelles l’une fonctionne tandis qu’une autre déçoit.

L’organisation des photos familiales bénéficie de la combinaison de ces méthodes plutôt que de demander à un seul modèle de retrouver chaque information. Un nom de personne, un mois approximatif et une description visuelle contraignent différents aspects de la collection. Leur utilité dépend des métadonnées disponibles, du traitement terminé et des photos auxquelles le compte actuel est autorisé à accéder.

Cette distinction évite également une erreur d’interprétation : reconnaître un visage visuellement similaire ne constitue pas une preuve indépendante de l’identité. Examinez les groupes avant de vous fier à un nom, en particulier lorsque l’âge, l’éclairage ou l’occlusion modifient l’apparence. Gardez les décisions administratives précises ou sensibles en dehors d’un classement par similitude conçu pour faciliter la consultation d’une photothèque.

La confidentialité et la précision ont des limites distinctes

Un modèle local peut maintenir l’analyse des images au sein du serveur domestique, mais la limite de confiance suit le point de terminaison configuré. Envoyer l’analyse à une autre machine signifie que cette machine traite les données fournies. Un accélérateur distant sur un réseau privé et un point de terminaison hébergé inconnu ont des implications différentes en matière de confidentialité, même si tous deux sont qualifiés d’apprentissage automatique distant.

Les limites du modèle sont distinctes de la confidentialité du déploiement. L’article de recherche original sur CLIP décrit des faiblesses dans des tâches telles que le comptage et les distinctions fines, et avertit que les résultats dépendent des catégories ou des invites fournies. Garder l’inférence en local n’élimine pas ces limites et ne transforme pas un score de similitude en description factuelle d’un événement familial.

L’affirmation de confidentialité de la recherche échoue si elle suppose que l’auto-hébergement sécurise automatiquement chaque point de terminaison, sauvegarde, compte et album partagé. L’affirmation de précision échoue si elle promet un rappel exhaustif à partir d’une formulation arbitraire. Énoncez clairement les deux limites : qui traite les données fournies et ce que la représentation peut raisonnablement distinguer dans la collection sélectionnée.

Vérifiez le processus avec des photos connues

Constituez un petit jeu de référence autorisé contenant des objets évidents, des scènes ambiguës, de petits détails et plusieurs personnes connues. Une fois le traitement terminé, comparez le filtrage exact des métadonnées aux requêtes visuelles et à la recherche de personnes nommées. Notez le modèle choisi et la version du serveur afin de pouvoir évaluer ultérieurement une modification à partir des mêmes exemples plutôt que de vous fier à votre mémoire.

Une expérience de changement de modèle menée par un utilisateur a fait état d’une qualité de recherche sensiblement différente avec un autre modèle configuré. Cette observation justifie la vérification de la pertinence sur des exemples personnels, et non la supposition que tout modèle plus volumineux améliorera chaque requête. Le coût matériel, la couverture linguistique et les besoins de retraitement doivent rester distincts du témoignage enthousiaste d’un utilisateur concernant de meilleurs résultats.

Validez le processus lorsque les éléments représentatifs ont terminé le traitement requis, que les utilisateurs autorisés peuvent récupérer les exemples attendus et que les faiblesses sont documentées plutôt que dissimulées. Si les métadonnées trouvent un élément mais que la formulation visuelle ne le trouve pas, examinez la pertinence avant de conclure à une perte de données. Si l’analyse a été redirigée, vérifiez l’hôte destinataire comme une décision distincte en matière de confidentialité.