La recherche vidéo agentique de Gemini utilise jusqu’à 88 % de tokens en moins — ce que cela signifie pour les NAS IA et la recherche multimédia privée

Lauren Pan est le fondateur de ZimaSpace et le architecte derrière la célèbre série ZimaBoard. Alliant design industriel et ingénierie embarquée, Lauren a lancé ZimaSpace avec une mission claire : démocratiser l'informatique en nuage personnelle. Il croit que le matériel doit être à la fois "hackable" et esthétique—réduisant le fossé entre les serveurs industriels et les gadgets grand public. Aujourd'hui, il dirige l'équipe d'ingénierie qui crée des outils offrant aux créateurs un contrôle total sur leur vie numérique.

Gemini Agentic Video transforme l’IA vidéo en permettant au modèle de décider quels moments méritent son attention, au lieu de traiter toute une vidéo à un taux d’échantillonnage fixe. Google indique que les charges de travail testées peuvent utiliser jusqu’à 88 % de jetons en moins, coûter jusqu’à 66 % moins cher et améliorer la qualité de jusqu’à 7 %. Le changement important ne réside pas simplement dans une analyse vidéo moins coûteuse : Gemini peut parcourir la timeline, examiner un moment prometteur, puis le revoir avec davantage de détails lorsque la question l’exige.

Pour un NAS contenant des années d’enregistrements de vidéosurveillance, de vidéos familiales, de réunions ou d’archives de créateurs, cela ne signifie pas que Gemini peut soudainement « regarder » toute la bibliothèque en local. Gemini fonctionne toujours dans le cloud de Google. L’architecture la plus intéressante consiste à réduire localement le périmètre d’une grande archive privée, puis à fournir à un modèle multimodal uniquement les clips ou les plages temporelles qui méritent un examen approfondi. En d’autres termes, le problème d’infrastructure consiste à transformer des vidéos à l’échelle du stockage en contexte à l’échelle de la requête.

Qu’est-ce que Gemini Agentic Video Understanding ?

Gemini Agentic Video Understanding est un mode de traitement vidéo qui permet à Gemini de parcourir activement une vidéo au lieu de charger les images à une fréquence fixe en un seul passage.

Google a présenté cette fonctionnalité le 1er septembre 2026. Son annonce de lancement concernait initialement Gemini 3.7 Flash, 3.6 Flash et 3.5 Flash-Lite ; la documentation actuelle destinée aux développeurs de Google répertorie également Gemini 3.8 Flash parmi les modèles prenant en charge le traitement vidéo agentique.

Selon l’annonce de Google sur la compréhension vidéo agentique, le modèle combine le raisonnement avec des outils vidéo natifs pour rechercher, parcourir et examiner les portions pertinentes des images, de l’audio et des transcriptions.

Mode de traitement Comment il regarde les vidéos Idéal pour
Statique Échantillonne les images à une fréquence fixe, de 1 IPS par défaut, et les place dans le contexte en un seul passage Clips courts ou prévisibles
Agentique Parcourt dynamiquement la timeline et ne charge que les images, la transcription ou l'audio pertinents Vidéos longues et requêtes ciblant des moments précis

Cette distinction est importante, car le modèle n'est plus un simple spectateur passif.

Il peut se poser une question interne du type : Où dois-je chercher ensuite ?

Pourquoi regarder une vidéo à 1 FPS fixe est-il inefficace ?

Le traitement vidéo statique est simple et prévisible. Gemini échantillonne la vidéo à une fréquence d'images fixe — 1 image par seconde par défaut — et traite ces images échantillonnées avec l'audio.

Cela fonctionne bien lorsque la vidéo est courte. Cela devient beaucoup moins intéressant lorsque l'entrée dure une heure ou plusieurs heures.

TRAITEMENT VIDÉO STATIQUE

Vidéo
  |
  v
Échantillonnage fixe à 1 FPS
  |
  v
Image 1
Image 2
Image 3
Image 4
...
  |
  v
Contexte étendu
  |
  v
Modèle
  |
  v
Réponse

La documentation actuelle de Google sur les jetons Gemini donne un exemple utile : une conférence d'une heure qui peut nécessiter environ 1,08 million de jetons avec un traitement statique en haute résolution pourrait utiliser environ 108 000 jetons avec un traitement agentique, selon la question et le contenu.

Cette différence s'explique par le fait que la plupart des questions ne nécessitent pas chaque seconde d'une vidéo.

Si l'utilisateur demande : « Quelle conclusion l'orateur a-t-il tirée au sujet des coûts de stockage ? », les éléments utiles peuvent tenir en 90 secondes dans une présentation d'une heure.

Traiter les 58 minutes restantes n'améliore pas automatiquement la réponse.

Pourquoi l'échantillonnage fixe des images peut-il encore manquer des événements importants ?

La consommation de jetons n'est que la moitié du problème. L'échantillonnage fixe peut également examiner les mauvais moments.

Imaginez un enregistrement de caméra de sécurité dans lequel quelqu'un dépose un colis sur un perron entre deux images échantillonnées :

00:10.0
Perron vide
    |
    |  colis déposé ici
    |
00:11.0
Colis sur le perron

Une vue à 1 FPS peut capturer l'état avant et après l'action tout en manquant l'action elle-même.

Google met notamment en avant la récupération de moments de moins d'une seconde comme l'une des nouvelles capacités d'Agentic Video. Le modèle peut identifier une plage temporelle prometteuse et rééchantillonner cette fenêtre de manière plus dense, plutôt que d'appliquer une fréquence d'images élevée à l'intégralité de l'enregistrement.

Ce type d'inspection ciblée est particulièrement pertinent pour les événements et enregistrements de caméras de sécurité stockés localement, lorsqu'un événement utile peut n'occuper que quelques secondes sur plusieurs heures de séquences.

Le principe est simple :

Consacrer davantage de bande passante visuelle là où la réponse est susceptible de se trouver.

Comment Gemini décide-t-il quelles parties d'une vidéo regarder ?

Agentic Video transforme la compréhension vidéo en un processus itératif. Au lieu de s'engager sur une seule stratégie d'échantillonnage avant le début du raisonnement, Gemini peut modifier la manière dont il examine l'entrée au fur et à mesure que la tâche évolue.

Google décrit le système comme choisissant quoi regarder, à quelle vitesse et par quelle modalité.

REQUÊTE UTILISATEUR
    |
    v
Raisonner sur les éléments nécessaires
    |
    v
Naviguer dans la chronologie de la vidéo
    |
    +---------------------+
    |          |          |
    v          v          v
Transcription   Audio      Images
    |          |          |
    +----------+----------+
               |
               v
      Moment pertinent trouvé ?
               |
          +----+----+
          |         |
         Non        Oui
          |         |
          v         v
 Rechercher à nouveau   Inspecter plus en profondeur
               FPS supérieur
               Détail supérieur
                    |
                    v
                  Réponse

Cela crée une boucle qui s’apparente davantage à une investigation qu’à un prompt multimodal ordinaire.

Une transcription peut d’abord indiquer approximativement où un sujet est abordé. Des images peuvent ensuite vérifier ce qui est apparu à l’écran. Si un événement visuel rapide est important, le modèle peut inspecter cette section précise à une fréquence d’images supérieure.

La modalité elle-même devient un élément de la décision de raisonnement.

Pourquoi Agentic Video peut-il utiliser jusqu’à 88 % de jetons en moins ?

Agentic Video économise des jetons en évitant les contenus multimédias qui ne contribuent pas à la réponse. Il ne compresse pas simplement l’intégralité de la vidéo de 88 %.

Les informations tarifaires actuelles de Google indiquent que la consommation de jetons est variable, car elle dépend de ce que le modèle charge dynamiquement. La complexité de la requête, le contenu vidéo et la profondeur de l’échantillonnage influencent tous le résultat.

Résultat rapporté par Google Signification
Jusqu’à 88 % de jetons en moins Le chargement sélectif peut réduire considérablement la quantité de contenu multimédia placée dans le contexte du modèle.
Jusqu’à 66 % de réduction du coût d’analyse Une utilisation réduite des jetons peut diminuer le coût total, mais pas dans un rapport de un à un.
Jusqu’à 7 % d’amélioration de la qualité L’inspection dynamique peut également récupérer des éléments que l’échantillonnage statique ne détecte pas.

Il s’agit des résultats de Google pour les tâches vidéo testées, et non de garanties fixes pour chaque entrée.

Les informations tarifaires actuelles de l’API Gemini indiquent explicitement que le nombre de jetons d’Agentic Video dépend du contenu chargé par le modèle, plutôt que de la durée totale de la vidéo source.

Une question difficile qui oblige le modèle à revenir sur de nombreuses sections peut consommer bien plus qu’une requête simple demandant un moment précis.

Pourquoi 88 % de jetons en moins ne signifie-t-il pas 88 % de coûts en moins ?

Agentic Video effectue toujours du raisonnement et de la navigation. Il peut inspecter des transcriptions, charger des images, rééchantillonner un segment et produire une réponse finale.

C’est pourquoi la plus forte réduction de jetons rapportée par Google est de 88 %, tandis que la plus forte réduction rapportée du coût d’analyse est de 66 %.

La facture de jetons peut inclure plusieurs types de traitement :

  • le prompt textuel d’origine,
  • raisonnement de navigation,
  • transcription chargée dynamiquement,
  • images chargées pour inspection,
  • audio chargé au besoin,
  • et la réponse finale générée.

L’objectif n’est donc pas de supprimer tout traitement, mais de consacrer les ressources là où leur valeur informationnelle est la plus élevée.

Que peut trouver l’analyse vidéo agentique que l’analyse statique risque de manquer ?

Google met en avant plusieurs tâches pour lesquelles l’inspection temporelle adaptative est plus importante que la simple réduction du nombre de jetons.

Cas d’utilisation Pourquoi l’inspection agentique est utile
Récupération de moments inférieurs à la seconde Réexamine des fenêtres temporelles étroites qu'un échantillonnage à 1 image par seconde peut manquer
Recherche de l'aiguille dans une botte de foin Recherche dans des enregistrements de plusieurs heures sans charger chaque instant de manière uniforme
Détection d'anomalies Rééchantillonne les périodes suspectes à une fréquence d'images par seconde plus élevée
Comptage d'actions rapides Peut revoir une activité à différentes fréquences d'échantillonnage
Montage vidéo Peut localiser les transitions visuelles précises et les limites des événements

Ces capacités sont particulièrement pertinentes pour les caméras de sécurité, les séquences sportives, les tutoriels, les archives de réunions, les enregistrements d'écran et les contenus de créateurs.

Dans chaque cas, le moment utile peut être infime par rapport à la durée totale du contenu.

Le traitement agentique est-il toujours meilleur que le traitement statique ?

Non. Les courtes vidéos peuvent toujours être de meilleures candidates au traitement statique.

Les recommandations d'optimisation de Google indiquent que le mode statique peut offrir un délai plus court avant le premier jeton pour les extraits sensibles à la latence de moins d'environ cinq minutes, car le traitement agentique doit raisonner, naviguer et effectuer des allers-retours internes avec des outils avant de générer une réponse.

Situation Meilleur point de départ
Extrait produit de 30 secondes Statique
Court extrait où la latence de réponse est le facteur le plus important Statique
Cours de 90 minutes Agentique
Trouver un événement dans des heures d'enregistrement Agentique
Examiner une action rapide autour d'un horodatage Agentique
Résumé simple d'une courte vidéo Le traitement statique peut suffire

La leçon utile n'est pas que « le traitement agentique remplace la vidéo statique ».

C'est que cette stratégie de traitement vidéo peut désormais s'adapter à la charge de travail.

Gemini Agentic Video remplace-t-il le RAG vidéo ?

Non. La navigation vidéo au moment de la requête et la récupération vidéo persistante répondent à des problèmes différents.

Gemini Agentic Video commence avec une vidéo en entrée et décide quelles parties de celle-ci méritent une inspection plus approfondie. Un système de RAG vidéo commence généralement une étape plus tôt : il aide à déterminer quelles vidéos ou quels segments d'une collection beaucoup plus vaste doivent être transmis au modèle multimodal.

RAG vidéo Compréhension agentique des vidéos
Indexe une collection persistante Analyse la vidéo fournie au moment de la requête
Récupère des vidéos ou des segments candidats Décide comment examiner ces candidats
Peut utiliser les transcriptions, l'OCR, les métadonnées et les représentations vectorielles Utilise dynamiquement la transcription, l'audio et les images
Utile dans de très grandes archives Utile pour un raisonnement approfondi sur des médias sélectionnés

Cette distinction est étayée par des recherches sur la compréhension des vidéos longues.

Les recherches de LongVideoBench sur le raisonnement dans des vidéos d'une heure portent sur 3 763 vidéos et 6 678 questions annotées par des humains, réparties en 17 catégories. Les auteurs présentent le principal défi comme la récupération et l'exploitation raisonnée d'informations multimodales détaillées issues de contenus longs.

Cette formulation est importante : récupérer et raisonner, et non pas simplement « replacer la vidéo dans son contexte ».

En quoi la Video RAG diffère-t-elle du simple fait de fournir une longue vidéo à Gemini ?

La Video RAG devient particulièrement utile lorsque la collection est bien plus vaste qu’un seul enregistrement.

Les recherches VideoRAG sur les collections de vidéos extrêmement longues étudient ce problème à partir d’un benchmark contenant plus de 160 vidéos, pour un total de plus de 134 heures.

Le système proposé combine l’ancrage des connaissances textuelles avec la récupération multimodale, plutôt que de demander à une seule invocation de modèle d’ingérer toute la bibliothèque.

Cela suggère une architecture utile en deux étapes :

ÉTAPE 1
RÉCUPÉRATION VIDÉO PERSISTANTE

Archive vidéo
     |
     v
Transcriptions
Métadonnées
Scènes
OCR
Représentations vectorielles
Horodatages
     |
     v
Vidéos candidates
Plages temporelles candidates

          |
          v

ÉTAPE 2
INSPECTION VIDÉO AGENTIQUE

Segment sélectionné
     |
     v
Naviguer
Revoir
Modifier la fréquence d’images
Examiner l’audio / la transcription / les images
     |
     v
Réponse approfondie

Les deux couches se complètent.

La récupération détermine quelle vidéo examiner ; la compréhension vidéo agentique détermine jusqu’où l’examiner.

Pourquoi les grandes vidéothèques doivent-elles effectuer une recherche avant une analyse IA approfondie ?

Un serveur multimédia personnel peut contenir 20 To de vidéos. Une archive de sécurité peut croître bien davantage. Pourtant, la question d’un utilisateur peut finalement dépendre de huit secondes de vidéo.

Cette différence modifie l’architecture.

Le modèle multimodal ne devrait pas avoir à devenir l’index de toute l’archive.

À la place :

ARCHIVE VIDÉO DE 50 To
        |
        v
Index local interrogeable
        |
        v
20 vidéos candidates
        |
        v
3 plages temporelles candidates
        |
        v
45 secondes de vidéo pertinente
        |
        v
Raisonnement multimodal approfondi

Les chiffres exacts sont donnés à titre illustratif, mais le principe est extensible.

Le problème d’infrastructure consiste à transformer des vidéos à l’échelle du stockage en contexte exploitable à l’échelle des requêtes.

À mesure que les archives s’agrandissent, cette couche de sélection devient plus importante, et non moins. Notre guide sur le matériel nécessaire à un NAS IA pour l’indexation, le traitement multimédia et les grands jeux de données locaux explique pourquoi le stockage, le niveau SSD actif, le réseau et la puissance de calcul IA doivent être dimensionnés comme des ressources distinctes, plutôt que considérés comme une seule exigence générique liée à l’IA.

À quoi pourrait ressembler un pipeline vidéo pour NAS IA ?

Un NAS IA qui indexe et comprend les contenus multimédias stockés n’a pas besoin d’exécuter Gemini lui-même pour apporter une intelligence utile. Il peut prendre en charge le travail persistant et répétitif au plus près des contenus multimédias d’origine.

Une architecture hybride pratique pourrait ressembler à ceci :

ARCHIVE VIDÉO NAS
Vidéos originales
        |
        v
TRAITEMENT LOCAL
Métadonnées des fichiers
Transcriptions
Limites des scènes
Horodatages
OCR
Miniatures
Balises d’objets
Représentations vectorielles
        |
        v
RECHERCHE LOCALE
        |
        v
Vidéo candidate
Plage temporelle candidate
        |
        v
POLITIQUE / DÉCISION DE L’UTILISATEUR
        |
        +--------------------+
        |                    |
        v                    v
MODÈLE LOCAL          MODÈLE CLOUD
                           |
                           v
                  Gemini Agentic Video
                           |
                           v
                  Raisonnement vidéo approfondi

Il s’agit d’un modèle d’architecture, et non d’une intégration Google annoncée avec des produits NAS.

L’avantage est que le stockage, l’indexation et le raisonnement du modèle ne doivent plus nécessairement être effectués sur la même machine.

Un NAS cloud personnel à plusieurs disques tel que ZimaCube 2 peut rester la couche multimédia durable. Un processeur ou un processeur graphique local peut générer les métadonnées. Un modèle multimodal cloud peut être réservé aux questions pour lesquelles ses capacités supérieures de raisonnement temporel justifient le transfert et le coût de l’API.

Dans une configuration répartie, un serveur local compact d’indexation et de prétraitement tel que ZimaBoard 2 peut également exécuter des services proches du stockage sans nécessiter que la machine d’inférence haute puissance reste active pour chaque tâche en arrière-plan.

Les métadonnées vidéo et les index d’IA doivent-ils être stockés à côté des fichiers originaux ?

Ce n’est pas obligatoire, mais conserver la couche consultable à proximité de l’archive peut simplifier plusieurs aspects d’un flux de travail multimédia privé.

Couche de données locale Pourquoi les conserver à proximité de l’archive ?
Métadonnées des fichiers Faciles à régénérer et à mettre à jour lorsque les fichiers multimédias changent
Transcriptions Peuvent être recherchés sans rouvrir chaque vidéo
Horodatages des scènes Fournissent les chemins directs vers les séquences originales
Miniatures Permettent une navigation visuelle légère
Représentations vectorielles Permettent la recherche sémantique dans toute la collection
Texte OCR Rend les panneaux, diapositives, interfaces et légendes consultables

Les chemins stables sont également importants. Si l’index indique qu’un événement s’est produit dans camera-02/2026-09-01.mp4 à 18:41:12, le système de recherche doit disposer d’un moyen fiable de retrouver ultérieurement cet élément original.

Pour les collections multimédias conservées à long terme, l’index et l’archive sont donc étroitement liés, même lorsqu’ils sont techniquement stockés dans des bases de données ou des volumes distincts.

La même répartition du stockage apparaît dans les systèmes photo et vidéo auto-hébergés. Par exemple, notre guide matériel Immich pour les bibliothèques photo et vidéo sépare les originaux volumineux des charges de travail sensibles à la latence liées à la base de données, aux miniatures, à l’apprentissage automatique et au traitement vidéo.

Qu’est-ce qu’une architecture d’IA vidéo chaude, tiède ou froide ?

Les grandes archives vidéo n’ont pas non plus besoin que chaque donnée soit stockée au même niveau de traitement.

Une conception utile sépare trois niveaux :

Niveau Contenu Priorité
Archive froide Séquences originales en 4K, anciens enregistrements, archive de vidéosurveillance Capacité et durabilité
Index IA tiède Transcriptions, horodatages, miniatures, OCR, représentations vectorielles, tags Interrogeabilité
Ensemble de travail chaud Extraits candidats, recadrages temporaires, segments à fréquence d’images élevée Analyse IA rapide
FROID
20 To de contenus multimédias d’origine
        |
        v
TIÈDE
Métadonnées et index interrogeables
        |
        v
CHAUD
Extrait pertinent de 10 à 60 secondes
        |
        v
MODÈLE D’IA

Cette architecture concentre les analyses coûteuses sur une infime fraction des données d’origine.

Cela évite également de reconstruire les mêmes métadonnées de base chaque fois qu’une nouvelle question est posée.

Les niveaux tiède et chaud nécessitent généralement bien moins de capacité que l’archive vidéo d’origine, mais ils peuvent tirer parti d’un stockage SSD réactif pour les bases de données, les miniatures, les représentations vectorielles, les index et les extraits temporaires. Sur un serveur domestique extensible, l’extension PCIe vers SSD NVMe pour les index et caches IA actifs peut maintenir ces données de travail séparées du stockage HDD de masse.

Gemini Agentic Video peut-il analyser des séquences privées stockées sur un NAS sans les importer ?

Non. Gemini Agentic Video est lui-même une fonctionnalité cloud : le contenu vidéo analysé par Gemini doit donc devenir accessible au service de Google.

Google prend actuellement en charge plusieurs méthodes d’entrée vidéo, notamment les contenus multimédias importés, l’enregistrement depuis Cloud Storage, les données intégrées pour les petits contenus et les URL YouTube publiques.

La documentation de traitement vidéo de Gemini recommande l’API Files pour de nombreux contenus multimédias volumineux ou réutilisables.

Selon la documentation actuelle de Google, les fichiers importés via la API Gemini Files sont stockés pendant 48 heures avant leur suppression automatique.

Cela est très différent d’affirmer que les séquences restent à l’intérieur du réseau domestique.

La documentation actuelle de Google sur la tarification de l’API pour les offres payantes précise également que les données des offres payantes ne sont pas utilisées par défaut pour améliorer ses produits. Les développeurs doivent néanmoins évaluer les exigences en matière de conservation, de journalisation, de région, d’organisation et de conformité avant d’envoyer des enregistrements sensibles à un service externe.

Comment une archive vidéo privée peut-elle utiliser l’IA cloud de manière plus sélective ?

Un workflow hybride peut réduire la quantité de contenus multimédias privés nécessitant un traitement externe.

La première passe peut rester en local :

  • identifier le fichier,
  • rechercher dans la transcription,
  • filtrer par caméra ou par date,
  • détecter les mouvements ou les changements de scène,
  • récupérer les horodatages candidats,
  • et générer un court clip candidat.

Cette séparation suit le même principe que celui présenté dans notre guide sur le maintien du traitement de l’IA à proximité des données privées : le NAS peut rester une couche de données stable, même lorsque l’inférence plus lourde s’effectue ailleurs.

Ce n’est qu’ensuite que le flux de travail détermine si un raisonnement dans le cloud est nécessaire.

ARCHIVE VIDÉO PRIVÉE
        |
        v
RECHERCHE + FILTRAGE LOCAUX
        |
        v
Segment pertinent trouvé
        |
        v
Cette question nécessite-t-elle un
raisonnement multimodal plus puissant ?
        |
    +---+---+
    |       |
   Non      Oui
    |       |
    v       v
 Local   Clip approuvé
 réponse       |
              v
        Gemini Agentic Video

Cela ne rend pas Gemini local. Cela rend la limite des données plus étroite.

Plutôt que de considérer une archive privée entière comme un contexte potentiel pour le cloud, le système peut décider quels médias méritent d’être traités à un niveau supérieur.

Quand l’analyse vidéo doit-elle rester en local plutôt que passer par Gemini ?

La bonne réponse dépend de la confidentialité, de la difficulté, de l’échelle, du matériel et du niveau de raisonnement multimodal requis par la tâche.

Tâche vidéo Point de départ probable
Rechercher une phrase dans la transcription Local
Filtrer les vidéos par date ou caméra Local
Générer des miniatures Local
Détection de mouvement basique Local
Créer des embeddings pour une archive privée Local
Trouver une vidéo sémantiquement pertinente La recherche locale peut être performante
Interpréter une séquence complexe d’événements Modèle multimodal avancé
Localiser une action subtile de moins d’une seconde L’analyse vidéo agentique peut être utile
Raisonner à partir des images, de la parole et de l’ordre temporel Modèle multimodal avancé
Images de vidéosurveillance hautement sensibles Rester en local, sauf si le traitement externe est explicitement acceptable

Pour les déploiements utilisant beaucoup de caméras, cette décision est particulièrement importante, car l’enregistrement continu et la détection en temps réel créent des charges de travail différentes. Notre guide sur le stockage NVR privé et l’intelligence vidéo locale traite séparément du stockage et de la détection permanente, par rapport au raisonnement multimodal dans le cloud.

L’objectif n’est pas de maximiser le traitement local ou cloud.

Il s’agit d’utiliser la couche la moins coûteuse et la plus sûre capable de résoudre chaque partie de la tâche.

Gemini Agentic Video change-t-il ce qu’un NAS doté d’IA devrait faire ?

Oui — mais pas en transformant le NAS en une machine qui devrait comprendre chaque image avec le plus grand modèle multimodal possible.

Le rôle le plus évolutif consiste à rendre la collection multimédia navigable par l’IA.

Cela signifie qu’il faut préserver les originaux tout en maintenant :

  • les transcriptions consultables,
  • les métadonnées alignées sur le temps,
  • les index de scènes,
  • l’OCR,
  • les représentations vectorielles,
  • les vignettes,
  • les autorisations,
  • et des liens fiables renvoyant aux séquences vidéo sources.

C’est le rôle plus large décrit par un NAS IA en tant que couche d’intelligence locale pour les données stockées : le stockage reste la base, tandis que les index et les services d’IA rendent ces données plus faciles à rechercher, à comprendre et à réutiliser.

Une fois cette couche en place, le modèle de raisonnement devient remplaçable.

Aujourd’hui, il peut s’agir de Gemini Agentic Video. Un autre flux de travail pourrait utiliser un modèle multimodal local. Un futur système pourra combiner plusieurs modèles selon les exigences de confidentialité, de coût ou de précision.

L’archive ne devrait pas devoir être reconstruite pour chaque modèle.

C’est la même leçon architecturale qui se dégage dans d’autres formes de données d’IA : le modèle n’a pas besoin de toutes les informations de l’utilisateur. Il a besoin de l’information correcte la plus pertinente pour la tâche en cours.

Pour le texte, cela peut désigner quelques documents récupérés.

Pour la mémoire agentique, cela peut désigner un petit ensemble de fichiers de connaissances structurés.

Pour la vidéo, cela peut désigner douze secondes cachées dans cinquante téraoctets d’enregistrements.

Gemini Agentic Video est important parce qu’il rapproche le raisonnement multimodal de ce modèle. Au lieu de traiter la vidéo comme un bloc de contexte gigantesque, le système peut décider activement où il vaut la peine de concentrer son attention.

Pour les grandes bibliothèques multimédias privées, l’étape suivante est encore plus importante :

le modèle multimodal ne devrait pas devenir l’index. Il devrait devenir l’enquêteur qui intervient une fois que l’index a réduit le champ de recherche.

FAQ : Gemini Agentic Video, NAS IA et recherche multimédia privée

Qu’est-ce que la compréhension vidéo agentique de Gemini ?

Il s’agit d’un mode de traitement vidéo de Gemini qui parcourt dynamiquement la chronologie d’une vidéo au lieu de traiter toutes les images échantillonnées en un seul passage statique. Le modèle peut examiner sélectivement la transcription, l’audio et les images vidéo, puis augmenter le niveau de détail de l’échantillonnage lorsqu’un segment prometteur nécessite une analyse plus approfondie.

Combien de jetons Gemini Agentic Video utilise-t-il en moins ?

Google fait état d’une réduction pouvant atteindre 88 % du nombre de jetons pour les charges de travail vidéo longues qu’il a testées. Il ne s’agit pas d’une réduction fixe. Le nombre réel de jetons utilisés dépend de la vidéo, de la complexité de la requête et de la quantité de contenu que le modèle choisit d’examiner.

Une réduction de 88 % du nombre de jetons signifie-t-elle que Gemini Agentic Video coûte 88 % moins cher ?

Non. Google fait état d’une réduction des coûts d’analyse pouvant atteindre 66 %. Le traitement agentique utilise toujours des jetons pour la navigation, le raisonnement, le contenu vidéo chargé dynamiquement et la sortie finale.

La fonction Gemini Agentic Video est-elle plus précise que le traitement vidéo statique ?

Google fait état d’améliorations de la qualité pouvant atteindre environ 7 % sur l’ensemble de ses benchmarks testés. Cet avantage est particulièrement pertinent lorsque le modèle doit trouver de brefs événements ou des éléments précis dans de longs enregistrements.

Quelle fréquence d’images Gemini utilise-t-il normalement pour les vidéos ?

Le mode par défaut de traitement vidéo statique de Gemini échantillonne les images à raison d’une image par seconde. Les développeurs peuvent configurer d’autres fréquences, tandis qu’Agentic Video peut modifier dynamiquement la densité d’inspection de certaines sections.

Agentic Video est-il meilleur pour les clips courts ?

Pas toujours. Selon les recommandations de Google, le traitement statique peut offrir un délai plus court avant le premier jeton pour les vidéos courtes et sensibles à la latence, car le mode agentique ajoute des étapes de navigation et de raisonnement avant de répondre.

Gemini Agentic Video remplace-t-il Video RAG ?

Non. La technologie Video RAG peut indexer et récupérer des candidats dans une vaste archive persistante. Agentic Video peut ensuite examiner plus en profondeur une vidéo ou un segment sélectionné. La récupération détermine ce qu’il faut inspecter ; le raisonnement vidéo agentique détermine comment l’inspecter.

Gemini Agentic Video peut-il fonctionner directement sur un NAS ?

Non. Gemini Agentic Video est actuellement une fonctionnalité hébergée par Google. Un NAS peut stocker et indexer les contenus multimédias d’origine, mais les contenus envoyés à Gemini doivent être accessibles au service cloud de Google.

Combien de temps Gemini conserve-t-il les fichiers vidéo téléversés ?

La documentation actuelle de l’API Files de Google indique que les fichiers téléversés sont conservés pendant 48 heures. Les développeurs qui travaillent avec des séquences sensibles doivent consulter les dernières politiques relatives à l’API, aux journaux, à la conservation et à l’utilisation des données avant de téléverser des contenus multimédias.

Que doit stocker un NAS d’IA en plus des vidéos d’origine ?

Une couche multimédia interrogeable peut inclure des transcriptions, des horodatages, des miniatures, du texte OCR, des limites de scènes, des balises d’objets ou d’événements, des représentations vectorielles et d’autres métadonnées permettant à un système d’IA de récupérer les clips pertinents sans retraiter toute l’archive à chaque fois.

Les index vidéo d’IA ont-ils besoin d’un stockage SSD ou NVMe ?

Toutes les archives vidéo n’ont pas besoin de NVMe pour leurs contenus multimédias d’origine. Les séquences volumineuses peuvent rester sur un stockage axé sur la capacité, tandis que les bases de données, miniatures, représentations vectorielles, index et clips de travail temporaires fréquemment consultés peuvent tirer parti d’un niveau de stockage SSD ou NVMe plus rapide. La configuration de stockage appropriée dépend de la taille de la bibliothèque, de l’activité d’indexation et des charges de travail simultanées.

Les séquences de vidéosurveillance doivent-elles être analysées en local ou dans le cloud ?

Les séquences sensibles sont de bons candidats pour un filtrage, une indexation et une analyse de base en local. Le traitement dans le cloud peut être utile pour les questions multimodales plus complexes, lorsque l’utilisateur ou l’organisation accepte explicitement le transfert de données externe et les politiques de conservation applicables.

Quelle est la meilleure architecture pour une très grande bibliothèque vidéo d’IA ?

Une architecture évolutive sépare l’archive d’origine, une couche de métadonnées persistante et interrogeable, un petit ensemble de travail actif composé de clips candidats, ainsi que le modèle de raisonnement multimodal. Cela transforme une vaste collection stockée en une quantité bien plus réduite de contexte pertinent pour la requête.

Centre Tech & IA

Plus à lire

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.