Hur minskar objektspårning upprepad inferens i en NVR för hemmet?
Objektspårning minskar upprepad NVR-inferens genom att bevara målidentitet mellan bildrutor, så att senare observationer kan återanvända tillstånd i stället för att behandla samma mål som nytt.
En NVR i hemmet behöver fortfarande objektdetektering för att upptäcka en person, ett fordon eller ett djur, men alla efterföljande beslut behöver inte börja om från noll i varje videobildruta. När en spårare kopplar detekteringar till ett beständigt mål kan pipelinen föra position, identitet, ålder och cachade attribut vidare, glesa ut de kostsamma detekteringskörningarna och köra sekundära modeller igen endast när målet förändras tillräckligt mycket. Besparingen kommer alltså från återanvändning av tillstånd, inte från att spårning på magiskt vis ersätter visuell inferens.
En detektering blir billigare att återanvända när den har ett beständigt spår
Objektdetektering producerar en ruta och en klass för en analyserad bildruta, medan spårning skapar kontinuitet genom att avgöra om en ny observation hör till ett redan känt mål. Denna koppling omvandlar en ström av visuellt liknande rutor till ett tillståndsbaserat objekt vars position och identitet kan uppdateras över tid i stället för att återskapas oberoende i varje bildruta.
En spårare för flera objekt kan upprätthålla beständiga spår-ID:n, vilket ger senare delar av pipelinen en stabil nyckel för samma person eller fordon. Det användbara resultatet är inte bara ytterligare en rektangel, utan ett målregister som överlever mellan observationer och kan bära med sig historik.
Detta är den första beräkningsfördelen, eftersom efterföljande regler inte längre behöver fråga om varje ruta är ett helt nytt objekt. Regler för vistelsetid i zoner, riktning, händelsededuplicering och efterföljande attributmodeller kan hänvisa till samma spårregister tills målet lämnar bilden, förloras eller kopplas om.
Stabila spår-ID:n gör att sekundära modeller kan återanvända tidigare klassificering
Den största upprepade kostnaden är ofta inte själva spåraren, utan en sekundär modell som annars skulle klassificera samma redan detekterade objekt i varje bildruta. Om ett spår-ID förblir stabilt kan pipelinen koppla ett tidigare attributresultat till målet och bara uppdatera det när objektets utseende eller storlek förändras tillräckligt mycket för att motivera en ny inferens.
DeepStream implementerar detta mönster genom att cacha sekundär klassificering efter objekt-ID och göra en ny inferens när ett objekt först visas eller när dess avgränsningsrutas area ökar betydligt. En NVR i hemmet kan använda samma arkitektur för attribut som fordonstyp, klädkategori, förekomst av paket eller någon annan kostsam klassificerare per objekt.
Cachen förblir giltig endast så länge målidentiteten är tillförlitlig och det återanvända attributet förväntas förbli stabilt. En färgklassificerare kan tåla många återanvända bildrutor, medan kroppsställning, ansiktsriktning eller status för ett medfört föremål kan förändras så snabbt att regelbundna eller händelsestyrda uppdateringar fortfarande behövs.
Återanvändning av attribut fungerar bäst när den cachade egenskapen förändras långsammare än objektets position. Därför kan en spårningspipeline återanvända en etikett för fordonstyp i många bildrutor samtidigt som rutan uppdateras i varje bildruta. På så sätt separeras snabbt geometriskt tillstånd från långsammare semantiskt tillstånd i stället för att alla resultat uppdateras i samma takt.
Spårning kan överbrygga bildrutor där den primära detekteringen hoppas över
När ett mål väl har etablerats kan vissa spårare föra dess position vidare genom bildrutor där den primära detekteringen inte körs och sedan stämma av det förutsagda tillståndet när nästa detektering kommer. Detta gör att NVR:en kan minska detekteringsfrekvensen utan att varje överhoppad bildruta blir en fullständig blind fläck för objekt som redan spåras.
DeepStream stöder uttryckligen överhoppning av detekteringsbildrutor medan objekt spåras mellan detekteringarna, och den aktuella vägledningen för spårning noterar att starkare spårning kan tillåta ett längre detekteringsintervall med mindre noggrannhetsförlust. Vinsten blir större när den primära detekteraren är betydligt mer kostsam än spåraren.
Detekteraren har fortfarande uppgifter som spårning inte kan ta över: att upptäcka nya objekt, korrigera drift, återhämta sig efter ocklusion samt avsluta eller återinitiera tvetydiga spår. Associationsmetoder som spårning genom att koppla samman detekteringar mellan bildrutor är beroende av detekteringar som bevis. Om intervallet ökas för mycket byts därför till slut beräkningsbesparingen mot missade inträden och sämre korrigeringar.
Den totala besparingen beror på detekterarens kostnad, scenens rörelser och spårens stabilitet
Spårning medför egna uppdateringar av tillstånd, rörelseuppskattning, funktionsjämförelser och associationsarbete. Den relevanta frågan är därför om denna extra kostnad är mindre än den inferens som pipelinen kan undvika. En tung detekterare eller sekundär klassificerare ger större besparingsutrymme än en liten detekterare som körs på en accelerator med låg belastning.
En spårare sparar också mindre i trånga scener där många objekt träder in, lämnar bilden, överlappar varandra eller snabbt ändrar utseende, eftersom skapande av mål och återidentifiering sker oftare. Praktisk NVR-trimning håller därför kamerans detekteringsfrekvens och detekterarens inferenshastighet som separata mätvärden. Därefter jämförs spårningsfördröjning, inferensintervall, antal aktiva spår, uppdateringar av klassificerare och händelseåterkallning på samma inspelade klipp, i stället för att anta att ett intervall är effektivt i alla situationer.
Den närliggande felmodellen behandlas i ZimaSpaces förklaring av att korta händelser kan försvinna innan ett giltigt spår har skapats. Spårning minskar upprepat arbete först när ett användbart tillstånd finns, vilket är anledningen till att beräkningseffektivitet och återkallning av korta händelser måste mätas tillsammans.
Den praktiska brytpunkten kan mätas som sparad accelerator-tid per spårat objekt, snarare än enbart genom spårarens FPS. Om spåraren förbrukar nästan lika mycket enhetstid som det överhoppade detekteringsarbetet, eller om frekvent återidentifiering tvingar klassificerare att köras igen, behöver den synliga minskningen av antalet inferenser inte ge mer användbart utrymme för ytterligare kameror.
Rekommenderade produkter
Teknik- och AI-hubb
Mer att läsa
Vad är Plex-tillståndet och vilka delar måste bevaras?
Beständig Plex-tillståndsinformation är den information som bevarar serverupplevelsen efter omstarter och återuppbyggnad; media och tillfälliga omkodningsdata har separata funktioner.
Hur hanterar Plex autentisering för lokala och fjärranslutna sessioner?
Plex-autentisering börjar med serverns och kontots identitet, därefter avgör lokala eller fjärranslutna nätverksvägar åtkomligheten och hur säkra anslutningar fungerar.
Varför kan Plex-sökningar bli långsammare när biblioteksdata ökar?
Att biblioteket växer är inte i sig en diagnos. Testa frågeformen, indexen, cachetillståndet, lagringsfördröjningen och skrivaktiviteten innan du skyller på databasens storlek.
