Varför ser video-AI mindre exakt ut genom regn, glas eller insektsväv?
Video-AI blir mindre tillförlitlig vid regn, genom glas eller på grund av spindelnät, eftersom optiska störningar döljer verkliga egenskaper samtidigt som de skapar övertygande falska.
En uteplatskamera kan upptäcka personer tillförlitligt en torr kväll, men sedan utlösa varningar om djur eller personer när ett vått spindelnät lyser under infrarött ljus. Modellen ser pixlar, inte ”väder”. Droppar, reflektioner och trådar nära linsen kan dominera dessa pixlar eller sudda ut konturerna som behövs för att känna igen ett avlägset motiv.
Störningar lägger till egenskaper som inte hör till scenen
Regnstrimmor skapar korta ljusa linjer, droppar bryter ljuset och gör lokala områden suddiga, glas tillför reflektioner och spindelnät bildar kurvor med hög kontrast nära linsen. Detektorer som tränats på vanliga scener kan tolka dessa mönster som delar av ett objekt eller förlora den verkliga konturen bakom dem.
Forskning om regnborttagning från enskilda bilder modellerar regn som ett visuellt lager som kan separeras från sceninnehållet. Behovet av särskilda metoder för borttagning visar att regn förändrar bildstrukturen snarare än bara minskar ljusstyrkan.
Störningar nära linsen är oproportionerligt kraftfulla eftersom de upptar många pixlar trots att de är fysiskt små. Infrarött ljus kan belysa en tråd eller en droppe medan den avlägsna uppfarten förblir mörk. Den falska egenskapen kan då få större kontrast än den verkliga person som systemet ska hitta.
Glas och vatten skapar konkurrerande bilder
En kamera bakom glas kan samtidigt fånga utomhusscenen och en reflektion av inomhusmiljön. Fokus, exponering och polarisation avgör vilket lager som dominerar. Vatten tillför brytningsförvrängning som förändras när droppar rinner, så en statisk bakgrund blir tidsmässigt instabil även när inget betydelsefullt rör sig utomhus.
Arbete med att ta bort reflektioner behandlar reflektionsseparering som två överlagrade visuella komponenter snarare än en ren scen. Den modellen förklarar varför vanlig objektdetektering kan koppla hög säkerhet till detaljer från det reflekterade rummet i stället för det övervakade området.
Rörelsedetektering kan utlösas först, följt av en detektor som tvingas klassificera det förändrade området. Den resulterande etiketten kan verka övertygande men vara fel eftersom systemet redan har valt ett ovanligt beskuret område. Konfidensmått som anpassats till träningsdata garanterar inte korrekthet vid optisk kontaminering.
När vädret inte är huvudorsaken
Förklaringen med störningar håller inte när felen kvarstår efter att linsen och glaset rengjorts eller när detekteringarna sammanfaller med kodartefakter och tappade bildrutor. En modelluppdatering, känslighetsändring, växling av infrarött läge eller ändrat detekteringsområde kan sammanfalla med regn och skapa en missvisande korrelation.
Forskning som specifikt inriktas på detektering av spindelnät rapporterar att nät kan orsaka omfattande falsklarm i övervakning. Ett nät är dock bara orsaken när dess position och belysning överensstämmer med de falska områden som modellen registrerar.
Väder kan inte heller förklara ett fel som är begränsat till mobilappen om detekteringar på serversidan och sparade bildrutor fortfarande är korrekta. Skilj fångstblockering från transport och gränssnittsrendering. En våt scen med tydliga objektkonturer kan fortfarande fungera bra, medan en liten bakgrundsbelyst droppe kan slå ut en viss kameravinkel.
Matcha hinder mot pixlarna som utlöser detekteringar
Spara matchade torra och kontaminerade videoklipp från samma kamera och inferensmodell. Markera de pixelfält som upptas av droppar, reflektioner eller spindelnät och jämför sedan om de falska rutorna överlappar dessa områden. Registrera infrarött läge, slutartid, förstärkning, objektstorlek, konfidens och kodarens bithastighet.
Behåll testet i en lokal händelsebearbetningspipeline så att filhändelser, inferensbildrutor och tidsstämplar för varningar kan jämföras utan att en molntjänst i tysthet ändrar förbehandlingen. Använd flera nätter eftersom spindelnät och droppar rör sig.
Bedöm optiska störningar som orsak när felen uppstår tillsammans med hindret, överlappar dess bildområde och försvinner under i övrigt matchade förhållanden. Om felen kvarstår efter rengöring eller uppstår utanför de påverkade pixlarna bör du undersöka modell- eller strömändringar. Om regn bara ökar rörelseutlösningarna bör du skilja mellan utlösningskänslighet och klassificeringsnoggrannhet.
Rekommenderade produkter
Teknik- och AI-hubb
Mer att läsa
Vad är embeddingdrift, och när behöver ett privat sökindex byggas om?
Avkoda modell-, förbehandlings-, korpus- och frågeförskjutning; skilj övervakning från inkompatibilitet och avgör när ett privat index behöver byggas om.
Vad är tokeniseringskompatibilitet, och varför kan den göra att modellbyte slutar fungera?
Avkoda ordförrådsidentitet, semantik för specialtoken, chattmallar, cachade token, adaptrar och kompatibilitetskontroller för lokal modellväxling.
Vad är modellresidens, och när bör en lokal AI-tjänst ha vikterna inlästa?
Förstå viktpersistens, cachenivåer, kalla starter, utfasning, multiplexering, minnesbelastning och när en AI-tjänst i hemmet bör hållas varm.
