DATA ASSOCIATION E TEORIA DELL’EVIDENZA

DATA ASSOCIATION E TEORIA DELL’EVIDENZA Fabio Cuzzolin - Dipartimento di Elettronica e Informatica - Università di Padova

Data association • Data association = ricerca delle corrispondenze tra punti di due immagini consecutive che rappresentano uno stesso punto di una scena 3D

Tracking di markers • esempio: tracking di feature-points corrispondenti a marcatori disposti su un corpo in movimento marker anca dx anca sx ginocchio dx ginocchio sx

Principali problemi • ricostruzione della posizione 3D di punti da immagini stereo • occlusione di markers nascosti da parti del corpo nel corso del movimento • etichettatura di marcatori che riappaiono dopo una fase di occlusione • imperfezione dei metodi di estrazione delle feature problema delle false feature • sensibilità ai movimenti rapidi degli inseguitori • difficoltà a distinguere punti che vengono ad avvicinarsi

Una soluzione : la probabilistic data association • il principio • l’approccio matematico • alcuni dettagli: distribuzioni, matrice, ecc • riferimenti bibliografici

Svantaggi della PDA • complessità di calcolo, dovuta al tener conto di tutte le possibili associazioni • l’assenza di info probabilistiche all’istante iniziale implica una etichettatura manuale dei punti della prima immagine • track coalescence: quando i punti tracciati si avvicinano la JPDA non riesce a dare indicazioni valide • le occlusioni non vengono gestite in maniera naturale • non può sfruttare le informazioni sul modello del corpo in moto, che spesso sono di carattere qualitativo

Obiettivi • Cerchiamo un metodo che: • sfrutti le informazioni probabilistiche fornite da un filtroinseguitore (ad esempio un filtro di Kalman) che generi delle d.d.p. attorno a predizioni delle future posizioni dei markers • integri questi dati con vincoli topologici e di moto rigido estratti da un modello stilizzato del corpo (vedi diapositiva no 3) • non richieda assunzioni a priori o interventi ad-hoc nella fase transitoria iniziale • sia poco sensibile a occlusioni o false feature  maggiore robustezza • abbia una complessità computazionale non alta • permetta deduzioni di tipo logico per ridurre l’incertezza sull’associazione corretta

La teoria dell’evidenza • il concetto di belief function • regola di Dempster: la somma ortogonale di due funzioni è una funzione i cui elementi focali sono tutte le possibili intersezioni tra gli e.f. delle funzioni da combinare, e la cui massa è data da:

Esempio di combinazione di b.f. • S1: • m({a1})=0.7 • m({a1 ,a2})=0.3 • S2: • m()=0.1 • m({a2 ,a3 ,a4})=0.9 • S1 S2: • m({a1})=0.19 • m({a2})=0.73 • m({a1 ,a2})=0.08

Refinings e raffinamento minimo • Esistono infinite descrizioni di uno stesso fenomeno, dipendenti dal grado di raffinatezza della nostra conoscenza • Il raffinamento comune minimo è il più piccolo spazio comune in cui è possibile combinare funzioni definite su due diversi frames

vincoli  belief function nello spazio delle possibili associazioni tipi di vincoli: a-priori : traducono le dd.p. delle predizioni prodotte dal filtro ordinali: statistica dell’ordinamento dei punti lungo una direzione privilegiata metrico-topologici: basati sulla relazione di adiacenza tra coppie di punti nel modello di occlusione: esprimono la possibilità di occlusione di moto rigido:sfruttano la rigidità del moto di almeno una parte del corpo di esclusione: vincoli di impenetrabilità delle diverse parti del corpo di dispersione: misurano l’addensarsi delle features (possibili arti) strutturali: informazioni qualitative sul modello (uguaglianza o parallelismo tra segmenti) Scrittura dei vincoli

Costruzione di belief da d.d.p. • metodi di costruzione delle belieffunctions: • Bayesiano: traduzione diretta delle densità prodotte dal filtro in un b.f. Bayesiana • consonante: si impongono le condizioni di consonanza e di conservazione delle plausibilità relative • tramite discounting

Esempio: vincolo di moto rigido • supponendo di conoscere l’associazione passata, è possibile controllare la rigidità del moto di una coppia di punti tra due istanti di tempo • fissato un livello di confidenza, si testa la congruenza di ogni segmento misurato con quello formato da una data coppia di punti del modello in t-1 • il risultato si può esprimere come un b.f. su un frame costituito da tutte le coppie di punti misurati, più un elemento che segnala l’occlusione di almeno uno dei due punti del segmento considerato del modello coppie che superano il test occlusione probabile errore dei test Il livello di confidenza del test costituisce una evidenza in favore dell’impossibilità di trarre conclusioni, ed è perciò attribuito a 

Esempio: vincolo di moto rigido • si ottiene così una famiglia di FOD jk per tutti links del modello • questi FOD sono tutti coarsenings dello spazio delle possibili associazioni, su cui le rispettive funzioni vengono combinate jk n-1 n 12 Spazio delle associazioni 

Inizializzazione • si vuole evitare il ricorso alla etichettatura manuale in t=0  completa automazione • all’istante iniziale molti vincoli non sono formulabili • vincoli validi in t=0: strutturali, di dispersione • essi generano un insieme di possibili associazioni • l’incertezza si propaga in avanti fino ad essere risolta all’arrivo di successive informazioni di carattere dinamico • informazioni parziali sullo stato iniziale possono essere sfruttate per ridurre l’incertezza

Informazioni condizionate • Classificazione dei vincoli: • dipendenti dalla associazione passata (metrico-topologici, di moto rigido) • dipendenti dalle misure (predizioni, occlusioni) • istantanei, cioè applicabili direttamente allo spazio delle associazioni (esclusione, dispersione, strutturali) • l’associazione passata spesso non è nota con certezza (es: fase transitoria iniziale) • le informazioni dipendenti dalla storia passata si esprimono in termini di belief condizionate

Evidenza totale • I vincoli condizionati definiti sui vari (sti) vengono combinati per formare una unica b.f. (evidenza totale) Am-1 (associazioni passate) st1  (st1)  = Am-1 m-1m (associazioni passate e presenti)

Architettura generale del sistema m-1m (associazioni tra misure passate e correnti) Am-1 (associazioni modello - misure passate) Am-1 • tutte le informazioni vengono integrate sul raffinamento comune • proiezione del risultato sugli spazi delle associazioni passate e future m-1m st1 Am (associazioni modello - misure correnti) (st1) Am  = Am-1 m-1m (raff. comune)

Processo di stima • la stima corrente dell’associazione tra punti del modello e misure èrappresentata dalla belief function su Am • ad ogni istante la combinazione della stima passata con le nuove evidenze espresse in forma di b.f. riduce l’incertezza sulla stima • la nuova stima può anche essere propagata all’indietro per ricostruire con un nuovo grado di precisione l’evoluzione del corpo fino a quel momento • dalla b.f corrente si può estrarre una stima puntuale • calcolando le plausibilità delle singole associazioni possibili, o • approssimando la funzione con una b.f. consonante

Occlusioni e false feature • La presenza di occlusioni non altera il funzionamento del sistema: il punto del modello viene ignorato, modificando di conseguenza i vincoli • quando un marker riappare può essere etichettato in base ai vincoli di modello, pur non avendo una traccia di inseguimento • le false feature vengono facilmente scartate applicando i vincoli • quando più punti si trovano vicini (coalescence) l’analisi del moto rigido o della struttura aiuta a distinguerli

Conclusioni • Principali vantaggi dello schema di inseguimento e stima basato sulla teoria dell’evidenza: • non è necessaria una etichettatura manuale in t=0 • non sono necessarie assunzioni a priori • integra informazioni di tipo quantitativo (d.d.p.) con altre di tipo logico aumento robustezza es: compensazione di movimenti rapidi • reagisce in modo naturale a eventuali occlusioni o mancanze di informazioni in qualsiasi istante • è aperto all’integrazione di altre fonti di informazione • scarta a priori le eventualità non supportate da alcuna evidenza  bassa complessità di calcolo

DATA ASSOCIATION E TEORIA DELL’EVIDENZA