Einführung In die Degitalbildverarbeitung

 

 

Bildfolgen: Bewegungsdetektion

 

 

 

 

Vortragender Zakaria Jabara

Betreuer Ivan Laptev

 

 

Bildfolgen: Bewegungsdetektion

Verschiebungsvektoren

 

 

 

 

 

 

 

 

 

 

 

 

Einführung

In den meisten vorgehenden Themen dieses Proseminars wurden Operatoren und Verfahren beschrieben, die sich mit den statischen Aspekten von Szenen befassen. In diesem Thema werden auch die dynamischen Aspeckte einer Szene, wie Bewegung von Objekten und kamera behandelt.

 

 

Änderungsdetektion

Eine folge von Bildaufnahmen führt fast immer zur Änderungen zu. Diese Änderungen können durch Bewegungen von Objekten in der Szene oder von der Kamera, von Kamerarauschen oder auch durch Änderung an der Beleuchtung verursacht werden. Diese zwei letzte Fälle werden hier nicht berücksichtigt. Dafür setzen wir folgende Bedingung.

| g(x,t1) –g(x,t2) | > Schwelle

Was man einfach durch Substraktion von zwei Bilder bekommt. Die Schwelle, die durch Experimente definiert ist, muß weder groß oder klein sein, sonst kann man keine Änderung detektieren. (Hier bezeichnet g(x,t1) bzw g(x,t2) der Grauwert an der Position x in der Zeit t1 bzw t2.)

Natürlich wenn man über Bewegung redet, ist man interessiert die Richtung dieser Bewegung zu bestimmen und das ist der Punkt der nächsten Teil.

 

Schätzung von Verschiebungsvektoren

Es werden Verfahren vorgestellt, die eine Berechnung der Verschiebung von Bildmustern ermöglichen. Diese Verschiebung bezeichnet man als Verschiebungsvektoren (bzw Verschiebungsvektorfeld). Sie erhahlten als Eingabe ein Paar von Grauwertbildern von einer Bildfolge und ermitteln die gesuchten Verschiebungen der Grauwertstrukturen für dieses Bildpaar.

Verschiebungsvektoren bei einem Bildpaar

Das Blendenproblem

Die Verschiebungsvektoren können nicht immer eindeutig bestimmt werden. Die folgende Abbildung zeigt eine Kante, die aus der durchgezogenen Linie zu der Lage der gestrichlten Linie verschobnen wurde. In diesem Fall haben wir Mehrdeutigkeit der Verschiebungsvektoren: wir sprechen von einem Blendenproblem

 

 

 

 

 

 

 

 

Das Korrespendenzproblem

Der grund für das Blendenproblem ist, daß wir einen bestimmten Punkt einer Kante im folgenden Bild einer Bildsequenz nicht wiederfinden können. Das Blendenproblem ist ein Spezialfall des allgemeineren Korrespondenzproblems. Allgemein bedeutet das, daß wir keine eindeutige Korrespondenz zwischen Punkte in zwei aufeinanderfolgenden Bildern einer Sequenz bestimmen können.

In den folgenden wird versucht die Korrespondenzproblem darzustellen. Zunächst bei unterscheidbaren Teilchen. In der Abbildung a ist der mittlere Teilchenabstand größer als die Verschiebungsvektor W: Eindeutigkeit von W. In der Abbildung b aber ist dieser Abstand kleiner als die Verschiebungsvktor.

 

 

 

 

 

 

Die gefüllten Kreise stellen das erste,die offenen Kreise das zweite Bild(nach Verschiebung).

 

Man könnte annehmen, daß das Korrespondenzproblem bei starren Objekten mit ausgeprägten Grauwertunterschieden nicht auftritt. Ein Gitter als Beispiel (folgende Abb b) zeigt, daß dies nicht stimmt; Die Verschiebung wird eindeutig bestimmbar erst wenn das gesamte Gitter betrachten.

Abbildung a zeigt ein deformierbarer zweidimentionaler Körper z.B einen Farbklecks, der sich ausbreitet. Man hat eine Mehrdeutigkeit der Verschiebumgsvektor.

Um die Verschiebungsvektoren zu Bestimmen werden wesentlich folgende Verfahren verwendet.

Korrelations- und Merkmalbasierte Verfahren

Die Merkmalen sind charakteristische lokale Grauwertverteilungen. Sie werden in jeder zu vergleichenden Aufnahme ausgewählt. Die wichtigsten Merkmalen sind:

in Bereichskonturen

in Nulldurchganglinien eines gefilterten Grauwertbildes

in Grauwert-Verteilungen

 

 

Zuordnung von Bildpunkten durch Merkmale (Ecken)

 

 

 

 

 

 

Grauwert-Ecke als Beispiel für Merkmale

Ein Grauwert-Ecke ist definiert als der Punkt stärker Krümmung in der Linie maximalen Grauwertanstiegs.

Mathematisch bedeutet das :

gx , gyy = maximum ¹ 0

gxx , gy = 0

mit gx (bzw gxx) die erste (bzw zweite) Ableitung von dem Grauwert über den Variable x in dem relativen lokalen Koordinatensystems.

 

Korrelationsverfahren berechnen Verschiebungsvektoren, indem die Zuordnung zwischen korrespondierenden Bildpunkten eines Bildpaares suchen. Dabei vergleichen sie die Ausprägung des Grauwertsverlaufs von einem Bereich eines Bildpunktes im ersten Bild mit den Grauwerten im zweiten Bild und stellen die Korrespondenz fest mit dem Punkt mit größmöglicher Übereinstimmung der Grauwerten.

 

 

 

 

 

Bewegung als Orientierung im Orts/Zeit-Raum

Bei einem Bildpaar wissen wir nicht, wie die Bewegung über die Zeit weitergeht. In diesem Abschnitt betrachten wir die grundlagen der Bildsequenzanalyse in einem mehrdimensionalen Raum, der über einer Zeitkoordinate und ein bis drei Raumkoordinaten aufgespannt ist.

Ein unbewegliches eindimensionales Objekts zeigt vertikal orientierte Grauwertstrukturen. Bewegt sich ein Objekt, verschiebt es sich von Bild zu Bild und erscheint als geneigte grauwertstruktur. Die Geschwendigkeit U ist mit der Orientierung in Orts/Zeit-Bildern direkt verknüpft. In dem Fall eines 2D-orts/Zeit-Bildes ist sie gegeben durch

U = -tanj

Wobei j der Winkel ist zwischen der t-Achse und der Richtung in der die Grauwerte Konstant sind.

Die Erweiterung auf zwei Raumdimensionen ist wie folgt definiert.

U = - ( tan j x, tan j y)

 

 

 

In der folgenden Abbildung (a) werden Sequenzen von Bildern einer Straße genommen. Die Raum/Zeit- Scheibe (Abb b) entstammt der Bildsequenzen im Bereich der horizontalen Linie in Abbildung a.

 

 

 

Optischer Fluß

In Zusammenhang mit der Berechnung von Verschiebungsvektorenfeldern spricht man oft auch von der Berechnung des Optischen Flusses. Dieser Begriff wurde in Analogie zur Hydrodynamik geprägt, indem die Strömung von Flüssigkeit häufig als eine Menge von sehr kleinen Teilchen betrachtet wird. Analog dazu setzt man sich die Bildmuster aus einer Vielzahl beliebig kleiner Bildpunkte zusammen. Dabei nimmt man an, daß diese Annahme gültig ist, wenn jeder Punkt einen zeitlich konstanten Grauwert besitzt.

Als Bewegungsfeld wird eine Menge von Vektoren in der Bildebene bezeichnet, die durch die Projektion von räumlichen Bewegungsvektoren einer Szene entsteht.

 

 

 

 

 

 

 

Differentielle Ansätze zur Schätzung von Verschiebungsvektoren

Annahmen:

Grauwertsänderungen sind nur von Bewegung der Bildelementen beeinflußt.

Differentielle Verfahren gehen von der Annahme aus, daß die Zeitlichen Grauwertänderungen einer Bildfolge ausschließlich von Relativbewegungen von Kamera und Objekten in einer Szene verursacht werden. Das Prinzip solcher Verfahren läßt sich anhand eines eindimentionalen Grauwertverlaufs anschaulich darstellen (siehe oben).

Unter der oben erwähnte Annahme erhalten wir

g(x,t) = g(x,t +dt)

u = - gx /gt ( ableitung)

wobei u ist die gesuchte Geschwindigkeit.