Einführung In die Degitalbildverarbeitung
Bildfolgen: Bewegungsdetektion
Vortragender
Zakaria JabaraBetreuer
Ivan Laptev
Bildfolgen: Bewegungsdetektion
Verschiebungsvektoren
Einführung
In den meisten vorgehenden Themen dieses Proseminars wurden Operatoren und Verfahren beschrieben, die sich mit den statischen Aspekten von Szenen befassen. In diesem Thema werden auch die dynamischen Aspeckte einer Szene, wie Bewegung von Objekten und kamera behandelt.
Änderungsdetektion
Eine folge von Bildaufnahmen führt fast immer zur Änderungen zu. Diese Änderungen können durch Bewegungen von Objekten in der Szene oder von der Kamera, von Kamerarauschen oder auch durch Änderung an der Beleuchtung verursacht werden. Diese zwei letzte Fälle werden hier nicht berücksichtigt. Dafür setzen wir folgende Bedingung.
| g(x,t1) –g(x,t2) | > Schwelle
Was man einfach durch Substraktion von zwei Bilder bekommt. Die Schwelle, die durch Experimente definiert ist, muß weder groß oder klein sein, sonst kann man keine Änderung detektieren. (Hier bezeichnet g(x,t1) bzw g(x,t2) der Grauwert an der Position x in der Zeit t1 bzw t2.)
Natürlich wenn man über Bewegung redet, ist man interessiert die Richtung dieser Bewegung zu bestimmen und das ist der Punkt der nächsten Teil.
Schätzung von Verschiebungsvektoren
Es werden Verfahren vorgestellt, die eine Berechnung der Verschiebung von Bildmustern ermöglichen. Diese Verschiebung bezeichnet man als Verschiebungsvektoren (bzw Verschiebungsvektorfeld). Sie erhahlten als Eingabe ein Paar von Grauwertbildern von einer Bildfolge und ermitteln die gesuchten Verschiebungen der Grauwertstrukturen für dieses Bildpaar.
Verschiebungsvektoren bei einem Bildpaar

Das Blendenproblem
Die Verschiebungsvektoren können nicht immer eindeutig bestimmt werden. Die folgende Abbildung zeigt eine Kante, die aus der durchgezogenen Linie zu der Lage der gestrichlten Linie verschobnen wurde. In diesem Fall haben wir Mehrdeutigkeit der Verschiebungsvektoren: wir sprechen von einem Blendenproblem

Das Korrespendenzproblem
Der grund für das Blendenproblem ist, daß wir einen bestimmten Punkt einer Kante im folgenden Bild einer Bildsequenz nicht wiederfinden können. Das Blendenproblem ist ein Spezialfall des allgemeineren Korrespondenzproblems. Allgemein bedeutet das, daß wir keine eindeutige Korrespondenz zwischen Punkte in zwei aufeinanderfolgenden Bildern einer Sequenz bestimmen können.
In den folgenden wird versucht die Korrespondenzproblem darzustellen. Zunächst bei unterscheidbaren Teilchen. In der Abbildung a ist der mittlere Teilchenabstand größer als die Verschiebungsvektor W: Eindeutigkeit von W. In der Abbildung b aber ist dieser Abstand kleiner als die Verschiebungsvktor.

Die gefüllten Kreise stellen das erste,die offenen Kreise das zweite Bild(nach Verschiebung).
Man könnte annehmen, daß das Korrespondenzproblem bei starren Objekten mit ausgeprägten Grauwertunterschieden nicht auftritt. Ein Gitter als Beispiel (folgende Abb b) zeigt, daß dies nicht stimmt; Die Verschiebung wird eindeutig bestimmbar erst wenn das gesamte Gitter betrachten.
![]()
Abbildung a zeigt ein deformierbarer zweidimentionaler Körper z.B einen Farbklecks, der sich ausbreitet. Man hat eine Mehrdeutigkeit der Verschiebumgsvektor.
Um die Verschiebungsvektoren zu Bestimmen werden wesentlich folgende Verfahren verwendet.
Korrelations- und Merkmalbasierte Verfahren
Die Merkmalen sind charakteristische lokale Grauwertverteilungen. Sie werden in jeder zu vergleichenden Aufnahme ausgewählt. Die wichtigsten Merkmalen sind:
in Bereichskonturen
in Nulldurchganglinien eines gefilterten Grauwertbildes
in Grauwert-Verteilungen

Zuordnung von Bildpunkten durch Merkmale (Ecken)
Grauwert-Ecke als Beispiel für Merkmale
Ein Grauwert-Ecke ist definiert als der Punkt stärker Krümmung in der Linie maximalen Grauwertanstiegs.

Mathematisch bedeutet das :
gx , gyy = maximum ¹ 0
gxx , gy = 0
mit gx (bzw gxx) die erste (bzw zweite) Ableitung von dem Grauwert über den Variable x in dem relativen lokalen Koordinatensystems.
Korrelationsverfahren berechnen Verschiebungsvektoren, indem die Zuordnung zwischen korrespondierenden Bildpunkten eines Bildpaares suchen. Dabei vergleichen sie die Ausprägung des Grauwertsverlaufs von einem Bereich eines Bildpunktes im ersten Bild mit den Grauwerten im zweiten Bild und stellen die Korrespondenz fest mit dem Punkt mit größmöglicher Übereinstimmung der Grauwerten.
Bewegung als Orientierung im Orts/Zeit-Raum
Bei einem Bildpaar wissen wir nicht, wie die Bewegung über die Zeit weitergeht. In diesem Abschnitt betrachten wir die grundlagen der Bildsequenzanalyse in einem mehrdimensionalen Raum, der über einer Zeitkoordinate und ein bis drei Raumkoordinaten aufgespannt ist.
Ein unbewegliches eindimensionales Objekts zeigt vertikal orientierte Grauwertstrukturen. Bewegt sich ein Objekt, verschiebt es sich von Bild zu Bild und erscheint als geneigte grauwertstruktur. Die Geschwendigkeit U ist mit der Orientierung in Orts/Zeit-Bildern direkt verknüpft. In dem Fall eines 2D-orts/Zeit-Bildes ist sie gegeben durch
U = -tanj
Wobei j der Winkel ist zwischen der t-Achse und der Richtung in der die Grauwerte Konstant sind.
Die Erweiterung auf zwei Raumdimensionen ist wie folgt definiert.
U = - ( tan j x, tan j y)

In der folgenden Abbildung (a) werden Sequenzen von Bildern einer Straße genommen. Die Raum/Zeit- Scheibe (Abb b) entstammt der Bildsequenzen im Bereich der horizontalen Linie in Abbildung a.

Optischer Fluß
In Zusammenhang mit der Berechnung von Verschiebungsvektorenfeldern spricht man oft auch von der Berechnung des Optischen Flusses. Dieser Begriff wurde in Analogie zur Hydrodynamik geprägt, indem die Strömung von Flüssigkeit häufig als eine Menge von sehr kleinen Teilchen betrachtet wird. Analog dazu setzt man sich die Bildmuster aus einer Vielzahl beliebig kleiner Bildpunkte zusammen. Dabei nimmt man an, daß diese Annahme gültig ist, wenn jeder Punkt einen zeitlich konstanten Grauwert besitzt.
Als Bewegungsfeld wird eine Menge von Vektoren in der Bildebene bezeichnet, die durch die Projektion von räumlichen Bewegungsvektoren einer Szene entsteht.
Differentielle Ansätze zur Schätzung von Verschiebungsvektoren
Annahmen:
Grauwertsänderungen sind nur von Bewegung der Bildelementen beeinflußt.
Differentielle Verfahren gehen von der Annahme aus, daß die Zeitlichen Grauwertänderungen einer Bildfolge ausschließlich von Relativbewegungen von Kamera und Objekten in einer Szene verursacht werden. Das Prinzip solcher Verfahren läßt sich anhand eines eindimentionalen Grauwertverlaufs anschaulich darstellen (siehe oben).
Unter der oben erwähnte Annahme erhalten wir
g(x,t) = g(x,t +dt)
u = - gx /gt ( ableitung)
wobei u ist die gesuchte Geschwindigkeit.
![]()