Department of Computer Science Technische Universitaet Muenchen
Home People Teaching Research Publications Info Sitemap
About | Teaching | Research | Publications

Systementwicklungsprojekt

Thema:

Aktionserkennung in Videobildern durch Bewegungsklassifizierung in der Raum-Zeit Dimension - Video Based Action Recognition through Space-Time Motion Classification

Bearbeiter: Franziska Meier
Christian Potthast
Betreuung: Jan Bandouch
Themensteller: Prof. Michael Beetz, PhD

Beschreibung:

In diesem Projekt soll ein Softwaresystem entwickelt werden, welches darauf trainiert werden kann, vorgegebene Aktionen in Videobildern automatisch zu erkennen. Denkbar ist es z.B., Personen zu erkennen, die an einer Kamera vorbeigehen, und dabei die Bewegung (gehen, laufen, hüpfen, kriechen) automatisch zu bestimmen.

Vorgehensweise:

Um komplexe Bewegungen klassifizieren zu können, reicht die zweidimensionale räumliche Information in Einzelbildern nicht aus. Aus diesem Grund ist es sinnvoll, die zeitliche Dimension in der Bewegung bei der Klassifizierung mitzuberücksichtigen. In einem noch recht jungen Ansatz werden dazu die Formen sogenannter Space-Time-Shapes mit gesammelten Trainingsdaten der zu erkennenden Bewegungen verglichen. Space-Time-Shapes entstehen, wenn man die Umrisse von Personen in der zeitlichen Dimension miteinander verschmelzen lässt (siehe Bild). Die Umrisse wiederum können durch einfache Hintergrundsubtraktion gefunden werden.
Um den Vergleich der dreidimensionalen Umrisse in angemessener Zeit zu ermöglichen, müssen repräsentative Features extrahiert werden, die ein möglichst diskriminierendes Ähnlichkeitsmaß zwischen unterschiedlichen Bewegungsformen liefern sollen. Solche Features können z.B. durch das Lösen der Poisson-Gleichung gewonnen werden (Details dazu finden sich im weiter unten angegebenen Paper). Es ist aber auch denkbar, eigene Features auszuprobieren. Ist ein Ähnlichkeitsmaß bestimmt, so kann die Zuordnung von beobachteten Bewegungen zu vorher trainierten Bewegungen anhand der Distanzen zwischen den Ähnlichkeitsmaßen erfolgen.


Raum-Zeit Umrisse von Bewegungen
(aus "M. Blank, L. Gorelick, E. Shechtman, M. Irani and R. Basri: Actions as Space-Time Shapes. ICCV 2005.")


Weitere Informationen:

Der Projektvorschlag basiert auf Forschungsarbeiten am Weizmann Institute. Die Projektseite findet sich hier. Dort findet sich auch die passende Publikation: "M. Blank, L. Gorelick, E. Shechtman, M. Irani and R. Basri: Actions as Space-Time Shapes. ICCV 2005.", sowie mehrere Beispielvideos.

Erforderliche Kenntnisse:

  • gute Kenntnisse in OOP vorzugsweise C++, Java
  • Grundkenntnisse in der GUI Programmierung mit Qt oder Fltk
  • Grundkenntnisse in der Bildverarbeitung (z.B. Vorlesung Bildverstehen)

...und/oder die Motivation, sich in neue Bereiche einzuarbeiten.


Computer Science IX | Technische Universität München