Proseminar: Digitale Bildverarbeitung
Referat: Bildaufnahme und Bildtransformation
Josef Gruber (20.11.1998)
Gliederung:
Bildeinteilung
Bilddarstellung
Ein Bild kann man durch Funktionen beschreiben:
z.B.
Das Bild b(x,y) kann unterschiedliche Bedeutungen haben:
Das Bild in der diskreten Darstellung:
Das digitale Bild besteht aus einer Matrix mit m Spalten und n Zeilen.
Die Elemente der Matrix werden als Pixel bezeichnet.
Sensortechnik
CCD-Sensor (CCD = charge coupled device)
Ein CCD-Sensor besteht aus einer Vielzahl von flächig angeordneten
lichtempfindlichen Halbleiterelementen.
Die Aufgabe eines CCD-Elements besteht darin, einfallende Photonen
des Lichts in Elektronen umzuwandeln, zwischenzuspeichern und aus der Sensorfläche
herauszutransportieren.
Dies geschieht dadurch, daß durch den Lichteinfall (Photonen)
Elektronen in dem Halbleitermaterial freigesetzt werden. Diese Elektronen
werden zwischen den Potentialwällen des Halbleiters festgehalten.
Die Ladungsmenge der Elektronen ist direkt proportional zur Intensität
des Lichts und zur Belichtungszeit und somit ist diese Ladungsmenge auch
ein Maß für die Helligkeit.
Querschnitt durch ein CCD-Element siehe Graphik
Transportphase:
Durch eine Spannungsänderung an der Detektorelektrode des CCD-Elements wird der Umladungsvorgang ausgelöst. Dies bedeutet, daß die Elektronen in ein Transportregister transportiert werden. Aus dem Transportregister werden Ladungen getaktet ausgelesen und die dadurch entstehende Spannung wird dem Ausgangssignal aufmoduliert. Die verschiedenen Arten von CCD-Sensoren unterscheiden sich hauptsächlich dadurch, wie ihre Ladung ausgelesen wird.
Arten von CCD-Sensoren:
Prinzipaufbau eines Interline-Transfer-Sensors siehe Graphik
Frame-Transfer-Sensor:
Um das Problem von sog. "blinden Flecken" (die Stellen des Sensors, an denen die vertikalen Schieberegister plaziert sind und somit keine Photonenaufnahme stattfinden kann) zu vermeiden, besitzt der Frame-Transfer-Sensor keine gesonderten vertikalen Schieberregister. Die Ladungen werden durch die lichtempfindlichen Elemente durchgeschoben. Wegen der hohen Geschwindigkeit wird das gesamte Bild in einer Speicherzone gesammelt. Das weiter Auslesen funktioniert analog dem Interline-Transfer-Sensor.
Eigenschaften von CCD-Sensoren (europ. Norm):
Typische CCD-Sensorgrößen:
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Die verschiedenen Sensorgrößen sind deshalb entstanden, weil durch die Weiterentwicklung in der Chip-Herstellung immer kleinere Chips produziert werden konnten und somit mehr Chips auf einen Halbleiterwafer plaziert werden konnten. Es gibt sogar schon ¼" Sensoren. Die Sensorgröße ist kein Qualitätskriterium, aber bei einer optimalen Bildaufnahme ist die Anpassung des Objektivs notwendig, damit man die richtige Bildgröße erhält.
Beschreibung am Beispiel einer ½"-Sensors:
| Kategorie
|
Beschreibung |
| Sensorfeld | Bei ½"-Kamera etwa 6,4 x 4,8 mm^2 lichtempfindliche Fläche |
| Pixelgröße | 8,6 x 8,3 µm^2 |
| Pixelanzahl | Anzahl der Sensorelemente 752 x 582 |
| Auslesefrequenz | 15,7 MHz |
| Signal-Rauschabstand | Max. nutzbare Helligkeitsdynamik >50dB |
| Linearität | Prinzipiell linear d.h. Ausgangsspg. steigt linear mit Helligkeit |
| Belichtungszeit | Kurz durch elektronischen Shutter |
| Lichtempfindlichkeit | Ab 0,5 Lux |
Spektrale Empfindlichkeit eines CCD-Sensors:
Die spektrale Empfindlichkeit eines CCD-Sensors auf Siliziumbasis erstreckt sich auf Wellenlängen von 200 - 1100 nm. Die höchste Empfindlichkeit besitzt ein CCD-Sensor bei einer Wellenlänge von ca. 700 nm (tiefroter Bereich). Der erfaßbare Wellenlängenbereich des menschlichen Auges ist mit 400 - 700 nm dagegen um einen wesentlichen Teil geringer.
Nachteil: Das für das menschliche Auge nicht sichtbare Infrarotlicht kann zu Störungen bei der Aufnahme führen.
Vorteil: Bei Verwendung von Infrarotlicht für Blitzbeleuchtungen wird das menschliche Auge nicht gereizt.
Abbildungsfehler von CCD-Sensoren:
Dunkelstrom:
Der sogenannte Dunkelstrom bedeutet nichts anderes als die Freisetzung
von Ladungsträgern durch thermische Erregung.
Die Stärke des Dunkelstroms hängt zum einen von der Temperatur
des Sensors und zum anderen von der Integrationszeit seit dem letzten Auslesen
der Elektronen.
Eine Anwendung bei der Dunkelströme eine besondere Rolle spielen,
sind Langzeitaufnahmen, wie in der Astronomie.
Übersprechen:
Der Abbildungsfehler durch Übersprechen entsteht in den Räumen
zwischen den Sensorelementen, da hier ebenfalls Elektronen durch das Licht
freigesetzt werden.
Dies ist möglich, weil das Halbleitersubstrat zwischen die benachbarten
Elemente hindurchgeht.
Die Folge ist das sogenannte "Blooming", das einen hellen Punkt zu
einem größeren hellen Fleck aufblühen läßt.
Die Stärke des Übersprechens hängt stark von der Lichtwellenlänge
ab. Je größer die Wellenlänge ist, desto tiefer dringt
das Licht in das Silizium ein (besonders infrarote Strahlung).
Standard-Videokameras
Die meisten Kameratypen sind nach wie vor kompatibel zu alten Videostandards aus der Fernsehtechnik. In Europa ist dies die CCIR-Videonorm (CCIR = Comite` Consultarif International Radiocommunications). Die amerikanische und japanische Norm heißt RS-170 und legt eine geringere Auflösung, aber mehr Bilder pro Sekunde fest. Die CCIR-Kameras liefern ein analoges Videosignal, daß vor der weiteren Verarbeitung in ein digitales Bild umgewandelt werden muß. Dies ist die Aufgabe des Framegrabbers, aber wir werden im folgenden ausführlich auf die Eigenschaften dieser Technologie eingehen.
Prinzipieller Aufbau eines digitalen Bildes:
Grundsätzlich ist ein digitales Bild nichts anderes als eine Matrix
von Helligkeitswerten.
Ortsdiskretisierung: Das digitale Bild besitzt eine begrenzte Anzahl von Bildpunkten, die einem festen Zeilen- und Spaltenraster angeordnet sind.
Quantisierung: Das digitale Bild besitzt eine begrenzte Anzahl von Helligkeitsstufen (256 bzw 8 Bit ).
Eigenschaften der analogen, synchronen Interlaced-Matrixkamera:
Die Zeilenfolge dieser Kameraart ist interlaced, d. h. der CCD-Sensor nimmt ineinander verschränkte Halbbilder auf. Nach der ersten Belichtungsphase werden somit alle ungeraden Zeilen ausgelesen, dann wird der Sensor rückgesetzt und neu belichtet, um die geraden Zeilen auszulesen. Das Zeitverhalten ist synchron, d.h. der Bildaufnahmetakt von 40 ms ist gleichbleibend. Die Sensorgeometrie ist matrixförmig, d.h. der CCD-Sensor ist rechteckig mit einem typischen Seitenverhältnis von 4:3. Die Signalübertragung erfolgt über ein analoges Signal nach der Videonorm.
Das beigefügte Beispielbild macht den
Zeilenversatz der beiden aufgenommenen Halbbilder deutlich, da sich der
Mann auf dem Bild bei der Aufnahme in Vorwärtsbewegung befand.
Prinzip der Bildübertragung
vom CCD-Sensor zum Computer
(graphische Darstellung)
Eigenschaften der CCIR-Videonorm
| Kategorie |
|
| Bildfolge |
|
| Bildübertragung |
|
| Bildaufnahmezeit |
|
| Seitenverhältnis |
|
| Zeilenzahl |
|
| Zeilendauer |
|
| Signalbandbreite |
|
Bildübertragung nach dem Zeilensprungverfahren
Der VSYNC-Impuls ist bei ungeradem Halbbild bewußt mitten im analogen Signal der Zeile 1, damit man ihn vom VSYNC-Impuls des geraden Halbbildes unterscheiden kann.
Aufbau des Videosignals (siehe Graphik)
Abtastung des Zeilensignals (Graphik)
Bei der Abtastung des analogen Signals können Probleme durch sogenannte Pixel-Jitter auftreten. Pixel-Jitter heißt, daß die Frequenzen der Oszillatoren, die die Abtastfrequenz takten, nicht hundertprozentig konstant ist. (typ. Schwankungswert 5 ns)
Lösungsmöglichkeiten hierfür sind die Abstimmung der
Abtastraten d.h. nachstellen der Oszillatorfrequenz. Eine weitere Möglichkeit
ist die pixelsynchrone Abtastung, d.h. die Kamera muß ihren Auslesetakt
als Signal übertragen und der Framegrabber übernimmt dieses Signal
als Abtasttakt.
Die beste, aber auch teuerste Methode wäre einen digitalen Framegrabber
in Verbindung mit einer Digitalkamera zu verwenden, weil hier die Digital-Analog-Wandlung
wegfällt und somit viele Signalstörungen vermieden werden könnten.
Möglichkeiten der anwendungsorientierten Erweiterung der Videonorm
Veränderung der Abtastrate:
Wird die Abtastrate für das analoge Videosignal erhöht, so
erhöht sich ebenfalls die Auflösung des Bildes. Bei Vermessungskameras
spielt dies eine besondere Rolle.
Veränderung des Zeitrasters:
Um mehr Bilder pro Sekunde zu erhalten muß man die Abtastfrequenz
erhöhen.
Will man andererseits ein größeres Bild aufnehmen (z.B.
1024 Zeilen x 1024 Spalten ), so muß man die Abtastfrequenz erniedrigen.
Veränderung der Zeilenfolge:
Dies ist das Prinzip der Progressive-Scan-Kamera. Diese Kamera nimmt
ihre Bildzeilen in der normalen Reihenfolge auf, also kein Halbbildversatz.
Bildqualität
Kriterien für die Bildqualität sind:
Helligkeitsdynamik:
Für Kameras, die den Signalpegel der Helligkeitsdynamik nicht
einhalten muß der Framegrabber abgestimmt werden, aber normalerweise
ist die Helligkeitsdynamik durch die Videonorm festgeschrieben.
Ortsauflösung:
Die Ortsauflösung ist begrenzt durch die Pixelzahl der Kamera
und deren Abtastrate.
Außerdem spielen Leitungseinflüsse oft eine bedeutende Rolle.
Hierbei handelt es sich um Dynamikverlust (Helligkeitsdynamik), Schärfereduzierung
und Synchronisationsfehler.
Verschiedene Kameratypen
Progressive-Scan-Kamera:
Diese Kamera hat keinen Halbbildversatz, d.h. die Zeilen werden in
natürlicher Reihenfolge aufgenommen und dem Framegrabber bleibt das
Zusammensetzen der Halbbilder erspart.
Außerdem wird bei diesem Typ ein ganzes Bild am Stück übertragen,
deshalb eignen sie sich auch besonders gut für gewegte Vorgänge.
Es gibt aber auch Progressive-Scan-Kameras, die
(aus Kompatibilitätsgründen) zwei Halbbilder im
Interlaced Modus übertragen (aber gleichzeitig belichten).
Asynchron-Kamera:
Dieser Kameratyp kann bei der Aufnahme durch ein "asynchron-Reset"-Signal
gesteuert werden, d.h. daß man durch dieses Signal jede Aufnahme
eines Bildes einzeln auslösen kann.
Durch diesen besonderen Schaltungsaufwand ist diese Kamera auch teuerer
als Standardkameras.
Verwendet wird diese Kamera meist in der Industrie z.B. für die
Kontrolle schnell bewegter Prüfteile. Deshalb sind sich auch meistens
Progressive-Scan-Kameras ( mit zusätzl.Reset-Signal).
Digitalkameras:
Die Digitalkamera überträgt die digitalen Bildinformationen
direkt zum Framegrabber.
Dies vermeidet die Störeinflüsse durch die Digital-Analog-Wandlung.
Dieser Kameratyp ist allerdings sehr teuer und es gibt auch noch keine
einheitliche Verkabelungsnorm. Die Verkabelung ist bei den Analog-Kameras
wesentlich einfacher.
Zeilenkamera:
Eine Zeilenkamera besitzt einen CCD-Sensor mit nur einer Zeile lichtempfindlicher
Elemente.
Dadurch ist eine sehr hohe Auflösung möglich (bis zu 4096
Pixel).
Eingesetzt wird sie z.B. für die Prüfung großer Objekte
oder für die Überwachung kontinuierlicher Fertigungsprozesse.
Grundfunktion eines Framegrabbers
Die Grundfunktion eines Framegrabbers besteht darin, ein analoges Videosignal
von einer Kamera in ein digitales Bild umzuwandeln.
Man unterscheidet zwei Framegrabber-Modi:
Kontinuierlicher Bildeinzug (manchmal auch als "Livemodus" bezeichnet):
In diesem Modus überschreibt der Framegrabber ständig seinen
Speicher sobald ein neues Bild einfällt. (d.h. wenn ein neuer VSYNC
eintrifft)
Einzelbildmodus ("Aufnahmemodus"):
In diesem Modus speichert der Framegrabber ein einzelnes Bild.
Bzgl. der Bild¨bertragung in den Hauptspeicher, der in der Regel
via DMA (Direct Memory Access) erfolgt, unterscheidet man zwei Strategien:
FIFO-Framegrabber:
Dieser Framegrabber besitzt nur einen kleinen Pufferspeicher und arbeitet
nach dem First-In-First-Out-Prinzip. Bei hoher Belastung des PCI-Busses
besteht die Gefahr des Datenverlusts.
Bildspeicherkarten:
Bildspeicherkarten speichern ein komplettes Bild, das in einem Durchgang
übertragen wird.
Deshalb ist auch keine Überschreibung von Daten möglich.
Die Übertragung der einzelnen Bilder erfolgt mit maximaler Geschwindigkeit.
Heute werden häfig FIFO-Framegrabber verwendet, weil sie
durch ihren kleinen Pufferspeicher wesentlich billiger sind als Bildspeicherkarten.
Außerdem ist die Größe des Bildes nur durch die Größe
des Rechnerspeichers und nicht durch den eigenen Speicher begrenzt.
Framegrabber für verschiedene Kameratypen
Für Standard-Videokamera:
Die Auswertesoftware des Framegrabbers fordert von der Kamera ein Bild
an.
Der Framegrabber wartet auf das vertikale Synchronisationssignal des
ersten Halbbildes.
Dann nimmt er die beiden Halbbilder auf und setzt es im Zwischenspeicher
zu einem Vollbild zusammen. Nun gibt er bekommt die steuernde Software
ihre Rückmeldung.
Im Field-Modus wird jedes einzelne Halbbild einzeln verarbeitet d.h.
der Framegrabber wartet auf beliebiges VSYNC-Signal (egal ob erstes oder
zweites Halbbild).
Dies führt zu schnellerer Übertragung von Bildern.
Für Progressive-Scan-Kamera:
Dadurch, daß bei diesem Kameratyp kein Ineinanderschieben der
Halbbilder nötig ist, ist ihr Verhalten wie eine Standard-Kamera im
Field-Modus.
Diese Variante bietet die Möglichkeit Teilbilder auszuwerten (z.B.
oberes Drittel) und somit Zeit zu sparen.
Für Asynchronkamera:
Der Framegrabber steuert die Aufnahmen der Asynchronkamera durch das
Asynchron-Reset-Signal. Das weitere Verhalten des Framegrabbers ist wie
bei der Standard-Kamera.
Das Arbeitsprinzip der Asynchronkamera kann "interlaced" oder "progressive"
sein.
Für Zeilenkamera:
Da die Zeilenkamera nur eine Zeile lichtempfindliche Sensoren besitzt,
ist die Arbeitsweise des Framegrabbers von der Auswertestrategie dieses
Kameratyps abhängig.
Bei diesem System gibt es keine vertikalen Synchronisationssignale,
dafür Triggersignale.
Für Digitalkamera:
Hier entfällt die Analog/Digital-Wandlung im Framegrabber, weil
die Daten von dieser Kamera digital zum Framegrabber übertragen werden.
Die Auswertung erfolgt über das Pixelclock-Signal von der Kamera.
Der Bildanfang und der Zeilenanfang werden auf eigenen Leitungen signalisiert,
somit ist die Aufgabe und der Aufbau des Framegrabbers wesentlich einfacher.
Für die direkte digitale Übertragung von Daten werden besondere
Bussysteme benötigt.
Ein System, das in Zukunft bei der Mulitmediatechnik noch eine große
Rolle spielen wird, ist der IEEE1394-Datenbus oder auch "FireWire" genannt.
Eigenschaften des Fire-Wire-Busses nach IEEE1394
| Merkmal | Beschreibung |
|
|
Seriell |
|
|
Baumförmig |
|
|
63 |
|
|
Asynchron (Steuersignale,
20%)
Synchron (Video- und Klangdaten, max 80%) |
|
|
Selbstkonfigurierend und "hot-plugging" |
|
|
Sechspolig (2 Versorgungs-, 2 Daten-, 2 Strobe-Leitungen |
|
|
100,200 oder 400 Mb/s Erweiterung auf 800, 1600 Mb/s vorgesehen |
|
|
Überprüfung in jedem Datenpaket integriert |
|
|
Typischerweise 125 µs |
siehe auch http://www.skipstone.com/informat.html.
Optische Grundlagen
Eine wichtige Größe in der Optik ist die Blendenzahl.
Definition:
Das Verhältnis zwischen Blendendurchmesser d und Brennweite f
des Objektivs bezeichnet man als relative Öffnung, seinen Kehrwert
als Blendenzahl k. (vgl. folgendes Bild)
Die Beleuchtungsstärke E ergibt sich durch das Verhältnis vom Lichtstrom F zur Fläche A und ist ebenfalls proportional zum Kehrwert von der Blendenzahl k. (siehe Formeln).
Die Werte der Blendenreihe sind so gewählt, daß bei jedem Einsetzen (nacheinander) einer Blendenreihenzahl in die Formel , die Beleuchtungsstärke E halbiert wird Somit stehen die Blendenreihenzahlen in einem Verhältnis von Ö 2 zueinander.
Blendenreihe:
1,0 1,4 2
2,8 4 5,6
8 11 16
22 32
Abbildungsgesetze
Lichtstrahlen, die parallel zur optischen Achse sind, verlaufen hinter der Linse durch den Brennpunkt F. Lichtstrahlen, die durch den Brennpunkt vor der Linse verlaufen, verbreiten sich hinter der Linse parallel zur optischen Achse. Lichtstrahlen, die durch den Mittelpunkt der Linse verlaufen, verändern ihre Richtung auch hinter der Linse nicht.
Die Graphik zeigt den idealisierten Fall
einer sogenannten "Dünnen Linse".
Abbildungsmaßstab
Abbesche Abbildungsgleichung:
B: Bildgröße
G: Gegenstandsgröße
Verhältnisdarstellung:
Wenn die Brennweite f größer oder die Gegenstandweite g
kleiner oder die Gegenstandsgröße G größer wird,
so wird das Bild B größer.
Dies erklärt zum Beispiel auch die Länge von Teleobjektiven.
Schärfentiefe
Schärfentiefe ist der Bereich, innerhalb dessen sich Objekte scharf
abbilden lassen (Entfernungsbereich). Dies bedeutet, daß der Durchmesser
des Zerstreuungskreises kleiner ist als ein einzelnes Sensorelement. (siehe
Graphik)
Typische Aufnahmesituationen
Fernaufnahmen:
Gegenstandsweite g ist viel größer als die Brennweite f
und die Bildweite b ist ungefähr so groß wie f.
Makroaufnahmen:
Gegenstandweite g ist ungefähr so groß wie Bildweite b.
Mikroaufnahmen:
g ist ungefähr so groß wie f und b ist aber viel größer
als f: (siehe Mikroskop,geringer Schärfetiefenbereich)
Abbildungsfehler
Chromatische Abberation:
Das Licht verschiedener Wellenlänge wird unterschiedlich gebrochen
Sphärische Fehler:
Strahlen, die weit von der optischen Achse entfernt sind erzeugen Fehler,
weil sie an der Linse stark gebrochen werden. Man kann diese Fehler durch
engere Blenden annähernd ausschließen.
Bildfeldwölbung:
Dieser Fehler entsteht bei der Aufnahme von gewölbten Flächen
und führt zu unscharfen Bildrändern.
Verzeichnung:
Unter Verzeichnung versteht man die Krümmung von Geraden nach
außen oder innen.
Typische Werte sind von 0,2 bis 1,0% oder biszu 5 Bildpunkten.
Beispiel:
Aufnahme
mit Verzeichnungsfehler und korrigiertes Bild.
Objektivbestimmung
Auflagemaß:
Als Auflagemaß wird der Abstand von Objektivauflage an der Kamera
bis zur Sensorebene bezeichnet.
Genormte Auflagemaße:
Zusammenhang zwischen Sensor- und Objektivformat
Besondere Objektivtypen:
Beleuchtungstechnik
Leuchtmittel:
Gerichtetes Auflicht:
Als gerichtetes Auflicht wird die Beleuchtung von z.B. einer glatten
Fläche mit flachen seitlichem Lichteinfall bezeichnet. Hierbei kann
man unebenheiten der Fläche sehr gut erkennen.
Polarisiertes Licht:
Durch Polarisationsfilter kann reflektiertes Licht unsichtbar gemacht
werden.
Ringbeleuchtung:
Dies ist ein intensives, schattenfreies Licht zur Beseitigung von Reflexionen.
Beleuchtung im Strahlengang:
Dies bedeutet, daß das Licht durch den Strahlengang des Objektivs
austritt und somit das aufzunehmende Objekt vom Objektiv her beleuchtet
wird, wie z.B. beim Endoskop.
Strukturierte Beleuchtung:
Dies ist eine Projektion von Linien, Gittern oder Kreisen auf das zu
erfassende Objekt, um dreidimensionale Charakteristika zu überprüfen.
Durchlicht
Die Arten des Durchlichtes unterscheiden sich vom Auflicht nur dadurch, daß sich der zu erfassende Gegenstand zwischen Beleuchtung und Objektiv befindet.
Beispiele für Beleuchtungsarten:
gerichtetes Auflicht
diffuses Auflicht
diffuse Hintergrundbeleuchtung
Geometrische Transformationen
Affine Transformationen
Die Matrizen werden auf jeden einzelnen Punkt angewandt.
Zusammengesetzte Transformation:
Zum Beispiel: MTR = R × T (Matrixmultiplikation)
Paßpunktmethode:
Zur Bestimmung einer Abbildungsmatrix kann die Paßpunktmethode
benutzt werden.
Hierfür müssen die Koordinaten von 3 Urpunkten und 3 Bildpunkten
bekannt sein.
Über ein Lineares Gleichungssystem kann nun die Matrix berechnet
werden.
Download eines Halcon-Programms
(Affine.dev), daß die drei Grundarten von Transformationen an einem
Beispielbild durchführt.(Das angegebene Beispielbild
muß im selben Verzeichnis liegen, wie die Halcon-Datei.)