| Home | Contents | << Prev. | Next >> |
 |
Image Processing: CamerasCopyright © by V. Miszalok, last update: 2011-07-02 |
 Let me know what you think |
|
| Summary |
CCD = Charge Coupled Device. CMOS = Complementary Metal Oxid Semiconductor. X3 = three layer sensor array. |
|
Each individual pixel sensor is a Foto diode which converts the energy of Fotons into electrical energy. |
|
The accumulated electrical charge must be transported through the neighbor sensors until it reaches the upper left corner of the sensor array. |
|
A one-chip color still image CCDs carries a red or green or blue filter in front of each pixel = Bayer mosaic filter. |
Video-CCDs keep half of their pixel columns in permanent darkness in order to use them as transport ways. |
A flat bed scanner is a moving one-row foto CCD. |
CMOS integrates the sensor array, its wiring and its memory in a single integrated circuit chip. |
|
X3 is a CMOS with 3 layers of sensors: a red in front of a green in front of a blue sensor array. |
Diese Abtastung mit ungerichtetem Licht und vielen Sensoren (Fotoprinzip siehe IP_Principles.htm) ist das Prinzip aller digitalen Foto- und Videokameras.
Im Vergleich zum Scannerprinzip mit gerichtetem Licht und einem (oder wenigen) Sensoren hat das Fotoprinzip folgende Vor- und Nachteile:
| Vorteil 1: | ungebündeltes Licht (z.B. Sonne) verwendbar, kein bewegter Lichtstrahl notwendig |
| Vorteil 2: | kurze Abtastzeit → schnelle Objekte abbildbar |
| Nachteil 1: | niedere Ortsauflösung durch begrenzte Spalten/Zeilenzahl des Sensors |
| Nachteil 2: | viel Licht notwendig, sonst Rauschen |
| Nachteil 3: | häufig Bildfehler: unterbelichtet, überbelichtet, Shading, Unschärfe. |
Es gibt derzeit 3 aufeinander aufbauende Technologien nach dem Fotoprinzip: CCD, CMOS und X3.
 |
Wörtliche Übersetzung von Charge-coupled Device: Ladungs-gekoppelte Maschine.
Vorsicht: Häufiger Aussprachefehler führt zu Heiterkeit: Charged Couple = Belastetes Ehepaar
1972 erster einzeiliger Prototyp mit 96 Pixeln, 2009 Nobelpreis für Physik für die Erfinder Smith und Boyle.
Ein CCD ist ein Siliziumchip, der eine Matrix trägt aus Fotodioden = kleinen Solarzellen = Elementarsensoren = kurz: Sensoren. Treffen Fotonen einen Sensor, setzen sie Elektronen frei und die Zelle lädt sich auf.
Die Ladung steigt:
- mit steigender Fotonendichte
- mit steigender Sensorfläche (siehe unten: Füllfaktor)
- mit steigendem Quantenwirkungsgrad = Ein Foton kann mehr als ein Elektron in Bewegung setzen.
Mehr Information: Wikipedia: Charge-coupled device
|
|
a) Foto CCD = Single Shot CCD = Still Image CCD nimmt max. 12 Bilder/sec auf in folgendem Ablauf:
1) optischen Verschluss (= Shutter) öffnen.
2) einfallende Fotonen trennen auf der Oberfläche des Sensors Ladungen, die die Zelle speichert.
3) Shutter schließen → Fotoneneinfall sperren → Chip bekommt Zeit, die akkumulierten Ladungen aus den Zellen auszulesen.
4) Die Ladungen werden zeilenweise so ausgelesen wie man eine Buchseite liest (zeilenweise von links oben), dass ein zeitkontinuierliches Videosignal entsteht.
5) Neues Bild erst, wenn die letzte Ladung ausgelesen ist.
Problem: Es ist unmöglich, jeden Sensor einzeln zu verdrahten → 1 Mio. Sensoren bräuchten 2 Mio. Drähte.
Lösung: Die Kondensatoren werden vertikal verkettet und getaktet, dass sie bei jedem Takt ihre Ladungen nach oben an ihren oberen Nachbarn weitergeben (parallele Spaltenketten nach oben).
In der obersten (nullten) Zeile wird zwischen den vertikalen Takten mit schnellem horizontalem Takt nach links ausgelesen (Zeilenkette in der obersten Zeile nach links).
Somit entsteht am linken Ausgang des Pixels 0/0 ein zeitkontinuierlicher Strom, der geordnet alle Sensormessungen enthält.
Diese Ladungstransfers in Form von spaltenparallelen vertikalen Eimerketten und einer zeilenweise horizontalen Eimerkette („bucket brigade“) in der nullten Zeile haben dieser Technik den Namen gegeben: Charge-coupled Device.
Es gibt vier Typen von CCD-Fotokameras:
a) Ein-Chip-Schwarz/Weiß-Fotokamera ist farbenblind. Sie hat gute Ortsauflösung und benötigt wenig Licht. Sie ist Infrarot-empfindlich →
b) Ein-Chip-Farb-Fotokamera → in vielen Digitalkameras. Hat nur 1/4 der Ortsauflösung von a).
c) Drei-Chip-Fotokamera → Das einfallende Licht wird durch ein Prisma in drei Farbstreifen gespalten. Jeder Farbstreifen wird auf einen eigenen Chip gelenkt. Farbwert an der Stelle x,y setzt sich zusammen aus den 3 Grauwerten der drei Chips. Nachteil: Exakte Justierung der Chips hinter dem Prisma ist schwierig → stoßempfindlich.
d) Vier-Chip-Fotokamera: Wie c) aber mit einem zusätzlichen Weiß-Strahlengang mit viertem Chip → teuerste Bauart.
Aufbau und Pixelshift in einer Ein-Chip-Farb-CCD-Fotokamera
 |
 Bayer-Mosaikfilter für Single-Shot-Farb-Foto-Kameras 50% der Pixel sind mit Grün-, 25% mit Rot- und 25% mit Blau-Folien abgedeckt siehe: Bayer-Pattern |
Ablauf der CCD-Fotoerzeugung:
1: Nach jeder Bildaufnahme (nach Shutterschluss in Dunkelheit) Shift aller Zeilen nacheinander nach oben. Nach jedem oben-Shift horizontal-Shifts der nullten Zeile nach links.
2: Quantisierung des Helligkeitssignals durch Analog-Digital-Wandler (meist 8 Bit = 1 Byte).
3: Einlesen der Bytes in eine matrixförmige Datenstruktur = internes Roh-Bildformat (Raw Image = Raw Format) welches noch keinerlei Farben, nur Helligkeiten enthält.
4: Dieses Roh-Format wird zum RGB-Bild erst dadurch, dass jedes Pixel die beiden ihm fehlenden Farben von (mindestens) zwei seiner freien Nachbarn übernimmt (bilinear or bicubic interpolation), was die Datenmenge zunächst um den Faktor 3 aufbläht.
5: Das RGB-Bild wird dann nach dem JPEG-Verfahren mit Verlust komprimiert und auf Multi Media Card exportiert.
|
|
Video = kontinuierlicher Bildstrom ohne Verschluss.
Problem: Bei Videokameras wird der Lichteinfall nach Aufnahme eines Bildes nicht unterbrochen, sondern der Verschluss muss offen bleiben, weil ohne Pause weitere Bilder produziert werden sollen. Folglich fallen Fotonen auf die Sensoren während die Eimerkette spaltenparallel Ladungen nach oben schaufelt. Das führt dazu, dass die Ladungen mit langer Eimerkette während des Hochschiebens durch neues Licht immer weiter steigen und das Bild nach unten immer heller wird und verschmiert.
Lösung: Interline-Transfer: Jede zweite Spalte wird dauerhaft abgeschirmt von jeglichem Lichteinfall (durch schwarzen Lack). Jeder freie Sensor hat damit einen rechten Nachbarn, der nie Licht sieht. Alle freien Pixel übergeben ihre Ladungen auf Kommando diesen Nachbarn und die Eimerkette läuft nur in den dunklen Spalten, während die freien Pixel neue Ladungen akkumulieren.
Nachteil: Die Hälfte aller Pixel dient nur dem Ladungstransport und sieht niemals Licht und die Ortsauflösung der Videokameras ist um den Faktor 2 niedriger als die von Fotokameras.
Es gibt vier Typen von CCD-Videokameras:
a) Ein-Chip-Schwarz/Weiss-Videokamera hat die gleichen Eigenschaften wie die Ein-Chip-Schwarz/Weiss-Fotokamera. Für Überwachungen aller Art.
b) Ein-Chip-Farb-Videokamera → in vielen Digitalrecordern. Nur halbe Ortsauflösung von a). Siehe Bilder weiter unten: Aufbau einer Ein-Chip-Farb-Videokamera
c) Drei-Chip-Videoamera hat die gleichen Eigenschaften wie die Drei-Chip-Fotokamera. Eingebaut in professionellen Camcordern.
d) Vier-Chip-Videokamera: Wie c) aber mit einem zusätzlichen Weiß-Strahlengang mit viertem Chip → teuerste Bauart.
Aufbau und Pixelshift in einer Ein-Chip-Farb-CCD-Videokamera
Ablauf der CCD-Videoerzeugung:
1: Es gibt keinen Shutter, der ein Bild vom nächsten durch eine Dunkelphase trennt.
Nach jeder Bildaufnahme:
1.1: Shift aller Ladungen um eine Position nach links in die abgedeckten Spalten = Column Shift to the Left.
1.2: In diesen schwarz abgedeckten Spalten Ladungsshift (= Eimerkette) nach oben = Vertical Shift.
1.3: Linksshift in der nullten Zeile = Horiz. Shift.
2. Sofortige Aufnahme des nächsten Bildes während des Auslesens des Vorgängerbildes. Bildaufnahmezeit und Auslesezeit sind exakt gleich.
3: Quantisierung des Helligkeitssignals durch 8 Bit Analog-Digital-Wandler (parallel dazu analoge Verstärkung).
4: Einlesen der Bytes in eine matrixförmige Datenstruktur = internes Roh-Bildformat (Raw Image = Raw Format) welches noch keinerlei Farben, nur Helligkeiten enthält.
5: Dieses Roh-Format wird zum RGB-Bild erst dadurch, dass jedes Pixel die beiden ihm fehlenden Farben von (mindestens) zwei seiner freien Nachbarn übernimmt (bilinear or bicubic interpolation), was die Datenmenge zunächst um den Faktor 3 aufbläht (parallel dazu analoger Color Mix).
6: Das RGB-Bild wird dann nach dem MPEG-Verfahren mit Verlust komprimiert und auf MiniDV exportiert.
7: Parallel zum digitalen Verarbeitungsweg existiert in der Regel ein analoger Ausgabeweg, der ein analoges Composit-Videosignal erzeugt.
|
|
Zeilen-CCDs
Man denkt, Scanner müssten nach dem Scannerprinzip arbeiten.
Trotzdem enthält ein Fax eine CCD-Zeile und ein Farb-Flachbettscanner enthält 1 bis 4 CCD-Zeilen (Breite = 21 cm, Höhe < 1 mm) mit > 4096 Sensoren pro Zeile, wie eine CCD-Videokamera mit extremer Breite aber minimaler Höhe.
Faxe und Flachbettscanner sind also eine Mischung aus Fotoprinzip (wegen der vielen Sensoren) und Scannerprinzip (wegen der Bewegung von Lichtquelle plus Sensorzeile).
Wahre Pixel und erlogene Pixel
Ein richtiges Pixel repräsentiert einen Sensor, der Fotonen sieht und zählt (Farbpixel brauchen sogar 3 oder 4 Sensoren).
Vorsicht: Die meisten Pixel dieser Welt kommen nicht von einem Sensor, der Fotonen sieht, sondern werden frei erfunden.
Viele Kameras und so gut wie alle Zeilen-Scanner fügen künstliche Pixel zwischen die wahren Pixel ein. Das nennt sich Interpolation, ist aber nichts weiter als gewöhnlicher Betrug.
Einen solchen Betrug begeht z.B. jede Ein-Chip-Farbkamera mit Bayer-Filter. Zwar wird 1/3 des Pixels gemessen, aber die restlichen 2/3 (die fehlenden zwei Farbwerte) werden von den Nachbarpixeln abgeschrieben und als eigene ausgegeben.
Um zur Wahrheit zu gelangen, muss man auf die Raw-Bilder zugreifen. Professionelle Kameras und Scanner bieten diesen Zugriff und legen die Raw-Formate offen für Kunden, die programmieren können.
Link: www.openraw.org
|
|
CMOS-Bildsensoren sind seit 1988 Konkurrenztechnologie zu CCD-Bildsensoren.
Basisidee: Verbindung der Sensormatrix mit einem RAM-Speicher, so dass jede Fotodiode um vier Transistoren und deren Verbindungen zur Außenwelt erweitert wird = Active Pixel.
Außerdem integriert man die gesamte Verarbeitungskette Raw Image → RGB-Interpolation → Compression → Magnet-Speicher am Außenrand des Sensorchips.
| Vorteil 1: | Es gibt keine Eimerketten, um die Ladungen nach außen zu transportieren |
| Vorteil 2: | Man braucht nicht immer den ganzen Chip en bloc auslesen, sondern kann einzelne Pixel adressieren oder Pixel-Gruppen zusammenfassen = Binning. → Subsampling = Spalten/Zeilen weglassen für schnellen aber groben Überblick → Windowing = schnell rechteckige Teilbilder lesen (industrielle Messtechnik, Kollisionsvermeidung, Fahrspurführung etc.) → Bildverarbeitung direkt in der Kamera möglich → Niedriges Übergreifen von Überbelichtung von einem Pixel auf seine Nachbarn = Blooming → Höhere Bildwiederholrate als bei CCD möglich |
| Vorteil 3: | Energieverbrauch nur 10% von CCD. Versorgungsspannung 3-5 Volt, |
| Kleinere Baugröße und bei großen Stückzahlen billiger als CCD | |
| Braucht mehr Licht als CCD, weil ca. 50% der Pixelfläche von Transistoren belegt wird und die Fotodiode diesen Platz abgeben muss. | |
| Da jedes Pixel selbst digitalisiert, gibt es Empfindlichkeitsunterschiede |
Beispiel: CMOS-Sensor der Canon EOS 350D mit einer Fläche von 22,7x14,8 mm und 8 Megapixel.
Wie bei CCD:
- Es gibt 4 Bauweisen von der Ein-Chip-Schwarz/Weiß-Kamera bis zur Vier-Chip-Kamera.
- Eine Ein-Chip-Farbkamera benötigt ein Bayerfilter und jedes Pixel muss die ihm fehlenden Farben bei seinen Nachbarn stehlen.
Anders als bei CCD:
- Foto-CMOS und Video-CMOS sind ziemlich identisch.
Links:
- Wikipedia: CMOS-Sensor
|
|
Bisher: Ein-Chip-Farb-Kameras mit CCD oder CMOS brauchen ein Bayer-Pattern = Mosaikfilter.
Neu: Die X3-Technologie misst die 3 Farben in drei gestapelten Siliziumlayern eines einzigen Pixels.
Vorteile: mindestens dreifache horizontale Auflösung, keine Farb-Interpolation, keine Farbfehler an Kanten. Sonst wie bei CMOS.
Siehe: www.foveon.com
X3-Produkt: Sigma DP1. Die Kompaktkamera wird als 14 Megapixel-Kamera beworben, obwohl ihr X3-Chip nur 4,7 Mio Sensoren in 3 Etagen besitzt.
Vorteil: enorme Ortsauflösung, hohe Lichtempfindlichkeit, hoher Rauschabstand.
Nachteil: geringe Zeitauflösung, d.h. ziemlich langsam, weil das Abspeichern der riesigen Matrix ca. 3 sec. dauert.
|
|
Die bisherige Herstellungstechnik eignet sich nur für ebene Sensorarrays.
Neu: Flexible Stege zwischen den ebenen Sensorpixeln machen den Sensor-Array an eine Glaskugel anschmiegbar.
Vorteile: einfache Optik, keine Verzerrungen, großes Sichtfeld.
Link: University of Illinois.
| Home | Contents | << Prev. | Next >> |
Page Top |