Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2004100560 - DISPOSITIF DE PRISE DE VUES POUR PRISE DE VUES PHOTOGRAPHIQUES DE SEQUENCES D'IMAGES

Note: Texte fondé sur des processus automatiques de reconnaissance optique de caractères. Seule la version PDF a une valeur juridique

[ DE ]

Beschreibung

Aufnahmevorrichtung zur fotografischen Aufnahme von Bildsequenzen

Die Erfindung betrifft eine Aufnahmevorrichtung zur fotografischen Aufnahme von Bildsequenzen.

Im Mobilfunkbereich erfreuen sich sog. Videohandys, welche eine integrierte digitale Kamera aufweisen, steigender Beliebtheit. Diese Videohandys ermöglichen die Aufnahme von Bildern, die anschließend über ein Mobilfunknetz an Dritte versendet werden können. Da mobile Endgerate aufgrund ihrer geringen Abmessungen nur eine eingeschränkte Speicherkapazitat aufweisen, können mit diesen Geraten bis heute keine beliebigen Ansichten von Objekten durch Aufnahmen wahrend des Schwenkens des Mobilfunkgerats um einem festen Schwenkpunkt erzeugt werden. Insbesondere ist es nicht möglich, mehrere Einzelansichten für eine spatere 3D-Wιedergabe des aufgenommenen Objektes zu erzeugen.

Aus dem Stand der Technik sind Verfahren zur Erzeugung von Stereoansichten bekannt, bei denen sog. Lichtfelder verwendet werden (siehe Dokument [1]). Hierbei wird aus einer Vielzahl von Einzelaufnahmen aus unterschiedlichen Positionen und

Blickrichtungen eine 3D-Ansιcht erzeugt. Diese Verfahren sind nicht in Mobilfunkgeraten einsetzbar, da sie einen hohen Speicherbedarf für die Bilder benotigen.

Aus der europaischen Patentanmeldung [2] ist ein Verfahren zur Konstruktion monokularer Panoramen bekannt, welches einen geringen Speicher- und Rechenbedarf benotigt, da eine Panoramaansicht direkt bei der Aufnahme erstellt wird.

Die Druckschrift [3] zeigt allgemein das Prinzip, wie aus dem Schwenk einer Kamera dreidimensionale Panoramaansichten erzeugt werden können.

Aufgabe der Erfindung ist es, eine Aufnahmevorrichtung zur fotografischen Aufnahme von Bildsequenzen zu schaffen, welche zur Erzeugung von mehreren Ansichten eines Objektes einen geringen Speicherplatz benotigt, so dass die Aufnahmevorrichtung insbesondere in Mobilfunkgeraten integriert werden kann.

Diese Aufgabe wird durch eine Aufnahmevorrichtung gemäß dem unabhängigen Anspruch 1 gelost. In den abhangigen Ansprüchen sind vorteilhafte Ausgestaltungen der Vorrichtung beschrieben .

Die erfindungsgemaße Aufnahmevorrichtung umfasst eine Optik und einen Sensor, mit denen Bilder aufgenommen und erfasst werden. Ferner umfasst die Aufnahmevorrichtung eine an dem Sensor angeschlossene Verarbeitungseinrichtung mit einem Speichermittel zum Verarbeiten einer aufgenommenen Bilderfolge, wobei die Bilderfolge ein Objekt wiedergibt, das mit der Aufnahmevorrichtung wahrend des Schwenkens der Aufnahmevorrichtung in einem festen Abstand um einen Schwenkpunkt aufgenommen wurde .

Die Verarbeitungseinrichtung ist derart ausgestaltet, dass bei der Verarbeitung der aufgenommenen Bilderfolge aus jedem aufgenommenen Bild der Bilderfolge jeweils ein identisches Aufnahmefenster ausgeschnitten wird, das eine Mehrzahl von versetzt zueinander angeordneten Bildausschnitten an vorgegebenen Positionen im aufgenommenen Bild umfasst, und die Bildausschnitte an den jeweils gleichen Positionen in den aufgenommenen Bildern zu Einzelbildern derart zusammengesetzt und in dem Speichermittel gespeichert werden, dass jedes Einzelbild unterschiedliche Ansichten des Objekts wiedergibt. Die erfindungsgemaße Aufnahmevorrichtung ermöglicht somit sofort bei der Aufnahme der Bilder eine Bildverarbeitung, wobei lediglich schmale Bildausschnitte aus den Bildern abgespeichert und zu einer Objektansicht zusammengesetzt werden. Es ist nicht mehr notig, dass alle Bilder der Bilderfolge in einem Speicher abgelegt werden müssen. Da die Speichermittel der Verarbeitungseinrichtung somit einen geringen Speicherplatz benotigen, eignet sich die Aufnahmevorrichtung insbesondere zur Integration in einem Mobilfunkgerat.

In einer bevorzugten Ausfuhrungsform der erfindungsgemaßen Aufnahmevorrichtung werden Einzelbilder erzeugt, mit denen man eine dreidimensionalen Darstellung des aufgenommenen Objekts generieren kann. Hierbei umfasst das Aufnahmefenster wenigstens einen ersten und wenigstens einen zweiten Bildausschnitt, deren Abstand zueinander derart gewählt ist, dass der in einer ersten Position der Aufnahmevorrichtung aufgenommene erste Bildausschnitt im wesentlichen dem in einer zweiten Position aufgenommenen zweiten Bildausschnitt entspricht, wenn die zweite Position ausgehend von der ersten

Position durch das Schwenken der Aufnahmevorrichtung in einem festen Abstand von einem Schwenkpunkt um einen Winkel erreicht wird, dessen Bogenlänge entlang der Brennebene der Aufnahmevorrichtung im wesentlichen dem Abstand der menschlichen Augen entspricht. Durch das Zusammensetzen der ersten Bildausschnitte getrennt von den zweiten Bildausschnitten können Ansichten des Objektes für das rechte und für das linke menschliche Auge erzeugt werden. Mittels geeigneter Stereominitore können mittels der Einzelbilder dann 3D-Ansιchten erzeugt werden.

Die erfindungsgemaße Aufnahmevorrichtung eignet sich in einer bevorzugten Ausfuhrungsform ferner zur Erzeugung von sog. Multiview-Ansichten, welche die Ansichten eines Objekts aus unterschiedlichen Positionen in Einzelbildern festhalt. Zur Erzeugung solcher Multiview-Ansichten umfasst das Aufnahmefenster insbesondere wenigstens drei Bildausschnitte.

In einer weiteren Ausfuhrungsform der Erfindung sind die Bildausschnitte vorzugsweise senkrechte Streifen in den Bildern der Bildfolge.

In einer besonders bevorzugten Ausfuhrungsform der erfindungsgemaßen Aufnahmevorrichtung umfasst die Aufnahmevorrichtung eine Eingabevorrichtung, mit der eine Anzahl von erwünschten Ansichten des Objektes und/oder einer erwünschter Winkelabstand zwischen den Ansichten und/oder ein erwünschter fester Abstand von dem Schwenkpunkt und/oder ein erwünschter Augenabstand eingegeben werden können, wobei anschließend in Abhängigkeit von der Eingabe die entsprechenden Bildansichten mit der Verarbeitungseinrichtung erzeugbar sind. Die EingabeVorrichtung kann hierbei beispielsweise bei der Integration der Aufnahmevorrichtung in einem Videohandy die Tastatur des Handys sein. Dem Benutzer wird hierdurch ermöglicht, in Abhängigkeit von seinen speziellen Wünschen entsprechende Bildansichten zu generieren.

Wie bereits oben erwähnt, ist die erfindungsgemaße Aufnahmevorπchtung vorzugsweise in einem Mobilfunkgerat integriert . Ferner ist die Aufnahmevorrichtung vorzugsweise eine digitale Kamera.

Um die Qualität der aufgenommenen Bilderfolge zu verbessern, ist in einer weiteren Ausfuhrungsform der Erfindung die Verarbeitungseinrichtung derart ausgestaltet, dass die Bilderfolge einem Verfahren zur elastischen Bewegungskompensation unterzogen wird. Hierdurch kann die Auflosung der Bilderfolge verbessert werden, was insbesondere bei einfachen digitalen Kameras, die nicht über eine Fokussierungseinrichtung verfugen, von Vorteil ist. Als Verfahren zur elastischen Bewegungskompensation wird insbesondere das in der Druckschrift [4] beschriebene Verfahren verwendet, bei dem eine höhere Bildauflösung mit Hilfe eines hierarchischen Blockmatchings erreicht wird.

Um mit der erfindungsgemaßen Aufnahmevorrichtung ein sinnvolles aus den Bildausschnitten zusammengesetztes Einzelbild zu erzeugen, ist die Verarbeitungseinrichtung vorzugsweise derart ausgestaltet, dass ein Verschiebungsvektor von jeweils zwei benachbarten Bildern der Bilderfolge bestimmt wird und mit Hilfe des Verschiebungsvektors die Einzelbilder zusammengesetzt werden. In einer weiteren bevorzugten Ausfuhrungsform der Erfindung sind die Einzelbilder Panoramaansichten.

Ausfuhrungsbeispiele der Erfindung werden nachfolgend anhand der beigefugten Zeichnungen beschrieben.

Es zeigen:

Figur 1 eine schematische Darstellung der erfindungsgemaßen

Aufnahmevorrichtung;

Figur 2 eine Skizze, welche die Erzeugung der Einzelbilder mit der erfindungsgemaßen Aufnahmevorrichtung darstellt;

Figur 3 eine Skizze, welche die Positionierung der Bildausschnitte in einer Aufnahmevorrichtung gemäß einer ersten Ausfuhrungsform der Erfindung verdeutlicht; und

Figur 4 eine Skizze, welche die Positionierung der Bildausschnitte in einer Aufnahmevorrichtung gemäß einer zweiten Ausfuhrungsform der Erfindung verdeutlicht.

Das in Figur 1 gezeigte Ausfuhrungsbeispiel einer Aufnahmevorrichtung ist ein Videohandy 1, welches über eine Optik 2 verfugt, mit der ein Objekt 3 aufgenommen und von einem Sensor 4 erfasst wird. Der Sensor 4 ist wiederum mit einer Verarbeitungseinrichtung 5 verbunden, welche ein (nicht dargestelltes) Speichermittel zum Abspeichern von Bildern umfasst. Die abgespeicherten Bilder können auf dem Display 6 des Handys wiedergegeben werden.

Mit dem Videohandy der Figur 1 kann eine Bilderfolge aufgenommen werden, die ein Objekt wiedergibt, das wahrend des Schwenkens der Aufnahmevorrichtung in einem festen Abstand um einen Schwenkpunkt erfasst wird. Die Verarbeitungseinrichtung 5 des Videohandys verarbeitet eine solche Bilderfolge in Echtzeit, wie anhand der Figur 2 nachfolgend naher beschrieben wird.

Figur 2 zeigt drei aufeinander folgende Bilder B1, B2 und B3, welche mit der Aufnahmevorrichtung der Figur 1 wahrend eines Schwenks in einem festen Abstand um einen Schwenkpunkt aufgenommen wurden. Mit der Verarbeitungseinrichtung der Aufnahmevorrichtung wird aus jedem Bild ein Aufnahmefenster A herausgeschnitten, das jeweils aus zwei senkrechten, zueinander versetzten Aufnahmestreifen A1 und A2 besteht. Die Aufnahmefenster sind für jedes der Bilder Bl bis B3 identisch. Der Abstand b der beiden senkrechten Streifen A1 und A2 ist derart gewählt, dass der Streifen A1 eine Ansicht mit dem linken menschlichen Auge und der Streifen A2 eine Ansicht mit dem rechten menschlichen Auge darstellt. Die Einzelstreifen A1 und die Einzelstreifen A2 werden jeweils getrennt zu Einzelbildern P1 bzw. P2 zusammengesetzt und in dem Speichermittel der Aufnahmevornchtung gespeichert. Sofern die Aufnahmevorrichtung bei der Aufnahme der Bilder um insgesamt 360° geschwenkt wird, repräsentieren die Bilder P1 bzw. P2 Panoramaansichten. Da der Abstand der Streifen A1 und A2 derart gewählt ist, dass die Streifen die unterschiedlichen Ansichten der beiden menschlichen Augen wiedergeben, stellt das Bild P1 eine Ansicht mit dem linken Auge und das Bild P2 die Ansicht mit dem rechten Auge dar. Die Ansichten können dann zu dreidimensionalen Darstellungen des aufgenommenen Panoramas über geeignete Stereomonitore verwendet werden.

Die erfindungsgemaße Aufnahmevorrichtung ermöglicht in Echtzeit die Verarbeitung und Abspeicherung von Panoramaansichten, da bereits wahrend der Aufnahme die Panoramabilder zusammengesetzt erden. Da aus jedem Bild nur kleine Streifen ausgeschnitten und abgespeichert werden, kann die Aufnahme Vorrichtung in Geräten mit eingeschränkter Speicherkapazität, wie z.B. in Mobilfunkgeräten, integriert werden.

In Figur 3 wird veranschaulicht, wie der Abstand der Streifen A1 und A2 gewählt werden muss, damit Ansichten für das rechte und das linke Auge generiert werden. Figur 3 zeigt ein Szenario, bei dem die Aufnahmevorrichtung 1 um einen Schwenkpunkt S in einem festen Abstand r von einer ersten Position in eine zweite Position geschwenkt wird, wobei der Abstand a zwischen den beiden Positionen i. w. dem Abstand der beiden menschlichen Augen entspricht. Damit Panoramen für das rechte und das linke Auge erzeugt werden, muss nach dem Schwenk um die Strecke a einer der Aufnahmeschlitze A1 bzw. A2 das gleiche Objekt aufnehmen wie der andere Aufnahmeschlitz vor dem Verschwenken der Aufnahmevorrichtung. Für weit entfernte Objekte kann man die Blickrichtungen auf das Objekt in den Positionen vor und nach dem Schwenken näherungsweise als parallel annehmen. Der Winkel α, um den die Vorrichtung geschwenkt wird, ergibt sich näherungsweise zu:

α = arctan (a/r)

Typische Werte für den Augenabstand und den Radius sind a = 7 cm und r = 30 cm. Damit ergibt sich ein Winkel α = 13°. Dieser Schwenkwinkel braucht vom Benutzer nicht zwingend eingehalten zu werden, da der 3D-Eindruck auch bei geringfügigen Abweichungen zustande kommt. Der Abstand b der Streifen A1 und A2 von Mitte zu Mitte kann nun wie folgt berechnet werden:

Sei d die Pixeldichte des Aufnahmesensors 4 der Aufnahmevorrichtung

D = p/(cm) = Pixel pro cm.

Damit der Abstand zwischen den Streifen A1 und A2 die Ansichten des rechten bzw. des linken Auges wiedergeben, muss fol gende Beziehung gelten, die sich aus der Optik der Aufnahmevorrichtung herleiten lässt.

b/f = a/r

wobei f die Brennweite der Aufnahmevorrichtung ist.

Der Abstand b, ausgedrückt in Pixeln, lässt sich wie folgt berechnen

p = b*d

Somit ergibt sich für den Abstand der Schlitze A1 und A2 in Pixeln folgende Beziehung:

p = d*f*a/r.

Durch eine solche Wahl des Pixelabstandes p können somit Panoramaansichten für einen Augenabstand a berechnet werden. Ggf. kann die Aufnahmevorrichtung auch über eine Eingabevorrichtung verfügen, mit der ein gewünschter Abstand a und/oder ein gewünschter fester Radius r eingegeben wird. Die Verarbeitungseinrichtung kann dann mittels der obigen Formel den entsprechenden Abstand der Schlitze A1 und A2 berechnen und somit entsprechende Ansichten erzeugen.

Die erfindungsgemäße Aufnahmevorrichtung eignet sich nicht nur zur Erzeugung von zwei Ansichten P1 und P2, sondern es können beliebig viele Ansichten erzeugt werden, wobei die Anzahl der gewünschten Ansichten vorzugsweise von dem Benutzer über eine Eingabevorrichtung festgelegt werden kann. Die Vorrichtung eignet sich somit zur Erzeugung von sog. MultiviewAufnahmen, die beispielsweise bei der Autostereoskopie (= Erzeugung von 3D-Ansichten ohne die Verwendung von Brillen) mit Hilfe von Linsenraster-Bildschirmen benötigt werden.

Figur 4 zeigt ein Szenario zur Erzeugung von MultiviewAnsichten. Hierbei wird die Aufnahmevorrichtung 1 wiederum um einen Schwenkpunkt S mit festem Abstand r geschwenkt. Es wird jeweils ein Bild nach einer Drehung um den Winkel α aufgenommen. Um drei jeweils um den Winkel α versetzte Ansichten zu erzeugen, müssen nunmehr aus den einzelnen aufgenommenen Bildern drei Streifen herausgeschnitten werden.

Im folgenden wird die Position eines der beiden äußeren der drei Streifen im Bild als Position 0 festgelegt. Es ergibt sich für die Positionen b der beiden weiteren Streifen im Bild folgende Beziehung:

tan (nα) = b/f wobei n = 1, 2

Sei d wiederum die Pixeldichte (Pixel/cm) des Aufnahmesen-sors, dann ergibt sich die Position p der Streifen in Pixeln zu

p = b*d

Hieraus lasst sich folgende Beziehung für die Pixelposition des n-ten Streifens im Bild ableiten, wobei im vorliegenden Fall n = 1, 2 ist:

p = d*f*tan(nα)

In einer besonders bevorzugten Ausfuhrungsform kann über den Benutzer festgelegt werden, wie groß der Winkelabstand α sein soll und wie viele Ansichten generiert werden sollen. Die Verarbeitungseinrichtung der Aufnahmevorrichtung berech-net dann selbsttätig gemäß der obigen Formel die Pixelpositionen der auszuschneidenden Streifen des Aufnahmefensters.

In einer weiteren bevorzugten Ausfuhrungsform der Erfindung werden die Bilder der Bilderfolge ferner einem Verfahren zur elastischen Bewegungskompensation unterzogen, wodurch die Bildauflösung erhöht werden kann, was insbesondere für vergrößerte Detailausschnitte aus dem Bild von Bedeutung ist.

Vorzugsweise wird hierbei das in der Druckschrift [4] beschriebene Verfahren verwendet. Mit diesem Verfahren können aus überlappenden Bildbereichen der Bilder der Bilderfolge Zwischenpixelinformationen berechnet werden.

Literaturverzeichnis :

[1 ] http : //graphics. Stanford. edu/~hanrahan/LightFieldTalk

[2] EP-Anmeldung mit dem amtl. Aktenzeichen 02009056.9

[3] S. Peleg et al.; "Stereo panorama with a Single camera" in Proc. Computer Vision and Pattern Recognition Conf.; S. 395-401

[4] Ould Cheikh Mouhamedou, Youssouf; "Verbesserung der Auflosung von Standbildern durch Mehrfachaufnahmen"; Diplomarbeit an der Technischen Universität München; August 2001;

http : //www.mmk.ei.tum.de/~alt/download/da_youssouf.pdf