Search International and National Patent Collections
Some content of this application is unavailable at the moment.
If this situation persists, please contact us atFeedback&Contact
1. (WO1991017629) METHOD OF PROCESSING IMAGE DATA FOR TRANSMISSION, AND USE OF THIS PROCESS
Note: Text based on automatic Optical Character Recognition processes. Please use the PDF version for legal matters

Beschreibung

Verfahren zur Aufbereitung von Bilddaten für
Übertragungszwecke sowie Anwendung

Die Erfindung geht aus von einem Verfahren nach dem
Oberbegriff des Patentanspruchs 1.

Bei der Aufbereitung von Bilddaten für die Übertragung über einen Übertragungskanal mit begrenzter Übertragungskapazität ist es bekannt, senderseitig vorhandene Quellbilder
auszulassen und die ausgelassenen Quellbilder empfängerseitig aus zwei benachbarten übertragenen Quellbildern zu
interpolieren. Dies führt jedoch zur Mehrfaσhdarstellung bewegter Bildbereiche mit ruckartiger Wiedergabe.

Bei der EP 236 519 AI wird zur Vermeidung dieses Nachteils für jedes Bildelement eines ausgelassenen Quellbildes ein
Bewegungsvektor ermittelt, der für eine bewegungskompensierte Interpolation herangezogen wird.

Aus der DE PS 37 04 777 ist es bekannt, für Teilbildbereiche, die einen großen Bewegungsanteil aufweisen,
transformationscodierte Daten aufzubereiten und
Teilbildbereiche mit geringerem Bewegungsanteil durch
Bewegungsvektoren zu beschreiben. Als Kriterium für wenig geänderte und stark geänderte Teilbildbereiche wird ein
Schwellwert herangezogen.

Aufgabe der Erfindung ist es, ein Verfahren ausgehend vom.
Oberbegriff des Patentanspruchs 1 anzugeben, welches die durch eine Transformationscodierung hervorgerufenen Strukturmuster nicht störend wahrnehmbar werden läßt, insbesondere in den Fällen, wo eine Bewegungskompensation wegen einer begrenzten Auflösung unzulänglich ist. Außerdem soll eine Anwendung aufgezeigt werden.

Diese Aufgabe wird bezüglich des Verfahrens durch die Merkmale des Patentanspruchs 1 gelöst und bezüglich der Anwendung durch die Merkmale des Patentanspruchs 9. Anspruch 3 zeigt ein
Ver ahren zur Rekonstruktion von nach dem Verfahren gemäß Patentanspruch 1 aufbereiteten Bilddaten auf, und die übrigen Patentansprüche beinhalten vorteilhafte Ausgestaltungen.

Die Erfindung beruht auf folgenden Erkenntnissen:
Es ist allgemein üblich, nur die Teilbildbereiche zu
übertragen, in denen Änderungen festgestellt wurden. Diese Feststellung wird von einem Segmenter getroffen, der zur
Reduzierung falscher Entscheidungen an das Rauschen der Kamera adaptiert werden kann, zusätzlich findet Bewegungskpmpensation statt. In üblichen Video-Konferenzsituationen sind unter
Verwendung eines Kamerastativs bis zu 50 % des Bildinhalts ungeändert.

Das ändert sich, wenn die Kamera in der Hand gehalten wird. Es gibt nun - verursacht durch kleine Bewegungen < 1 pel - keinen statischen Bildinhalt mehr. Jeder Teilbildbereich (Bildblock) muß übertragen werden, um den Zusammenhalt des Bildes -homogener subjektiver Bildeindruck - zu garantieren. Die Bewegungskompensation mittels Vektoren kann wegen einer definitionsgemäß begrenzten Auflösung von 1 pel keine
Verbesserung erzielen. Die Folge ist eine relativ grobe
Transformationscodierungs (z.B. DCT "discrete cosine
transform" )-Quantisierungsschwelle, die Bloσkartefakte sichtbar werden läßt. Bei der Erfindung wird der 3egmenter- Sσhwellwert von einem Quellbild zu einem folgenden Quellbild umgeschaltet. Beispielsweise wird vereinbart, daß der
Schwellwert bei geradzahligen Bildern auf ihrem normalen Wert ist. Dadurch wird ohne Verwendung eines Stativs fast jeder Block (Teilbildbereich) übertragen. Dann wird die Schwelle für die ungeradzahligen Bilder auf einen sehr hohen Wert gesetzt, so daß nur Bildbereiche mit großen Änderungen erfaßt werden. Zusätzlich kann auch der Wert des Verschiebungsvektors als Maß für eine Änderung betrachtet werden. Die Anzahl der in
ungeradzahligen Bildern übertragenen Blöcke ist damit
reduziert. Folglich kann die DCT-Quantisierungsschwelle bei gleicher Kanalkapazität abgesenkt werden, und die Bildqualität wird besser. In einem üblichen Videocoder kann das Verfahren nach der Erfindung durch eine Modifikation des Steuerablaufs nachgerüstet werden.

Das Verfahren nach der Erfindung führt für jegliche Arten von Bewegungen, z.B. zahlreiche kleine Bewegungen als auch wenige große Bewegungen, zu einer guten Rekonstruktion ohne
Blockstrukturen oder ruckartigen Bewegungen.

Anhand der Zeichnungen wird ein Ausführungsbeispiel der
Erfindung nun näher erläutert. Es zeigen

Fig. 1 eine Quellbildsequenz mit Umschaltung der Segmenter-Schwellwerte,

Fig. 2 die Rekonstruktion ausgelassener Quellbilder, .

Fig. 3 ein Blockschaltbild eines rekursiven Filters zur
Rauschunterdrückung.

Wie in Fig. 1 dargestellt ist, wird für jedes zweite Quellbild der Segmentschwellwert, d.h. der Schwellwert, nach dem eine Entscheidung getroffen wird, ob ein Teilbildbereich, z.B.
rechteckiger Block, eine Änderung erfahren hat oder nicht, umgeschaltet. Die Ermittlung von Segmenter-Schwellwerten kann beispielsweise durch Auswertung von Bild-zu-Bild-Differenzen (Framedifferenz FD) erfolgen, vgl. beispielsweise US PS
4,771,331 oder Dissertation J. Klie "Codierung von
Fernsehsignalen für niedrige Übertragungsbitraten" , TU
Hannover, 1978, Seiten 62 bis 69. Anstelle eines Schwellwertes kann auch ein anderes Kriterium, welches eine Unterscheidung zwischen geänderten und nicht geänderten Bildbereichen
gestattet, verwendet werden. Es wird beispielsweise
vereinbart, daß der Schwellwert bei geradzahligen Bildern auf ihrem normalen - niedrigen - Wert ist, der so gewählt ist, daß die Integrität eines sich bewegenden Objekts gewahrt ist.
Dadurch wird ohne Verwendung eines Stativs fast jeder Block übertragen. Doppelkanten bei der Betrachtung eines
Bewegungsablaufes treten somit nicht auf. Dann wird der
Schwellwert für die ungeradzahligen Bilder auf einen sehr hohen Wert gesetzt, so daß nur Teilbildbereiche mit großen Änderungen erfaßt werden. Falls aufgrund der Überschreitung des niedrigen normalen Schwellwertes oder des bei
ungeradzahligen Bildern hochgesetzten Schwellwertes Bewegungen erkannt wurden, werden für den betreffenden Teilbildbereich in bekannter Weise transformationscodierte Daten aufbereitet und/oder ein Bewegungsvektor ermittelt (vgl. beispielsweise DE PS 37 04 777). Die transformationscodierten Daten und die Bewegungsvektoren werden gegebenenfalls nach einer
Quantisierung und einer bekannten VWL-Codierung über den
Übertragungskanal mit begrenzter Bandbreite, z.B. einen 384 kbit/s-Kanal übertragen. Da nur sehr wenige Teilbildbereiche von ungeradzahligen Quellbildern übertragen werden müssen, kann bei gleicher zur Verfügung stehender Kanalkapazität im Vergleich zur üblichen Signalaufbereitung die
Quantisierungsschwelle abgesenkt werden und die Bildqualität dadurch verbessert werden - grobe Blockstrukturen treten somit nicht auf. In einem üblichen Videocoder kann das Verfahren nach der Erfindung durch eine Modifikation des Steuerablaufs nachgerüstet werden.

Im Decoder werden die nur teilweise übertragenen
ungeradzahligen Bilder durch lineare Interpolation, z.B. aus benachbarten Bildern rekonstruiert (Fig. 2). In diese
Rekonstruktion werden die übertragenen Teilbildbereiche
(Blöcke) - DCT-Koeffizienten und/oder Bewegungsvektoren - eingesetzt. Durch Nachschalten eines zeitlichen nichtlinearen rekursiven Filters wird zusätzlich Rauschen vermindert. Ein Beispiel für einen solchen Filter zeigt Fig. 3. Das
Eingangssignal - rekonstruiertes ungeradzahliges Bild - wird über einen Subtrahierer SUB einem Funktionsnetzwerk FN
zugeführt. Dieses Funktionsnetzwerk hat eine
Übertragungsfunktion, die kleine Amplitudenänderungen
unterdrückt, große Amplitudenänderungen jedoch unverzerrt läßt. Am Ausgang des Funktionsnetzwerkes FN ist das gefilterte Signal abnehmbar. Das gefilterte Signal wird einem
Verzögerungsglied VZ zugeführt, das eine Verzögerung aufweist, die dem zeitlichen Abstand zweier aufeinanderfolgender
Quellbilder (frame) entspricht. Das verzögerte Signal wird dem Subtrahierer SUB zugeführt und dem Ausgangssignal über einen Addierer ADD zugesetzt. Das Filter kann auch bezüglich seiner Kennlinie als "Kompromißfilter" aufgebaut werden, wobei der Kompromiß zwischen der zulässigen Verschleifung bewegter kontrastarmer Kanten und dem tolerierbaren Bildrauschen geschlossen wird. Die in Fig. 3 gezeigte Kennlinie (des
Funktionsnetzwerkes) ist nur als beispielhaft zu betrachten. Sie kann jeweils an die gewünschten Eigenschaften des Filters angepaßt werden.

Das Verfahren führt im Decoder zu einer zusätzlichen
Verzögerung von einer Bilddauer. Der dafür notwendige
Bildspeicher ist bei Verwendung eines Decoders für hochauflösende Standbilder sowieso vorhanden, so daß kein Zusatzaufwand entsteht.

Als Maß für die Entscheidung, ob für einen Teilbildbereich transformationscodierte Daten aufbereitet werden, kann neben dem Schwellwert auch der Betrag des Bewegungsvektors
herangezogen werden.

Für die Festlegung des hochgesetzten Schwellwertes ist auch die zu erwartende Gesamtbildaktivität zu betrachten. Besonders vorteilhaft ist es, diesen hoσhgesetzten Schwellwert in
Abhängigkeit der zu übetragenden Gesamtbitrate festzulegen. Untersuchungen haben gezeigt, daß der Schwellwert günstig ist, wenn ca. 5 bis 15 % der zu übertragenden Gesamtbitrate auf jene Teilbildbereiche entfällt, bei denen der Schwellwert überschritten wird.

Es ist natürlich auch möglich, diesen Schwellwert über mehrere Quellbilder verteilt allmählich hochzusetzen und wieder abzubauen. Dies kann auch in Abhängigkeit einer
Bildaktivitätsfunktion beispielsweise gemäß DE PS 37 04 777 erfolgen.

Das Verfahren nach der Erfindung ist zum Video Codec gemäß der CCITT Draft Revision of Recommendation H. 261 kompatibel.