bachelorarbeit - lms.tf.fau.de · das stereoskop wurde uber die zeit weiterentwickelt. ein groˇer...
TRANSCRIPT
Friedrich-Alexander-Universitat Erlangen-Nurnberg
Lehrstuhl fur Multimediakommunikation und
Signalverarbeitung
Prof. Dr.-Ing. Andre Kaup
Bachelorarbeit
Programmierung eines Generators furStereogrammsequenzen
von Mira Hundhausen
September 2014
Betreuer: Dipl.-Ing. Christian Herglotz
Dipl.-Ing. Wolfgang Schnurrer
Erklarung
Ich versichere, dass ich die vorliegende Arbeit ohne fremde Hilfe und
ohne Benutzung anderer als der angegebenen Quellen angefertigt habe,
und dass die Arbeit in gleicher oder ahnlicher Form noch keiner anderen
Prufungsbehorde vorgelegen hat und von dieser als Teil einer Prufungs-
leistung angenommen wurde. Alle Ausfuhrungen, die wortlich oder sinn-
gemaß ubernommen wurden, sind als solche gekennzeichnet.
————————————
Ort, Datum
————————————
Unterschrift
INHALTSVERZEICHNIS I
Inhaltsverzeichnis
Kurzfassung IV
1 Einleitung 1
2 Grundlagen 2
2.1 Stereoskopie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
2.1.1 Geschichte der Stereoskopie . . . . . . . . . . . . . . . . . . . . 2
2.1.2 Stand der Technik . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.2 Autostereogramme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2.1 Stereobildpaare . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.2.2 Zufallspunktstereogramme . . . . . . . . . . . . . . . . . . . . . 8
3 Programmierung eines Generators fur Stereogrammsequenzen 10
3.1 Stereogrammgenerator . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.1.1 Algorithmus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.1.2 Quantisierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
3.2 Stereogrammgenerator fur Sequenzen . . . . . . . . . . . . . . . . . . . 18
3.3 Verringerung der Bildgroße . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.4 Verwendung eines gleichbleibenden Musters . . . . . . . . . . . . . . . 22
3.5 Verwendung nicht zufallig verteilter Grundmuster . . . . . . . . . . . . 23
3.6 Einfarben der Stereogramme mit dem zugehorigen Kamerabild . . . . . 26
II
4 Umfrage zur subjektiven Wahrnehmung von Stereogrammsequenzen 30
4.1 Erstellung des Fragebogens und der Sequenzen . . . . . . . . . . . . . . 30
4.2 Durchfuhrung der Umfrage . . . . . . . . . . . . . . . . . . . . . . . . . 32
4.3 Ergebnisse der Umfrage . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.3.1 Teil 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.3.2 Teil 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
4.3.3 Teil 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.3.4 Auswertung der Betrachtungsdauer in der Umfrage . . . . . . . 39
5 Zusammenfassung 41
A Anhang 42
A.1 Algorithmus makeAbsird . . . . . . . . . . . . . . . . . . . . . . . . . . 42
A.2 Anleitung zum Lernen der free-viewing-Methoden . . . . . . . . . . . . 46
A.3 Umfragebogen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
A.4 E-Mail-Einladung zur Umfrage . . . . . . . . . . . . . . . . . . . . . . 53
Abbildungsverzeichnis 54
Tabellenverzeichnis 55
Literaturverzeichnis 57
KURZFASSUNG V
Kurzfassung
In der vorliegenden Arbeit wird ausgehend von einem Stereogrammgenerator fur Bilder
in Matlab ein Generator fur Sequenzen programmiert. Anfangs wird ein historischer
Einblick zum Entstehen von Zufallspunktstereogrammen gegeben. Die Beschreibung
des Algorithmus des Generators folgt auf eine Erklarung des Effekts der Tiefenillusion.
Nach dieser Einfuhrung wird der Generator angepasst, um aus gegebenen Tiefenkar-
tenvideos Stereogrammsequenzen zu erzeugen. Weiterhin werden verschiedene Einstel-
lungen und Modifikationen getestet.
Zehn erzeugte Sequenzen werden in einer Umfrage zur subjektiven Wahrnehmung un-
tersucht und die Ergebnisse ausgewertet.
KAPITEL 1. EINLEITUNG 1
Kapitel 1
Einleitung
Nach einer Studie des Marktforschungsinstituts GfK war 2012 jeder vierte verkauf-
te Flachbildfernseher 3D-fahig, das Funffache des Vorjahres [1]. Der Pay-TV-Sender
Sky bietet seit 2010 Filme und Sportubertragungen in 3D an und neben 3D-Filmen
auf DVDs und Blu-rays gibt es im Internet zahlreiche 3D-Streaming-Angebote. Diese
Beispiele zeigen, dass das Interesse an 3D-Technologien zunehmend wachst.
Die meisten Menschen stort dabei jedoch die notwendige 3D-Brille – die aus dem Kino
bekannte Polarisationsbrille und die unhandlicheren Shutterbrillen, die in Heimkino-
system gebrauchlich sind. Bei Shutter-3D-Systemen werden mit einer Bildfrequenz von
120 Hz jeweils abwechselnd die Ansicht fur das linke und das rechte Auge angezeigt.
Die Shutterbrillen verdunkeln durch Infrarot-Steuerung des Fernsehers mit derselben
Frequenz das jeweils andere Auge, wodurch sich eine Bildrate von 60 Hz fur jedes Auge
ergibt.
Viel langer als diese Systeme gibt es dagegen Stereogramme, die vielleicht besser als
Magic Eye Bilder oder als lustige bunte Bilder, in denen sich dreidimensionale Objekte
verstecken, bekannt sind. In dieser Arbeit soll eine Verbindung zwischen bewegten
Bildern und Stereogrammen geschaffen werden, die dann als Stereogrammsequenzen
bezeichnet werden konnen.
2 KAPITEL 2. GRUNDLAGEN
Kapitel 2
Grundlagen
2.1 Stereoskopie
Der Begriff Stereoskopie stammt aus dem Altgriechischen und bedeutet wortlich uber-
setzt Raumsicht [2] und umschreibt dreidimensionales Betrachten von Bildern mithilfe
von zweidimensionalen Medien.
2.1.1 Geschichte der Stereoskopie
Die erste Uberlieferung von Stereoskopie stammt aus dem Jahr 1838, als Charles
Wheatstone nach sorgfaltiger Recherche den Apparat baute, der in Abbildung 2.1 zu
sehen ist. Das Stereoskop besteht aus zwei Spiegeln, die den Blick der Augen eines
Betrachters auf jeweils eines von zwei Bildern lenkt. Diese sind so gezeichnet, dass
sie aufgrund der unterschiedlichen Perspektive als Bild einer Szene wahrgenommen
werden. Zwei solcher zusammengehoriger Bilder werden als Stereobildpaar bezeichnet.
Die Stereoskopie funktioniert aufgrund der Fahigkeit des Gehirns, die Bilder, die von
den beiden Augen gesehen werden, zu einem raumlichen Eindruck zusammenzufugen.
Im Laufe der Zeit wurde die Technik, die hinter dem unhandlichen Stereoskop stand,
optimiert und es wurden kompaktere Apparate entwickelt.
Die Erfindung der Fotografie zu etwa derselben Zeit kam der Stereoskopie zu Nutzen.
Stereobildpaare mussten zuvor sorgfaltig berechnet und gezeichnet werden und konnten
2.1. STEREOSKOPIE 3
Abbildung 2.1: Wheatstones Stereoskop [3]: Die Augen blicken uber Spiegel auf zweiZeichnungen, sodass das Gehirn eine raumliche Szene wahrnimmt.
nun durch zwei Fotografien einer Szene ersetzt werden, die etwa in Augenabstand
aufgenommen wurden.
2.1.2 Stand der Technik
Das Stereoskop wurde uber die Zeit weiterentwickelt. Ein großer Fortschritt war es,
die beiden Ansichten gleichzeitig, jedoch mit unterschiedlich polarisiertem Licht, auf
einer Leinwand oder einem Bildschirm zu zeigen. Mit einer 3D-Brille, die entsprechende
Polarisationsfilter enthalt, kommt an jedem Auge lediglich das vorgesehene Bild an. Die
Aufnahmen dafur werden simultan mit zwei parallel montierten Kameras gefilmt oder
fotografiert.
Die Wissenschaft strebt trotz dieser erfolgreichen Methode weiterhin nach einer Art,
wie ein dreidimensionales Bild ohne Hilfsmittel auf einem Bildschirm gesehen werden
kann. Bei der sogenannten Autostereoskopie (auto ist eine altgriechische Vorsilbe, die
ubersetzt”selbst“ bedeutet) geht es darum, ohne Hilfsmittel nur mit dem Wiederga-
begerat und dem Betrachter eine dreidimensionale Wahrnehmung zu ermoglichen [4].
Dabei werden die beiden notwendigen Ansichten gleichzeitig projiziert. Wichtig ist da-
bei die richtige Position des Betrachters. In intelligenten Systemen kann diese uber
4
Head- oder Eye-Tracking verfolgt werden [5]. Wegen der Wichtigkeit, welche die Be-
trachterperspektive auf das Display hat, ist ein solches Gerat zu einem Zeitpunkt nur
von einem einzelnen Betrachter verwendbar.
Bei 3D mit Parallaxenbarriere und Lentikularlinsen werden die Ansichten des rechten
und linken Auges auf einem Display gleichzeitig mit abwechselnden Streifen angezeigt.
Die Trennung der beiden Kanale hierbei zeigt Abbildung 2.2.
Abbildung 2.2: Schematische Darstellung von Parallaxenbarrieren und Lentikularlinsen in3D-Displays [6]. Die Barrieren bzw. Linsen sorgen fur eine Trennung derKanale der beiden Ansichten Links und Rechts.
Im ersten Fall liegt uber dem LCD-Display eine weitere Flussigkristallschicht, die mit
vertikalen Streifen den Blick des Betrachters auf das Bild limitieren. Sind die Barriere
und die Pixel korrekt abgestimmt, sind fur das rechte und das linke Auge des Be-
trachters jeweils die richtigen Ansichten zu sehen und werden zu einem 3D-Eindruck
zusammengesetzt, wenn er sich im vorgesehenen Abstand zum Bildschirm befindet.
Eine andere Methode, dasselbe Resultat zu erzielen, ist ein Display mit einem Lin-
senraster. Hierbei sorgen parallel angeordnete zylindrische Linsen wie rechts in Abbil-
dung 2.2 dafur, dass jedem Auge nur das zugehorige Bild gezeigt wird. Dies wird durch
einen entsprechend gewahlten richtungsabhangigen Brechungsindex der einzelnen Lin-
sen ermoglicht [7].
Eine bekannte Anwendung eines autostereoskopischen Displays mit Parallaxenbarrieren
ist die tragbare Spielekonsole Nintendo 3DS, die in Abbildung 2.3 zu sehen ist.
2.2. AUTOSTEREOGRAMME 5
Abbildung 2.3: Die mobile Spielekonsole Nintendo 3DS mit 3D-Tiefenregler [8]. Mit demRegler kann der 3D-Effekt in seiner Intensitat modifiziert oder deaktiviertwerden.
Mit Hilfe des Tiefenreglers der Spielekonsole ist es moglich, die Intensitat des 3D-Effekts
zu verstellen, um eine Einstellung zu treffen, die fur den Einzelnen am angenehmsten
ist. Da die Augenabstande der Menschen verschieden sind oder sich auch die spezifische
Signalverarbeitung des Gehirns unterscheidet, ist dies eine Moglichkeit, den Tiefenein-
druck fur jeden angenehm zu gestalten.
2.2 Autostereogramme
Abgesehen von der Autostereoskopie in 3D-Displays gibt es eine Anwendung von Tie-
fenillusion ohne Hilfsmittel, die es Uberlieferungen zufolge schon vor Wheatstones Er-
findung des Stereoskops gab. Diese Technik wird free-viewing genannt und bezeichnet
das Sehen in drei Dimensionen ohne 3D-Brille oder vergleichbarer Apparate.
Das Sehen raumlicher Tiefe existiert, da die beiden Augen des Menschen stets zwei
verschiedene Perspektiven auf die Umgebung haben. Die eigentliche Wahrnehmung der
raumlichen Tiefe wird aus den beiden Bildern jedoch im Gehirn erzeugt. Diese Tat-
sache wird bei der Autostereoskopie genutzt, indem beiden Augen entsprechende Bilder
6
gezeigt werden. Dies ist ebenfalls moglich, wenn eine spezielle Sehtechnik angewendet
wird. Mogliche Techniken sind der Parallel- und der Kreuzblick.
Wie bei der dreidimensionalen Betrachtung durch das Stereoskop sind zwei Bilder
vorhanden, die leicht versetzt aufgenommen oder gezeichnet sind. Die Augen mussen
nun selbst jeweils das fur sie vorgesehene anschauen. Das ist moglich, wenn die beiden
Bilder nebeneinander liegen. Beim Parallelblick schaut man mit dem rechten Auge das
rechte Bild an, mit dem linken das linke, indem man auf eine virtuelle Ebene hinter
der eigentlichen Bildebene sieht.
a) b)
Abbildung 2.4: Konvergenz der Augen beim a) Parallel- und b) Kreuzblick [9, S.11-12].
Abbildung 2.4 zeigt, wie Parallel- und Kreuzblick funktionieren. Beim Parallelblick sind
die Augen entspannt, fokussieren jedoch zwei Punkte auf der Ebene mit den Bildern.
Der Konvergenzwinkel zwischen den Augen muss jedoch gleichzeitig kleiner sein, als
beim Blick auf die Bildebene. Beim Kreuzblick ist der Konvergenzwinkel großer zu
halten, als beim normalen Sehen, der Fokus der Augen muss jedoch genau wie zuvor
auf der Bildebene liegen.
Eine Anleitung zum Erlernen des Parallel- und Kreuzblicks ist im Anhang A.2 gegeben.
Die Herausforderung beim Betrachten von Stereogrammen ist demnach, Konvergenz
und Akkommodation getrennt zu steuern, was Ubung erfordert. Es gibt Menschen, die
sich dies schnell aneignen konnen, andere mussen es oft versuchen, bis sie Erfolg haben.
2.2. AUTOSTEREOGRAMME 7
Einige Menschen konnen 3D-Illusionen gar nicht sehen. Dazu zahlen Menschen, die
nur ein Auge, Amblyopie und Astigmatismus haben [9, S.18]. In den ersten beiden
genannten Fallen fehlt jedoch komplett die binokulare Raumwahrnehmung, weshalb
Betroffene außer anhand von monokularen Anhaltspunkten, wie zum Beispiel relative
Große, Bewegung und Helligkeit keine Tiefe wahrnehmen konnen.
Amblyopie ist Schwachsichtigkeit eines Auges, bei der das Gehirn die von diesem ge-
sehenen Bilder komplett ignoriert, was daher mit Einaugigkeit vergleichbar ist.
In manchen Fallen von Astigmatismus, kann es dazu kommen, dass die Verkrummungen
der Hornhaut der beiden Augen dazu fuhrt, dass die Netzhautbilder sich so stark
unterscheiden, dass das Gehirn sie nicht mehr wie gewollt zusammensetzen kann.
2.2.1 Stereobildpaare
Abbildung 2.5: Stereobildpaar, die beiden Bilder auf der linken Seite ergeben zusammenein Bildpaar fur den Parallelblick, die beiden rechten Bilder fur den Kreuz-blick [10].
In Abbildung 2.5 ist ein Stereobildpaar dargestellt, das aus drei Bildern besteht. Bei
dem mittleren Bild handelt es sich um die Ansicht fur das rechte Auge, die beiden
außeren sind jeweils die Ansicht fur das linke Auge. Das Bildpaar, das aus dem linken
8
und dem mittleren Bild besteht, kann als Stereobild mit dem Parallelblick betrachtet
werden, das rechte Paar mit dem Kreuzblick. Dies ist zudem mit den Pfeilen am unteren
Rand symbolisiert.
2.2.2 Zufallspunktstereogramme
1959 entdeckte Bela Julesz, dass Tiefeneindruck im Gehirn entsteht, statt, wie zu-
vor vermutet, im Auge. Dazu experimentierte er mit Bildern, die nur zufallig verteilte
Punkte enthielten. Er erzeugte am Computer ein Zufallspunktbild und erstellte eine
Kopie, in der er einige Punkte leicht nach rechts oder links verschob. Mit dem Kreuz-
blick betrachtet, der damals die vorherrschende Wahl der beiden Stereotechniken war,
war eine 3D-Illusion zu erkennen, die auf keinem der beiden Ursprungsbilder erkennbar
war [9, S.27f].
Zu dieser Zeit arbeitete Julesz unter anderem mit Christopher Tyler zusammen, der
diese neuen Erkenntnisse uber Zufallspunktstereogramme, die auch Random Dot Ste-
reograms (RDS) genannt werden, mit einer Entdeckung kombinierte, die William Brew-
ster zuvor gemacht hatte. Dieser war auch maßgeblich an der Weiterentwicklung des
Stereoskops beteiligt gewesen und hatte eine Zweiobjektiv-Kamera entwickelt, mit der
zum ersten Mal bewegte Szenen stereoskopisch aufgenommen werden konnten. Er hat-
te an einer viktorianischen Tapete wie sie in Abbildung 2.6 gezeigt ist, festgestellt,
dass Tiefeneffekte zu sehen waren, wenn diese wie ein Stereogramm mit einer der free-
viewing-Techniken betrachtet wurde. Dies war dadurch zu erklaren, dass der Druck der
Muster auf solchen Tapeten nicht komplett gleichmaßig war.
Tyler entwickelte daraus spater mit Hilfe der Programmiererin Maureen Clarke das
Single Image Random Dot Stereogram (SIRDS), das mit Zufallsmustern und Verschie-
bung dieser innerhalb von einem Bild 3D-Effekte erzeugen kann. Anders als die RDS-
Bildpaare von Julesz kann ein solches SIRDS beliebig groß sein.
Bei einem SIRDS wird ausgenutzt, dass bei Betrachtung mit einer Stereogrammblick-
technik leichte Abweichungen in der Periodenlange eines sich in horizontaler Richtung
wiederholenden Musters vom Gehirn als Tiefeninformation interpretiert wird [11].
2.2. AUTOSTEREOGRAMME 9
Abbildung 2.6: Viktorianische Tapete, in der bei Betrachtung wie bei einem Stereogrammeine Tiefenillusion wahrgenommen werden kann [9, S.27].
Im Folgenden wird der Effekt anhand des Parallelblicks erlautert, welcher der haufiger
genutzte ist, da er die Augen deutlich weniger anstrengt, als der Kreuzblick, bei dem
teils sehr stark geschielt werden muss.
Zwei Punkte mit gleicher Farbe werden beim korrekten Anwenden des Parallelblicks
als zusammengehorig erkannt und vom Gehirn als ein Punkt interpretiert. Die emp-
fundene Entfernung vom Betrachter hangt hierbei vom Abstand zwischen den beiden
ursprunglichen Punkten ab (siehe Abbildung 2.4.a). Auf der linken Seite sind zwei
Kastchen mit großerem Abstand voneinander, als rechts davon. Bei ersterem wird ein
virtuelles Kastchen gesehen, dessen Entfernung großer ist, als beim zweiten Fall, da das
Gehirn den virtuellen Punkt uber den Konvergenzwinkel zwischen den beiden Augen
bestimmt.
10KAPITEL 3. PROGRAMMIERUNG EINES GENERATORS FUR
STEREOGRAMMSEQUENZEN
Kapitel 3
Programmierung eines Generators fur
Stereogrammsequenzen
3.1 Stereogrammgenerator
Um zu verstehen, wie ein Stereogrammgenerator funktioniert, muss zunachst der Zu-
sammenhang zwischen dem Abstand der sich horizontal wiederholenden Muster und
der wahrgenommenen Entfernung erklart werden.
Die notwendigen Werte zur Berechnung sind der Augenabstand a, die Distanz d von
den Augen zur Papierebene und der Grundabstand zwischen zwei zusammengehorigen,
gleichfarbigen Pixeln b0, welcher der Breite des Zufallsmusters entspricht. Der Wert
b = b0 − ∆b andert sich fur jeden Punkt im Stereogramm und ist abhangig vom
Tiefenwert an der jeweiligen Stelle. ∆b ist dabei eine horizontale Verschiebung im sich
wiederholenden Muster.
Nach dem ersten Strahlensatz gilt fur den Fall links in Abbildung 3.1:
z0 =ad
a− b0(3.1)
Aquivalent gilt fur die rechte Halfte der Abbildung:
z(b) =ad
a− b⇒ z(∆b) =
ad
a− b0 + ∆b(3.2)
3.1. STEREOGRAMMGENERATOR 11
Abbildung 3.1: Berechnung des von ∆b abhangigen Abstands z(∆b) des virtuellen Ob-jekts, nach [9, S.11]. b0 entspricht der Zufallsmusterbreite. Eine Verringe-rung des Abstands mit ∆b bewirkt eine naherungsweise lineare Anderungvon z.
Fur einen erwunschten Wert z(∆b) lasst sich die Pixelverschiebung ∆b berechnen und
mit diesem ein Stereogramm erzeugen.
3.1.1 Algorithmus
Als Ausgangspunkt dieser Arbeit wurde ein Generator fur Stereogramme aus der Da-
tenbank von MathWorks fur Matlab verwendet [12]. Er heißt makeAbsird (siehe An-
hang A.1) und wurde von Lewey Geselowitz geschrieben. Ein Tiefenbild muss als Grau-
stufenbild ubergeben werden. Optional kann die Große des zu verwendenden Zufalls-
musters angegeben werden, falls eine andere Breite als 64 Pixel erwunscht ist.
Ein Tiefenbild, auf Englisch als Depth Map (wortlich”Tiefenkarte“) bezeichnet, enthalt
Tiefeninformationen als Graustufenwerte zwischen Schwarz und Weiß. Schwarz bedeu-
12
Abbildung 3.2: Tiefenbild eines Hais [12]. Entfernungen sind uber Helligkeitswerte be-schrieben. Weiß steht fur Nahe, Schwarz fur großere Entfernung.
tet hierbei hohe Entfernung vom Betrachter, weiß eingefarbte Bereiche sind nah und
dazwischen sind alle Grauwerte linear verteilt.
Ein beispielhaftes Tiefenbild, das einen nach links schwimmenden Hai zeigt, ist in
Abbildung 3.2 zu sehen.
Um mit einer gegebenen Tiefenkarte ein Stereogramm zu erstellen, wird zunachst ein
Grundmuster benotigt. Hierzu erzeugt der Generator mit der Matlabfunktion rand(b0)
ein zufalliges quadratisches Pixelmuster in der gewunschten Breite b0 und setzt dieses
am rechten Bildrand an. Abhangig von den Werten in der Tiefenkarte werden die
einzelnen Pixel Zeile fur Zeile bis zum linken Rand berechnet. Ist im Tiefenbild an der
aktuellen Position ein schwarzes Pixel, wird das nachste Pixel aus dem Zufallsmuster
eingefugt. Ist ein naherer Punkt zu erzeugen, wird die Farbe eines Pixels weiter links
aus dem Zufallsmuster verwendet.
Die exakte Verschiebung ∆b kann hierbei nach Gleichung (3.3) berechnet werden.
∆b = (n/256) · b0/3 (3.3)
3.1. STEREOGRAMMGENERATOR 13
Abbildung 3.3: Resultierendes Stereogramm fur das Tiefenbild aus Abbildung 3.2.
In Abbildung 3.3 ist das Stereogramm zu sehen, das mit der Tiefenkarte aus Abbil-
dung 3.2 und einer Zufallsmuster der Große 64× 64 Pixel erzeugt wurde.
3.1.2 Quantisierung
Bei Erzeugen eines Stereogramms mit dem Algorithmus wird an den Tiefendaten eine
Quantisierung vorgenommen. Bei Betrachtung des Stereogramms fallt dies in den mei-
sten Fallen auf. Das tatsachliche Tiefenbild, das zu dem SIRDS verarbeitet wird, ist
in Abbildung 3.4 zu sehen. Es weist klare Stufen auf und hat eine deutlich verringerte
Anzahl an verschiedenen Grautonen.
Im Code ist zu erkennen, dass die Quantisierung von der Breite des Zufallspunktmusters
und dem Faktor abhangt, durch den die Tiefendaten dividiert werden. Dieser wird im
Folgenden in dieser Arbeit als Tiefenparameter bezeichnet.
Der Tiefenparameter beschrankt den Bereich, in dem sich die Tiefenillusion des Stereo-
gramms erstreckt. Wenn dieser auf eins gesetzt wird, bewirkt dies, dass Bereiche einer
Tiefenkarte, die weiß sind, sich im Stereogramm in der Papierebene befinden wurden.
Im Folgenden werden Pixellangen mit einem Faktor von 0,26 mm/Pixel multipliziert,
14
Abbildung 3.4: Vom Algorithmus quantisiertes Tiefenbild. Der Verlauf zwischen den ver-schiedenen Helligkeitswerten ist stufenhaft.
Abbildung 3.5: Abstand zum Auge z(∆b) in mm uber Pixelverschiebung ∆b in mm, be-rechnet nach Gleichung (3.2). Breite des Zufallsmusters bei einer Bild-schirmauflosung von etwa 0,26 mm/Pixel b0 = 16 mm.
3.1. STEREOGRAMMGENERATOR 15
welcher der Auflosung des zur Erstellung der Arbeit verwendeten Bildschirms ent-
spricht.
In Abbildung 3.5 ist die Entfernung vom Auge uber der Pixelverschiebung ∆b bei
einem Tiefenparameter von eins aufgetragen. Weiße Punkte in der Tiefenkarte wurden
hierbei zu ∆b = 16mm fuhren, wobei die Entfernung zum virtuellen Objekt gleich dem
Abstand zwischen Auge und Stereogramm entspricht. Bei der Betrachtung kann dies
leicht dazu fuhren, dass man den Stereoblick verliert, da fur diesen Fall nur ein Punkt
existiert.
Durch einen Tiefenparameter von drei wird ∆b auf ein Drittel seines maximalen Werts
beschrankt. Dies ist in Abbildung 3.6 zu sehen. Ebenso ist in dieser Abbildung auch der
Bereich gestrichelt gezeigt, der fur den Tiefenparameter von 2 erreicht werden kann.
Abbildung 3.6: Wie Abbildung 3.5, ∆b ist durch entsprechende Wahl des Tiefenparame-ters auf ein Drittel (blau) und die Halfte (grun) beschrankt.
Zusammenfassend kann man sagen, dass der Tiefenparameter nicht der Grund fur die
Quantisierung ist, sondern eine notwendige und hilfreiche Beschrankung der Tiefe, um
16
zu verhindern, dass der Blick beim Betrachten nicht auf das Papier konvergiert.
Die tatsachliche Ursache der Quantisierung ist die Beschrankung, die durch die Defi-
nition von Pixeln als kleinste Einheit in der digitalen Bildverarbeitung entsteht. Diese
soll im Folgenden anhand eines beispielhaften Stereogramms analysiert werden.
Abbildung 3.7: Stereogramm einer Kugel mit b0 = 64 Pixel. Die Oberflache wirkt wie aussieben Schichten zusammengesetzt.
Die Kugel im Stereogramm in Abbildung 3.7 wirkt nicht mehr wie eine Kugel, da die
Oberflache nicht glatt ist, sondern deutliche Stufen aufweist.
Am quantisierten Tiefenbild in Abbildung 3.9 ist dies ebenfalls zu sehen. Man kann
sieben Stufen auf der Kugel zahlen.
In Abbildung 3.5 wurde mit ∆b in Millimetern gerechnet, wobei ein Pixel etwa eine
Breite von 0,26 mm hat. Fur die Berechnung der Verschiebung muss in Einheiten der
Pixelbreite angepasst werden. Diese ergibt sich durch Runden aus Gleichung (3.3) und
ist wie folgt.
∆b = d(n/256) · b0/3e (3.4)
n steht dabei fur den Graustufenwert zwischen 0 und 256, der aus der Tiefenkarte
ausgelesen wird.
3.1. STEREOGRAMMGENERATOR 17
Bei einer Zufallsmusterbreite von 64 Pixeln und einem Tiefenparameter von drei gibt
es dabei b0/3 = 64/3 ≈ 21 unterschiedliche Pixelverschiebungen und darum maxi-
mal 21 Hohenstufen. Hiervon werden fur die Kugeloberflache zudem nur sieben Stufen
genutzt.
Abbildung 3.8: z(∆b) uber ∆b mit ganzzahligen Pixeln. In z-Richtung resultieren Stufenin einer
”Hohe“ von etwa 10 mm.
Im Tiefenbild in Abbildung 3.9 sind die Helligkeitswerte, abgesehen von dem Wert null
im Hintergrund, zwischen 160 und 230 verteilt. Die Werte fur ∆b berechnen sich nach
Gleichung (3.4) als 13 und 19, woraus sich der sichtbare Teil der Kugel mit sieben
Stufen erstreckt. In z-Richtung entspricht dies zwischen 642 mm und 621 mm. Dies ist
in Abbildung 3.10 zu sehen.
Zusammenfassend lasst sich sagen, dass die Quantisierung von ∆b durch die gegebene
Pixelbreite zu storenden Artefakten des virtuellen Tiefenbildes fuhrt. Diese konnen
ohne Subpixelverschiebungen nicht behoben werden.
18
Abbildung 3.9: Tiefenkarte einer Kugel: links Ursprungsform, rechts quantisiert. BlaueLinie markiert Querschnitt fur Abbildung 3.10.
Abbildung 3.10: z(∆b) uber die Breite des Stereogramms zu Abbildung 3.9 im rechtenBild an markierter Position.
3.2 Stereogrammgenerator fur Sequenzen
Fur diese Arbeit lagen verschiedene gegebene Tiefenkartenvideos im sogenannten YUV-
Format vor. Verwendet wurden die Sequenzen ballet 0 und breakdancers 0 aus der Da-
tenbank des Lehrstuhls. Es handelt sich dabei um zwei Szenen, die mit der Xbox Kinect
aufgenommen wurden, welche außer einem gewohnlichen Kamerabild gleichzeitig Tie-
feninformationen in Form von Tiefenkarten aufnehmen kann.
3.2. STEREOGRAMMGENERATOR FUR SEQUENZEN 19
Das YUV-Farbmodell ist eine Art zur Darstellung von Farbinformationen, die sich vom
RGB-Farbbereich unterscheidet. Statt in die drei Grundfarben Rot, Grun und Blau zu
trennen, wird in die Luminanz Y und die zwei Chrominanzkomponenten U und V
getrennt.
In den nachsten Kapiteln wird zunachst lediglich der Y-Kanal von YUV-Dateien ver-
wendet werden, da dieser das Schwarz-Weiß-Bild enthalt und somit die vollstandigen
Daten der Tiefenkartenvideos und Stereogrammsequenzen enthalt, welche beide nur
aus Graustufenbildern bestehen.
Um YUV-Videos in Matlab zu verarbeiten, wurden zwei Funktionen verwendet, mit
denen einzelne Frames gelesen und geschrieben werden konnen.
Um eine Stereogrammsequenz zu erzeugen, wurden mithilfe einer while-Schleife pro
Schleifenumlauf ein einzelnes Frame eines Tiefenkartenvideos geladen, der makeAbsird-
Algorithmus darauf angewendet und das produzierte Stereogramm in ein neues YUV-
File geschrieben.
Abbildung 3.11: Ausschnitt aus dem ersten Frame der Stereogrammsequenz ballet 0.
20
Abbildung 3.12: Ausschnitt aus dem 91. Frame der Stereogrammsequenz breakdancers 0.
In beiden Fallen (Abbildungen 3.11 und 3.12) ist zu beobachten, dass im Vergleich zum
ursprunglichen Tiefenbild eine Quantisierung auftritt.
Abbildung 3.13: Tiefenbild und quantisiertes Tiefenbild des ersten Frames der Stereo-grammsequenz ballet 0.
In den Abbildungen 3.13 und 3.14 sind die entsprechenden Tiefenbilder in ihrer Ur-
sprungsform neben der quantisierten, im Stereogramm zu erkennbaren Form zu sehen.
3.3. VERRINGERUNG DER BILDGROSSE 21
Abbildung 3.14: Tiefenbild und quantisiertes Tiefenbild des 91. Frames der Stereogramm-sequenz breakdancers 0.
In den Sequenzen ist die Tiefe des Raumes nicht besonders ausgepragt. Die Stereo-
gramme wirken in z-Richtung deutlich gestaucht.
Um das bisherige Ergebnis zu optimieren, wird im Folgenden der Code modifiziert,
verschiedene Einstellungen werden getroffen und unterschiedliche Moglichkeiten beim
Grundmuster getestet.
3.3 Verringerung der Bildgroße
Eine Moglichkeit, das Ergebnis zu verandern, ist die Verringerung der Auflosung des
Tiefenkartenvideos. Das Stereogrammbild wird dadurch kleiner und das Fehlen von
Details und die Quantisierung fallen weniger auf. Gleichzeitig wird das Bild kleiner,
dafur jedoch uberschaubarer, sodass die Szene auf einen Blick erfasst werden kann.
Hier soll das Bild statt 1024× 768 Pixeln eine Große von 512× 384 Pixel haben.
In Abbildung 3.15 kann beispielsweise beobachtet werden, dass die Tiefe des Raumes
besser erkennbar ist, als bei dem Bild in voller Große.
Da fur das Format der Arbeit (DIN A5) diese verkleinerten Stereogramme angemesse-
ner sind, werden alle folgenden Bilder in ihrer Große angepasst und eingefugt.
22
Abbildung 3.15: Erstes Frame der Stereogrammsequenz ballet 0 mit verringerter Bild-große von 512× 384 Pixel.
3.4 Verwendung eines gleichbleibenden Musters
Bisher wurde fur jedes Stereogramm der Sequenz ein eigenes Zufallspunktmuster er-
zeugt. Nun soll die Erzeugung der Muster aus dem Algorithmus entfernt werden und
stattdessen soll nur ein Muster vor der Berechnung der gesamten Stereogrammsequenz
erstellt werden, damit jedes Frame mit demselben Zufallsmuster erzeugt wird.
Das Ergebnis ist ein unruhiges, horizontal leicht zitterndes Bild, was sich storend aus-
wirkt. Da das Muster am rechten Bildrand fest ist und je nach Tiefenbild bis zum
linken Rand unterschiedlich breit wiederholt wird, entsteht ein Bild, welches uber die
Frames zeitlich horizontal zusammengezogen und gestreckt wird. Fur einen angeneh-
men Eindruck ist dies nicht hilfreich und wird daher verworfen.
3.5. VERWENDUNG NICHT ZUFALLIG VERTEILTER GRUNDMUSTER 23
3.5 Verwendung nicht zufallig verteilter Grundmuster
Die Stereogramme der bekannten Bucherreihe Magic Eye, die es seit 1993 gibt, sind
normalerweise nicht aus Grundmustern mit zufallig verteilten Punkten erzeugt.
Abbildung 3.16: Das erste Buch der Magic Eye-Buchreihe [13].
Haufig werden dort bunte, oft thematisch passende Muster verwendet.
Abbildung 3.17: Magic Eye of the week 27.3.2014 [14].
24
Abbildung 3.18: Gimp-Muster.
Nun soll ebenfalls versucht werden, mit einem nicht
rein zufalligen Grundmuster ein Stereogramm zu
generieren. Zunachst soll ein Stereogramm mit dem
Tiefenbild des Hais aus Abbildung 3.2 und dem hier
gewahlten Muster in Abbildung 3.18, welches ein im
Programm Gimp1 benutzbares Muster ist, erstellt
werden. Das resultierende Bild sieht Stereogrammen
aus Buchern und dem Internet deutlich ahnlicher, als
die zuvor erzeugten. Des weiteren ist es sehr gut zu
erkennen, da deutlichere Anhaltspunkte der horizontale Wiederholung sichtbar sind.
Abbildung 3.19: Stereogramm aus dem Tiefenbild des Hais aus Abbildung 3.2 und demMuster aus Abbildung 3.18.
In Matlab wurde das Stereogramm aus Abbildung 3.19 mit einer colormap mit ver-
schiedenen Blautonen anstelle der Graustufen angezeigt, weshalb es blau eingefarbt
ist.
Um dies auch auf Sequenzen anwenden zu konnen, sind mehrere verschiedene Muster
notwendig, da sonst der Effekt aus Kapitel 3.4 zu beobachten ist und ein horizontal
1GNU Image Manipulation Program, pixelbasiertes Bildbearbeitungsprogramm
3.5. VERWENDUNG NICHT ZUFALLIG VERTEILTER GRUNDMUSTER 25
zitterndes, unruhiges Bild entsteht. Damit kein allzu starkes Aufblitzen zwischen zu
verschiedenen Mustern auftritt, konnen Ausschnitte wie aus Abbildung 3.18 aus einem
pointillistischen Bild gewahlt werden, die sich in Helligkeit und Kontrasten in einem
ahnlichen Bereich befinden. Hierfur wurden daher vier verschiedene, gleich große Be-
reiche aus dem Bild Canale Grande aus Abbildung 3.21 von Augusto Sartori verwendet,
die in Abbildung 3.20 zu sehen sind.
Abbildung 3.20: Vier Ausschnitte aus dem Bild Canale Grande von Augusto Sartori.
Abbildung 3.21: Canale Grande von Augusto Sartori [15].
26
Abbildung 3.22: Erstes Frame aus der Stereogrammsequenz zu breakdancers 0 mit Mus-tern aus Abbildung 3.20.
In Abbildung 3.22 ist das erste Frame aus der Stereogrammsequenz zu breakdancers 0
zu sehen, die mit den Mustern aus Abbildung 3.20 erzeugt wurde. Da das Muster einige
homogene Bereiche hat, gehen Details verloren, ansonsten ist das Bild gut erkennbar
und der Effekt leichter zu finden. Fur die Sequenz ist jedoch problematisch, dass die
vier Muster untereinander deutliche Helligkeitsunterschiede haben.
3.6 Einfarben der Stereogramme mit dem zugehorigen
Kamerabild
Um Anfangern beim Betrachten von Stereogrammen eine Hilfestellung zu geben, was
in dem Stereogramm zu sehen ist, wurde uberlegt, die Farbinformationen des bei der
Aufnahme der Tiefenvideos zusatzlich aufgezeichneten Videobildes in das Stereogramm
zu ubernehmen. In diesem Fall soll dies durch eine Gewichtung des Stereogramms
3.6. EINFARBEN DER STEREOGRAMME MIT DEM ZUGEHORIGENKAMERABILD 27
mit den Luminanzwerten des Videobildes und dem Ubernehmen der Chrominanzwerte
geschehen.
Abbildung 3.23: Tiefen- und Farbbild der Sequenz ballet 0.
Da die Videosequenzen im YUV-Bereich bereitliegen, ist es einfach zu implementieren.
Beim Schreiben der YUV-Videos konnen U und V direkt fur die Chrominanz uber-
nommen werden, fur die Y-Daten wird aus dem Tiefenbild ein Stereogramm erzeugt
und mit dem 1.5-fachen der Luminanz multipliziert.
Das Resultat ist das Farbbild, unterlegt mit einem Stereogramm wie zuvor.
Es ist zu beobachten, dass bei Betrachtung des Bildes mit dem Parallelblick die Farben
raumlich verschoben jeweils zwei mal im Abstand der Zufallsmusterbreite erscheinen,
was bei großen Musterbreiten ablenkend wirkt. Der Hintergrund in diesem Fall ist sehr
angenehm zu betrachten, da er nahezu nur sich horizontal erstreckende Strukturen hat,
die sich gut ins Stereogramm einfugen.
Durch das Hinzufugen der Farben fallt die zuvor thematisierte Tiefenquantisierung
weniger auf, andererseits wird die Aufmerksamkeit im Gesamten vom Stereogramm
weggezogen. In Abbildung 3.25 ist das deutlicher der Fall. Bei dieser Sequenz wur-
de das Stereogramm aufgrund seines dunklen Bildes mit dem 2-fachen der Luminanz
gewichtet.
Da es in der Sequenz breakdancers 0 viele vertikale Kanten gibt, erscheinen viele Un-
gereimtheiten durch das Hinzufugen vom Farbbild. Das wirkt ablenkend und kann dazu
28
Abbildung 3.24: Mit Farben unterlegtes Stereogramm der Sequenz ballet 0.
Abbildung 3.25: Mit Farben unterlegtes Stereogramm der Sequenz breakdancers 0.
3.6. EINFARBEN DER STEREOGRAMME MIT DEM ZUGEHORIGENKAMERABILD 29
fuhren, dass die Konzentration des Betrachters ganz auf das Vordergrundbild gelenkt
wird und als zweidimensionales Bild mit Rauschen gesehen wird.
Zusammenfassend lasst sich sagen, dass das Hinterlegen des Stereogramms mit den
Farben des zugehorigen Kamerabildes angenehm bei der Betrachtung des Raumes ist,
vor allem, wenn dieser aus in horizontaler Richtung verlaufender Elemente besteht.
30KAPITEL 4. UMFRAGE ZUR SUBJEKTIVEN WAHRNEHMUNG VON
STEREOGRAMMSEQUENZEN
Kapitel 4
Umfrage zur subjektiven Wahrnehmung
von Stereogrammsequenzen
4.1 Erstellung des Fragebogens und der Sequenzen
Fur die subjektive Bewertung wurden einige Stereogrammsequenzen fur einen Vergleich
erstellt. Dazu wurde die Umfrage in drei Teile aufgeteilt. Im ersten Teil werden drei
Stereogrammbilder gezeigt, die sich der Bewertende solange ansehen kann, wie er will,
um sich auf die Art der folgenden Stereogrammsequenzen einstellen zu konnen.
Im zweiten Teil werden Sequenzen mit verschiedenen Großen der Zufallspunktmuster,
Zufallsmustern mit der Hohe der Frames und mit Mustern aus Kapitel 3.5 bewertet.
Die Fragen, welche zu diesen Sequenzen gestellt werden, betreffen die Erkennbarkeit
des 3D-Effekts und wie gut es dem Betrachter gefallen hat. Diese beiden Fragen konnen
auf einer Punkteskala von eins bis funf bewertet werden. Zwischen ja und nein kann
der Betrachter angeben, ob es ihn angestrengt hat, die Sequenz anzusehen und ob ihm
die vorangegangene Sequenz besser gefallen hat.
Im dritten Teil werden gezielt Fragen zu bestimmten Eigenschaften gestellt. Dort wird
eine Sequenz gezeigt, die mit verkleinerten Frames des Tiefenvideos erstellt wurden
und zwei, bei denen die Farbe des Kameravideos dem Stereogramm hinterlegt ist.
Alle gezeigten Sequenzen sind im Einzeldurchlauf 6,7 Sekunden lang, werden fur die
4.1. ERSTELLUNG DES FRAGEBOGENS UND DER SEQUENZEN 31
Umfrage jedoch als Dauerschleife gezeigt.
Fur die Erstellung des Fragebogens wurde die Dissertation”Subjective and Objec-
tive Video Quality Measurement in Low-Bitrate Multimedia Scenarios“ von Marcus
Barkowsky verwendet [16].
Die Stereogramme, die zu Beginn gezeigt werden, sind das Stereogramm des Hais aus
Abbildung 3.3 und eine Kugel und eine Plastikente, die in Abbildung 3.7 und 4.1 zu
sehen sind.
Abbildung 4.1: Stereogramm einer Plastikente.
Die genauen getroffenen Parameter und Einstellungen der Sequenzen des zweiten Teils
sind in Tabelle 4.1 dargestellt.
Sequenznummer 1 2 3 4 5 6 7
Sequenz breakdancers 0 ballet 0
Musterbreite (in Pixeln) 64 64 96 64 64 64 64
Musterhohe (in Pixeln) 64 768 96 64 768 64 768
Tiefenparameter 3 3 3 2 2 2 2
Muster nach Abb. 3.20 nein nein nein nein ja nein ja
Tabelle 4.1: Auflistung der Eigenschaften der einzelnen Sequenzen des zweiten Teils.
32
Meist wurde ein quadratisches Zufallsmuster mit einer Kantenlange von 64 Pixeln fur
die Stereogramme verwendet, Sequenz 2 wurde mit einem Muster mit der Hohe ei-
nes Frames erzeugt. Bei der funften und siebten Sequenz wurden keine Zufallsmuster
verwendet, sondern die Muster nach Abbildung 3.20.
Sequenz Besonderheit Zufallsmustergroße
Sequenz 8 ballet 0 Framegroße 512× 384 Pixel 64× 64 Pixel
Sequenz 9 ballet 0 Hinterlegung mit Kamerabild 64× 64 Pixel
Sequenz 10 breakdancers 0 Hinterlegung mit Kamerabild 64× 64 Pixel
Tabelle 4.2: Auflistung der Eigenschaften der Sequenzen des dritten Teils.
Der Fragebogen ist im Anhang A.3 zu finden, die dazugehorigen Sequenzen werden der
Arbeit auf einer CD beigelegt.
4.2 Durchfuhrung der Umfrage
Die Durchfuhrung der Umfrage wurde durch eine E-Mail an den Verteiler aller Studen-
ten der Technischen Fakultat und verwandter Studiengange angekundigt und wurde in
der 35. Kalenderwoche am Donnerstag und Freitag im Praktikumsraum des Lehrstuhls
fur Multimediakommunikation und Signalverarbeitung (LMS) durchgefuhrt.
Die Einladung ist in Anhang A.4 zu finden.
Zusatzlich wurde eine ahnliche Einladung an die Mitarbeiter des LMS versendet.
Es nahmen an der Umfrage 24 Personen teil, davon waren elf Mitarbeiter des Lehr-
stuhls und des Laboratorium fur Nachrichtentechnik und 13 Studenten der Technischen
Fakultat.
Vier der 24 Teilnehmer hatten sich vor Teilnahme an der Umfrage noch nicht mit
Stereogrammen beschaftigt. Etwa die zwei Drittel hatten das Sehen von Magic Eye
Bildern in der Kindheit gelernt und der Rest hatte wenige Jahre Erfahrung.
4.3. ERGEBNISSE DER UMFRAGE 33
4.3 Ergebnisse der Umfrage
4.3.1 Teil 1
Die Stereogrammbilder des Hais, der Kugel und der Plastikente wurden großtenteils
korrekt von allen Befragten erkannt.
Dabei ist die Tiefenquantisierung etwa der Halfte der Befragten aufgefallen. Vor allem
beim zweiten Bild mit der Kugel ist der stufenhafte Ubergang bemerkt worden.
Einige Male wurde angegeben, dass zwei Enten zu sehen seien, eine kleine und dahinter
eine großere. Dies liegt einem Effekt, der als Hyperkonvergenz bezeichnet wird.
Abbildung 4.2: Darstellung der Hyperkonvergenz links beim Parallelblick und rechts beimKreuzblick [9, S.14].
Bei schmalen Grundmustern kann es leicht passieren, dass bei Betrachten des Stereo-
gramms mit dem Parallelblick eine der horizontalen Wiederholungen des Musters uber-
sprungen wird, wie links in Abbildung 4.2 dargestellt ist. Dadurch wird ein anderes
Stereobild wahrgenommen, wobei das genaue Resultat nicht genau vorhersagbar ist.
Kanten treten jedoch meist wiederholt auf, großere ebene Flachen bleiben erhalten.
Auf der rechten Seite der Abbildung ist Hyperkonvergenz im Falle vom Kreuzblick
dargestellt. Dort tritt der Effekt ebenfalls auf, wenn das Muster zu schmal ist. Die
34
Augen werden zu stark gekreuzt und ein anderes Bild ist zu sehen.
Die Stereogramme mit den Bildern des Hais und der Ente hatten auf den zur Umfrage
verwendeten Bildschirmen eine Zufallsmusterbreite von 1,66 cm, das Stereogramm mit
der Kugel eine von 2,5 cm.
Damit lasst sich die Entfernung zum virtuellen Hintergrund der Stereogramme nach
Gleichung (3.1) berechnen. Bei einem durchschnittlichen Augenabstand von a = 6 cm
und einer Entfernung des Bildschirms von d = 50 cm berechnen sich die Entfernungen
zum Hintergrund des virtuellen Bildes bei den Bildern des Hais und der Ente zu etwa
x = 70 cm und bei der Kugel zu etwa x = 85 cm.
Es lasst sich daraus schließen, dass es der Mehrheit der Befragten leichter fallt, die
Augen etwa 35 cm hinter dem Bild konvergieren zu lassen, als etwa 20 cm, wenn sie ein
Stereogramm mit dem Parallelblick betrachten.
Es sollte daher fur die auf einem Bildschirm angezeigte, oder ausgedruckte Form eines
Stereogramms im besten Fall eine Zufallsmusterbreite von etwa 2,5 cm gewahlt werden.
4.3.2 Teil 2
In Abbildung 4.3 sind die durchschnittlich von den 24 Teilnehmern der Umfrage verge-
benen Punkte im zweiten Teil aufgetragen. Die gewahlten Parameter bei den einzelnen
Sequenzen sind dabei in der Tabelle 4.1 zu sehen.
Die dritte Sequenz wurde mit den meisten Punkten bewertet. Sie erhielt im Mittel etwa
4,1 Punkte bei der ersten Frage und 3,7 bei der zweiten.
Die Auswertung der Frage, ob der Betrachter die gerade betrachtete Sequenz besser
fand, als die Vorangegangene, bestatigt, dass die dritte Sequenz sehr gut aufgefasst
wurde. Bei der dritten Sequenz wurde diese Frage 17 von 24 mal mit Ja beantwortet,
was 70 % entspricht.
Da die Zufallsmusterbreiten bei den ersten beiden Sequenzen der des ersten Stereo-
grammbildes entsprechen und die der dritten Sequenz der des zweiten Bildes, kann
angenommen werden, dass die bessere Bewertung mit dem zuvor genannten Effekt der
Hyperkonvergenz zu tun hat.
4.3. ERGEBNISSE DER UMFRAGE 35
Abbildung 4.3: Durchschnittlich vergebene Punkte je Sequenz zwischen eins und funf.
In den Anmerkungen wurde zur dritten Sequenz geschrieben”Jetzt ist die Figur deut-
lich besser erkennbar.“ und”Die Leute im Hintergrund sind besser erkennbar als vor-
her.“.
Die zweite Sequenz wurde mit einem Zufallsmustern generiert, die dieselbe Hohe be-
sitzen, wie die einzelnen Frames. Die Bewertung fallt in etwa gleich hoch aus, wie bei
der ersten, jedoch ist aus den Anmerkungen herauszulesen, dass die Sequenz flackernde
Streifen enthalt und hektischer wirkt. Dadurch, dass das uber die gesamte Bildhohe
zufallig generiert ist, kommt es haufig vor, dass in dem Muster dunkle Bereiche entste-
hen. Diese ziehen sich beim Stereogramm durch die ganze Breite und es kann passieren,
dass dies bei aufeinanderfolgenden Frames vorkommt und sich als flackernde Streifen
auswirkt.
Eine weitere klare Schlussfolgerung, die sich aus Abbildung 4.3 schließen lasst, ist, dass
die Sequenzen 5 und 7 am schlechtesten bewertet wurden. Diese wurden mit Mustern
nach Kapitel 3.5 erzeugt. Uberraschenderweise hat dabei die siebte Sequenz mit knapp
36
einem Punkt mehr abgeschnitten, als die funfte.
Bei diesen Sequenzen kommt zum Tragen, dass die Helligkeit zwischen den Mustern der
aufeinanderfolgenden Frames sichtlich schwankt. Die Sequenzen haben eine Frequenz
von 15 Frames pro Sekunde, was bedeutet, dass die vier Muster fast vier Mal pro
Sekunde vorkommen, weshalb diese Helligkeitsunterschiede sehr storend sein konnen.
Abbildung 4.4: Auswertung der Frage”War es anstrengend, das Stereogramm zu betrach-
ten?“.
Die Auswertung von 4.4 bestatigt diese Beobachtung. Etwa 80 % der Befragten bewer-
teten die Sequenz 5 als anstrengend, bei Sequenz 7 hat eine Person mehr diese Frage
mit nein beantwortet. Durchschnittlich wurden die anderen Sequenzen lediglich von
einem Drittel als anstrengend bewertet.
Der Grund fur die bessere Punktanzahl bei der siebten Sequenz kann darin vermutet
werden, dass beim zweiten Auftauchen einer Sequenz mit nicht rein zufallig erzeugten
Mustern die Teilnehmer nicht so sehr verwundert waren und den Effekt dabei schneller
entdecken konnten.
Aus den Anmerkungen kann noch zusammengefasst werden, dass die Bewegungen kla-
4.3. ERGEBNISSE DER UMFRAGE 37
rer erkennbar, jedoch die kleinen Bewegungen der Ballet-Sequenz wiederum schwerer
zu sehen seien. Das Muster mit horizontalen Streifen schien zudem die starke Bewe-
gung des Breakdancers nach rechts und links zu durchschneiden, was die Verfolgung
erschwere.
Insgesamt sind einzelne Bilder, die mit dem Muster aus dem pointillistischen Bild
erzeugt wurden, jedoch klarer zu sehen, woraus sich schließen lasst, dass diese Methode
anhand von Mustern, die sich nicht so stark unterscheiden wie die verwendeten, eine
Stereogrammsequenz angenehmer zu betrachten machen kann.
Die vierte und sechste Sequenz gleichen sich in den eingestellten Parametern, die Bewer-
tungen gehen jedoch stark auseinander. Bei der Frage nach der Erkennbarkeit des 3D-
Effekts erhalt die Sequenz 4 etwa 3,2 Punkte, Sequenz 6 etwa 3,8. Bei der zweiten Frage
sind es ungefahr 2,8 und 4 Punkte. Der Grund hinter der großen Differenz zwischen
den Bewertungen der eigentlich gleich gut erkennbaren Sequenzen liegt moglicherweise
darin, dass die vierte Sequenz auf eine deutlich besser bewertete Sequenz folgt, die
sechste jedoch auf eine schlecht bewertete. Zudem wechselt die Szene zwischen dem
funften und sechsten Video zu weniger komplexen Bewegungsablaufen.
4.3.3 Teil 3
Im letzten Teil der Umfrage wurden spezielle Veranderungen an den Sequenzen vorge-
nommen und zu diesen gezielte Fragen gestellt.
In Sequenz 8 wurde die Große des Tiefenkartenvideos vor der Generierung der Stereo-
gramme verringert. Statt 1024 × 768 Pixeln haben die Frames in der achten Sequenz
512× 384 Pixel.
Die von den Teilnehmern angekreuzten Antworten sind in Abbildung 4.5 zu sehen. Ein
Viertel der 24 Befragten fand dabei das Bild zu klein. 16, was zwei Dritteln entspricht,
haben dagegen angegeben, dass der Effekt im kleinen Bild leichter zu sehen ist. Bei den
zusatzlichen Angaben wurde geschrieben, dass der Effekt in dieser Sequenz einfacher
aufrecht zu erhalten sei.
Die Stereogramme der Sequenzen 9 und 10 wurden zunachst erstellt und dann wurde
38
Abbildung 4.5: Auswertung der Fragen zu Sequenz 8, nach rechts Anzahl der Kreuze jeAntwortmoglichkeit von 24 Teilnehmern.
Abbildung 4.6: Auswertung der Fragen zu Sequenz 9 und 10, nach rechts Anzahl derKreuze je Antwortmoglichkeit von 24 Teilnehmern.
4.3. ERGEBNISSE DER UMFRAGE 39
es mit dem zugehorigen Kamerabild, das mit den Tiefenkarten zugleich aufgenommen
wurde, gewichtet. Dies gibt einerseits eine Hilfestellung dazu, was in dem Stereogramm
zu sehen sein soll, andererseits stort es, da das Farbbild nicht dreidimensional werden
kann. Dadurch fallt es einem Betrachter schwer, den 3D-Effekt zu finden und behalten.
Zwei Mal wurde”hilfreich“ angekreuzt, da die Betrachter den Hintergrund mit der
zusatzlichen Farbe gut sichtbar empfanden.
4.3.4 Auswertung der Betrachtungsdauer in der Umfrage
Wahrend der Durchfuhrung der Umfrage wurde jeweils die Zeit aufgezeichnet, die fur
die einzelnen Sequenzen und Bilder und ihre Bewertung gebraucht wurde.
Im Durchschnitt wurden fur die gesamte Umfrage 21 Minuten benotigt. Die maximal
benotigte Zeit betrug knapp eine Stunde, innerhalb welcher sich der Teilnehmer den
Parallelblick selbst aneignete.
Abbildung 4.7: Insgesamt benotigte Zeit der ganzen Umfrage je Betrachter.
In Abbildung 4.7 sind, absteigend sortiert, die Zeiten aller Teilnehmer zu sehen.
40
Abbildung 4.8: Mittlere benotigte Zeit je Bild oder Sequenz.
Abbildung 4.8 zeigt, wie lange die einzelnen Sequenzen und Sterogrammbilder im Mittel
betrachtet wurden.
Die drei Stereogramme wurden durchschnittlich 2:30 min, 2:00 min und 1,00 min ange-
sehen. Daraus kann interpretiert werden, dass die Teilnehmer anfangs Probleme hatten,
das Bild im Stereogramm zu sehen. Beim zweiten und dritten Bild wurde jeweils deut-
lich weniger Zeit gebraucht, das gesuchte Objekt zu identifizieren.
Die erste Sequenz wurde zwei Minuten lang angesehen. Die ubrigen etwa im Mittel
1:30 Minuten. Die Sequenz 6 wurde dabei ein wenig langer betrachtet, was daran
liegen konnte, dass bei dieser der Wechsel der Szene mit dem Breakdancer zu der
Balletttanzerin erfolgt.
Die neunte Sequenz, bei der zum ersten Mal das Kamerabild im Stereogramm unterlegt
war, wurde ebenfalls 1:50 Minuten angesehen, wobei nach Abbildung 4.6 uber die Halfte
der Teilnehmer mit der nachsten Sequenz fortgefahren ist, ohne den 3D-Effekt gesehen
zu haben.
Im gesamten Durchschnitt wurde eine Sequenz jeweils etwa 1:40 min betrachtet.
KAPITEL 5. ZUSAMMENFASSUNG 41
Kapitel 5
Zusammenfassung
Die Ergebnisse der Umfrage haben klar gezeigt, wie Stereogrammsequenzen mit dem
Algorithmus makeAbsird am Besten zu sehen sind. Dabei sollte vor allem das Zufalls-
muster eine Breite von etwa 2,5 cm haben. Je besser die Auflosung des Bildschirms ist,
auf dem die Sequenz betrachtet wird, desto breiter muss das Muster gewahlt werden.
Ein Bildschirm mit hoher Auflosung gibt dabei großere Chancen auf ein schones Stereo-
gramm. Mit kleineren Pixeln konnen feinere Verschiebungen im Muster erzielt werden,
was die thematisierte Tiefenquantisierung reduziert.
Das Hinzufugen der Farbbilder der aufgenommenen Szenen ist in der hier durchgefuhr-
ten Art keine sinnvolle Besserung des Seherlebnisses. Etwa die Halfte der Umfragen-
teilnehmer konnte dadurch den 3D-Effekt im Stereogramm nicht mehr sehen.
Die Generierung von Stereogrammen mit Ausschnitten aus einem pointillistischen Ge-
malde als Grundmuster wurde in der Umfrage schlecht bewertet. Bei diesen Sequen-
zen sind deutliche Helligkeitswechsel zwischen den einzelnen Bildern zu sehen, was
gegenuber den relativ ruhigen Bildwechsel zwischen den mit Zufallspunktmustern ge-
nerierten Frames anstrengend zu verfolgen ist. Eine Verbesserung hiervon konnte durch
Verwendung von Mustern mit geringeren Helligkeitsunterschieden erreicht werden.
Eine weitere Moglichkeit zur Optimierung des Resultats bietet die Programmierung des
Algorithmus anhand von Subpixelverschiebungen. Dadurch konnte eine Minimierung
der Quantisierung der Tiefenkartenvideos erreicht werden.
42 ANHANG A. ANHANG
Anhang A
Anhang
A.1 Algorithmus makeAbsird
function [imageData] = makeAbsird(imageData,randSize)
%MAKEABSIRD Converts a depth-map into a random dot stereogram.
% This function interprates imageData as a height-map and converts it
% to a random dot stereogram. A random dot sterogram is an image that
% can be percieved as 3-dimensional by viewing it in the proper way.
% For more information on random dot sterograms, see
% http://en.wikipedia.org/wiki/Autostereogram
%
% The algorithm used is abSIRD, published in 2004 by Lewey Geselowitz.
% It is a fast, in-place algorithm that is exquisitly simple to
% implement.
% For more information, see
% http://www.leweyg.com/download/SIRD/index.html
%
% makeAbsird( DATA ) converts DATA into a stereogram and displays it in
% the current axis, modifying the size to ensure the 3d effect isn’t
% destroyed.
A.1. ALGORITHMUS MAKEABSIRD 43
%
% makeAbsird( DATA, N ) converts DATA into a stereogram, using a ramdom
% seed of NxN pixels.
%
% OUT = makeAbsird( ... ) does not do a plot but instead returns the
% image data.
%
% Daniel Armyr, 2010
if (nargin < 2)
randSize = 64;
end
% Check some properties of input data.
assert (ndims(imageData) == 2);
assert (isreal(imageData));
% Remove any NANs or INFs as they upset the algorithm.
imageData(isnan(imageData)) = 0;
imageData(isinf(imageData)) = 0;
% Scale the data and reduce the depth.
imageData = imageData - min(imageData (:));
imageData = round(imageData/max(imageData(:))*randSize/3);
% Create a random seed to build the image from.
RandData = round(rand(randSize)*256);
% Pre-calculate some sizes that are important to the algorithm.
44
ScrW = size(imageData,2);
RandW = size(RandData,2);
RandH = size(RandData,1);
% Loop through all the rows.
for y = 1:size(imageData,1)
% Start by the rightmost copy of the random seed.
for x = ScrW:-1:ScrW-RandW
index = mod(x-imageData(y,x), RandW-1)+1;
imageData(y,x) = RandData( mod(y,RandH-1)+1, index );
end
% Recalculate all the remaining pixels on the line.
for x=ScrW-RandW-1:-1:1
index = x+RandW-imageData(y,x)+1;
imageData(y,x) = imageData(y,index);
end
end
% If we have no output argument, present a plot where each point is a
% pixel on the screen.
if (nargout < 1)
h = imagesc(imageData);
colormap(hot);
grid(’off’);
g = get(h,’Parent’);
set(g,’Units’,’Pixels’);
set(g,’Position’,[5 5 size(imageData,2) size(imageData,1)]);
A.1. ALGORITHMUS MAKEABSIRD 45
f = get(g,’Parent’);
set (f,’Units’,’Pixels’);
set(f,’Position’,[100 100 size(imageData,2)+10 size(imageData,1)+10]);
end
end
46
A.2 Anleitung zum Lernen der free-viewing-Methoden
A.2. ANLEITUNG ZUM LERNEN DER FREE-VIEWING-METHODEN 47
48
A.3. UMFRAGEBOGEN 49
A.3 Umfragebogen
50
A.3. UMFRAGEBOGEN 51
52
A.4. E-MAIL-EINLADUNG ZUR UMFRAGE 53
A.4 E-Mail-Einladung zur Umfrage
Betreff: veranst-ext: Umfrage zu”Magic Eye Movies“
Von:”Miribung, Daniel“ <[email protected]>
Datum: 22.08.2014 11:12An:
Aufruf zur Beteiligung an einer Umfrage im Rahmen einer Bachelor-Arbeit
Liebe Kommilitonen,
Ich bin auf der Suche nach allen, die Stereogramme, oder Magic Eye Bilder wie indem Beispiel unten, sehen konnen.
Magic Eye Image of the Week vom 26.Juni
Fur meine Bachelorarbeit mochte ich eine subjektive Bewertung mit verschiedenen selbsterstellten Stereogrammsequenzen durchfuhren, also kleine Magic Eye Movies.Die Bewertung wurde etwa eine Viertelstunde dauern und wird Freitag nachster Wocheim Videobetrachtungsraum am LMS (Cauerstraße 7) stattfinden.Ich wurde mich freuen, wenn Du an der Umfrage teilnehmen wurdest, damit moglichstgenaue Ergebnisse dabei herauskommen.Wenn Du interessiert bist, melde Dich per E-Mail bei mir, den genauen Termin werde ichDir dann schreiben.
Viele Gruße,Mira HundhausenE-Mail: [email protected]
Weitergeleitet von Daniel Miribung | Studienservice und AlumniFriedrich-Alexander-Universitat Erlangen-Nurnberg | Technische Fakultat
http://www.tf.fau.de/mitarbeiter/daniel-miribung.shtml
54 ABBILDUNGSVERZEICHNIS
Abbildungsverzeichnis
2.1 Wheatstones Stereoskop [3]. . . . . . . . . . . . . . . . . . . . . . . . . 3
2.2 Schematische Darstellung von Parallaxenbarrieren und Lentikularlinsen
in 3D-Displays [6]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.3 Die mobile Spielekonsole Nintendo 3DS mit 3D-Tiefenregler [8]. . . . . 5
2.4 Die Konvergenz der Augen beim Parallel- und Kreuzblick [9] . . . . . . 6
2.5 Stereobildpaar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.6 Viktorianische Tapete. . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
3.1 Berechnung des von ∆b abhangigen Abstands z(∆b) des virtuellen Ob-
jekts, nach [9]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.2 Tiefenbild eines Hais [12]. . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.3 Resultierendes Stereogramm fur das Tiefenbild aus Abbildung 3.2. . . . 13
3.4 Vom Algorithmus quantisiertes Tiefenbild. . . . . . . . . . . . . . . . . 14
3.5 Abstand zum Auge z(∆b) in mm uber Pixelverschiebung ∆b in mm. . . 14
3.6 Wie Abbildung 3.5, Wahl des Tiefenparameters zu 2 und 3. . . . . . . . 15
3.7 Stereogramm einer Kugel mit b0 = 64 Pixel. . . . . . . . . . . . . . . . 16
3.8 z(∆b) uber ∆b mit ganzzahligen Pixeln. . . . . . . . . . . . . . . . . . 17
3.9 Tiefenkarte einer Kugel: Ursprungsform und quantisiert. . . . . . . . . 18
3.10 Querschnitt durch das Stereogramm aus Abbildung 3.7. . . . . . . . . . 18
3.11 Ausschnitt aus dem ersten Frame der Stereogrammsequenz ballet 0. . . 19
3.12 Ausschnitt aus dem 91. Frame der Stereogrammsequenz breakdancers 0. 20
ABBILDUNGSVERZEICHNIS 55
3.13 Tiefenbild und quantisiertes Tiefenbild des ersten Frames der Stereo-
grammsequenz ballet 0. . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.14 Tiefenbild und quantisiertes Tiefenbild des 91. Frames der Stereogramm-
sequenz breakdancers 0. . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.15 Erstes Frame der Stereogrammsequenz ballet 0 in der Große 512×384 Pixel. 22
3.16 Das erste Buch der Magic Eye-Buchreihe [13]. . . . . . . . . . . . . . . 23
3.17 Magic Eye of the week 27.3.2014 [14]. . . . . . . . . . . . . . . . . . . . 23
3.18 Gimp-Muster. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.19 Stereogramm eines Hais mit Muster aus Abbildung 3.18. . . . . . . . . 24
3.20 Vier Ausschnitte aus dem Bild Canale Grande von Augusto Sartori. . . 25
3.21 Canale Grande von Augusto Sartori [15]. . . . . . . . . . . . . . . . . . 25
3.22 Erstes Frame aus der Stereogrammsequenz zu breakdancers 0 mit Mus-
tern aus Abbildung 3.20. . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.23 Tiefen- und Farbbild der Sequenz ballet 0. . . . . . . . . . . . . . . . . 27
3.24 Mit Farben unterlegtes Stereogramm der Sequenz ballet 0. . . . . . . . 28
3.25 Mit Farben unterlegtes Stereogramm der Sequenz breakdancers 0. . . . 28
4.1 Stereogramm einer Plastikente. . . . . . . . . . . . . . . . . . . . . . . 31
4.2 Darstellung der Augenstellung beim Effekt der Hyperkonvergenz. . . . 33
4.3 Durchschnittlich vergebene Punkte je Sequenz zwischen eins und funf. . 35
4.4 Auswertung der Frage”War es anstrengend, das Stereogramm zu be-
trachten?“. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.5 Auswertung der Fragen zu Sequenz 8. . . . . . . . . . . . . . . . . . . . 38
4.6 Auswertung der Fragen zu Sequenz 9 und 10. . . . . . . . . . . . . . . 38
4.7 Insgesamt benotigte Zeit der ganzen Umfrage je Betrachter. . . . . . . 39
4.8 Mittlere benotigte Zeit je Bild oder Sequenz. . . . . . . . . . . . . . . . 40
56 TABELLENVERZEICHNIS
Tabellenverzeichnis
4.1 Auflistung der Eigenschaften der einzelnen Sequenzen des zweiten Teils. 31
4.2 Auflistung der Eigenschaften der Sequenzen des dritten Teils. . . . . . . 32
LITERATURVERZEICHNIS 57
Literaturverzeichnis
[1] BITKOM, “Jeder vierte Flachbildfernseher ist 3D-fahig,”
http://www.bitkom.org/de/markt statistik/64086 72373.aspx, abgerufen am
11.9.2014.
[2] Dieter Schulte, “Stereoskopie,” http://www.stereoskopie.com, abgerufen am
18.8.2014.
[3] Oliver Lau, “Magic Eye Movies,” http://www.heise.de/ct/artikel/Magic-Eye-
Movies-1673564.html, abgerufen am 29.7.2014.
[4] Nils Roder, “Stereoskopie,” https://www.fbi.h-da.de/labore/virtual-
reality/basiswissen/stereoskopie.html, abgerufen am 3.9.2014.
[5] Felix Gessert, “Aufbruch in neue Dimensionen,” http://betablogger.info/?p=657,
abgerufen am 3.9.2014.
[6] Felix Gessert, “Parallaxenbarriere und Lentikularlinsen,” http://betablogger.info/
wp-content/uploads/2011/05/3d-auto.png, abgerufen am 3.9.2014.
[7] Michael Vogel, “3D ohne Brille,” Physik Journal, pp. 88–89, August/September
2011.
[8] nintendo, “Der Nintendo 3DS,” https://cdn02.nintendo-europe.com/media/
images/08 content images/systems 5/nintendo 3ds 13/features 1/landing page/
CI16 3DS LandingPage 3DSlider image600w.png, 2014, abgerufen am 3.9.2014.
58
[9] Dan Richardson, Create Stereograms on your PC – Discover the World of 3D
Illusion, The Waite Group, ISBN: 1-878739-75-1, 1994.
[10] Felix Jalowski, “Rabbit” .
[11] Christopher W. Tyler und Maureen B. Clarke, “The Autostereogram,” Stereos-
copic Displays and Applications, 1990.
[12] Daniel Armyr, “makeAbsird,” http://www.mathworks.com/matlabcentral/
fileexchange/27649-absird-for-matlab/content/makeAbsird.m, abgerufen am
23.4.2014.
[13] Magic Eye Inc., “Magic Eye: A New Way of Looking at the World,”
http://magiceyecom.fatcow.com/img/prod/bk/mei 1a.gif, abgerufen am 7.5.2014.
[14] Magic Eye Inc., “Magic Eye Image of the Week 27.3.,”
http://www.magiceye.com/gallery/032714s.html, abgerufen am 7.5.2014.
[15] Augusto Sartori, “Canale Grande,” http://d2c2dsgt13elzw.cloudfront.net/
resources/1000x750/f1/f7/8cea-d087-4fcc-bc4f-64ca5f3df2cf.jpg, abgerufen am
27.8.2014.
[16] Marcus Barkowsky, Subjective and Objective Video Quality Measurement in Low-
Bitrate Multimedia Scenarios, ISBN: 978-3-86853-142-8, 2009.