„Die Leitung der Aufmerksamkeit“

(fig.Probandentest, Vergleichsbild 2 – Screencaptures des Testfilms 2, Monster in U-Bahn, Hauptfokus im Mittelteil, In: Kleisz, K. (2018), Die Leitung der Aufmerksamkeit, der Zusehenden, bei 360 Grad und VR Filmen, Diplomarbeit (Betreuer:Fh-Prof.Mag.Markus Wintersberger), Fachhochschule St.Pölten, S.69)
——
Bericht:
Kleisz, K. (2018), Die Leitung der Aufmerksamkeit, der Zusehenden, bei 360 Grad und VR Filmen, Diplomarbeit (Betreuer:Fh-Prof.Mag.Markus Wintersberger), Fachhochschule St.Pölten
—–
2018 wurde die Arbeit von Kevin Kleisz – Masterstudiengang Digitale Medientechnologien an der Fachhochschule St.Pölten – unter dem Titel Die Leitung der Aufmerksamkeit, der Zusehenden, bei 360 Grad und VR Filmen zum Erlangen des akademischen „Grades Dipl.-Ing. für technisch-wissenschaftliche Berufe“ abgegeben.1 Kleisz bietet hierin, neue Mittel der Blicklenkung im 360 Grad Format aufzulisten, sowie das Verhalten der Zuschauer in diesem Medium mithilfe zweier Probandentests zu beobachten, um „einen Guide für die Lenkung der Aufmerksamkeit von Zusehenden zu entwickeln.“ 2

Nachdem er Hauptbegriffe (u.a. VR, 360Grad Video, AR, Mixed Reality, Immersion) erläutert und – in einer sehr detaillierten anatomischen Beschreibung – die Problemstellung des beschränkten Sichtfelds, welches mit dem breiten 360 Grad Format festsitzt, erklärt, legt Kleisz eine Definition der „visuellen Aufmerksamkeit“ vor:

In unserem täglichen Leben werden wir konstant mit einer enormen Menge an visuellen Informationen konfrontiert, welche das menschliche Sehsystem nicht simultan verarbeiten kann. Aufmerksamkeit ist daher eine wichtige Komponente des natürlichen Sehens. Es erlaubt, die limitierten kognitiven Ressourcen effektiv auf verhaltensmäßig relevante Szenen zuzuteilen. 3

Weiterhin erstellt er eine Zeitleiste verschiedener Technologien, welche er als konzeptuelle Vorfahren des heutigen Head-Mounted-Displays (HMD) präsentiert. Er erwähnt beispielsweise das Panorama (S.17-18), das Stereoscope (S.19) oder auch die telesphere Mask (S.19). Letztendlich geht er noch die unterschiedlichen HMD-Produkte durch (S.21-27), welche aktuell auf dem Markt sind, bevor er die mit dieser Technologie verbundenen Risiken und Nebenwirkungen auflistet: Kollisionen und Verletzungen, Diplopie4, Motion Sickness und Simulatorkrankheit.5

Nach dieser langen Einleitung, präsentiert Kleisz die klassischen kinematografischen Mittel der Blickmanipulation und versucht zu extrapolieren, welche davon bei 360 Grad Filmproduktionen anwendbar sind:
(a) Perspektive und Fluchtpunkte, welche Kleisz in 360Grad Videos als schwer umsetzbar wahrnimmt, „da die Perspektive vom Zusehenden selbst beeinflusst wird.“6
(b) Oberflächenteilung, in welcher der „Hintergrund oder Objekte im Vordergrund verwendet werden, um Charaktere im Bildbereich einzuschränken“7, scheint für Kleisz problemlos anwendbar zu sein.
(c) Primärpunkte oder Interessenpunkten sieht er als schwierig einzusetzen, da „durch die Möglichkeit der Zusehenden, in alle Richtungen zu blicken, die Chance gegeben, dass andere Objekte oder Personen entdeckt werden, welche durchaus auch interessant sein könnten und dadurch zu Primärpunkten werden.“8
(d) Farbe- und Helligkeitsmanipulation, welche „nicht durch 360 Grad an Blickrichtungen beeinflusst“ sind, bleiben – nach Kleisz – noch relevant, auch wenn, erklärt er, sie in der Praxis schwierig einzusetzen sind und oft durch natürliches Licht ersetzt werden.9
(e) Bewegung „kann übernommen werden“, erklärt er, „Voraussetzung für ihre Wirksamkeit ist allerdings, dass Zusehende sie auch sehen und nicht gerade mit dem Rücken zu ihnen stehen.“10
(f) Bildrhythmus (ruhiges Bild mit wenig Detail oder irregulären Rhythmus mit vielen Details) funktioniert –laut Kleisz – in 360 Grad sehr gut. „Besitzt die Szene einen ruhigen Rhythmus“, schreibt er allerdings, „ist es für die Zusehenden sicherlich leichter, den Sinn oder die sprechende Person zu finden, um sich auf sie zu konzentrieren.“11
(g) Drittregel und Goldener Schnitt, welche er in 360 Grad Format als undenkbar sieht.

Ebenso geht Kleisz auf die Frage der Produktion eines 360 Grad Videos ein. Er erklärt, dass, trotz der vielen neuen Probleme, welche das Format darstellt, eine 360 Grad Produktion „durch den Wegfall von mehreren Kameras, die Minimierung von Crew und Lichtwerk“ schneller, einfacher und billiger eingesetzt werden kann.12 Wichtig bei einer solchen Produktion ist, die Wahl der Location, welche „ wie ein zusätzlicher Charakter ist, auf den sich die Zuseher_innen einlassen können.“13 Ebenso, betont Kleisz, müssen die „richtigen Schauspieler gefunden werden; anders als beim regulären Film dürfen sie nie aus der Rolle fallen sobald die Kamera läuft.“14 Er schreibt über die Wahl der Kamera, welche einen Kompromiss zwischen Qualität der Auflösung, Komplexität der Postproduktion und Preis darstellt:
(a) Consumer Kameras, welche relativ billig und einfach zu benutzen sind, leiden an Bildqualität und können Probleme in der Postproduktion verursachen.15
(b) Prosumer Geräte, welche „oft von Enthusiasten, über Crowd Funding Seiten, erschaffen werden.“16
(c) Selbst gebaute 360 Grad Rigs, welche 3 bis 32 Kameras beinhalten. „Je mehr Kameras ein Rig besitzt, desto höher ist die Auflösung des gestitchten Videos“ erklärt Kleisz. Allerdings erhöht die Anzahl an Kameras die Zahl der Stitchlinien, bzw. der potentiellen Fehler in der Postproduktion, sowie den Preis der Produktion und die Menge an gespeicherte Daten.17
(d) Professionelle Kameras, welche leichte Bedienung, die höchstmögliche Qualität und Auto-Stitching bieten, aber dementsprechend teuer sind.18

Die Hauptarbeit Kleiszs ist die Erstellung und Analyse von zwei Probandentests, welche die Empfindung und das Verhalten von insgesamt 25 Testpersonen (Alter 18-50) bei Betrachtung von zwei Testfilmen (Help -360 Google Spotlight Story und T)Raumzwang – a 360-Degree virtual reality Documentary Film) in zwei verschiedene Sitzsituationen (normaler Stuhl und Drehstuhl) zeigen sollte.   Die jeweiligen, durch HMD gezeigten, Videobetrachtungen wurden aufgenommen und verglichen. Nach der Videobetrachtung wurde von den Testpersonen gefordert, einen Fragebogen auszufüllen, welche die Übelkeit der Probanden nach den Filmen, die Orientierungsprobleme während der Betrachtung und die Fähigkeit der Handlung zu folgen, abfragte.

https://www.youtube.com/watch?v=BVJHzFcI_KA
(Video: T)Raumzwang – a 360 Degree Virtual Reality Documentary Film, Sandra Müller Youtube Kanal, 18.03.2017, 20:31Min)

https://www.youtube.com/watch?v=G-XZhKqQAHU
(Video: 360 Google Spotlight Stories:HELP, Google Spotlight Stories Youtube Kanal, 18.04.2016, 4:53Min)

So lautet das Fazit der Probanden-Tests:

Durch die beiden durchgeführten Probandtests lässt sich sagen, dass Zusehende in 360 Grad Medien sich durch das Umhersehen orientieren, egal ob sie auf einem drehbaren Stuhl oder einem normalen Sessel sitzen. Stehen sie am Beginn einer Szene oder in einem neuen Raum sehen sie nach links und rechts, meistens auch hinter sich, zuerst um sich der Umgebung bewusst zu werden, in der sie sich befinden, und dann um etwas zu suchen auf das sie ihre Aufmerksamkeit richten können. Es wird nach Protagonisten oder Charakteren gesucht, nach Dingen, welche ein Geräusch verursachen, dass sie kurz davor gehört haben oder gerade hören. […] Im Vergleich, geschnittener Film zu One-Shot Film, ist zu sagen, dass die Zusehenden sich während des One-Shot Films besser orientieren konnten. Die Schnitte im ersten Testfilm wurden oft für verwirrend empfunden, obwohl seitens der Filmproduzenten darauf geachtet wurde, bei Schnitten die Hauptaugenmerke der Szenen an der gleichen Position zu halten. Die Ergebnisse des ersten Testfilms lassen darauf schließen, dass Schnitte in 360 Grad Filmen, zwar möglich sind, jedoch müssen Zusehende darauf vorbereitet werden. Auch sollten die Schnitte mit Bedacht gewählt werden. Denn zu viele Schnitte führen anscheinend schnell zu Verwirrungen und Orientierungslosigkeit.19

Ebenso, erklärt Kleisz, dass das Display und seine Auflösung eine große Rolle in der Übelkeit der Probanden spielt. Die von Smartphone unterstützen HMDs, schreibt er, verursachen tendenziell mehr Motion Sickness auf Grund der leistungsschwächeren Sensoren des Smartphones, welche mit den schnellen Bewegungen der Zusehenden nicht so gut mithalten können.20

Zum Schluss erwähnt Kleisz noch aktuelle Diskussionen zum Thema Immersion und interaktives Storytelling. Er zitiert Sebastian Sylwan und seinem Vortag „Narrative & Space in Cinematic VR“, welche „die Willentliche Aussetzung der Ungläubigkeit“(„suspension of disbelief“) in immersiven Erlebnisse thematisiert21: „die Zuseher_innen müssen die ihnen präsentierte VR-Welt akzeptieren und dürfen nicht durch gewisse Sachen daran erinnert werden, dass sie sich in der Tat in einer virtuellen Realität befinden.“22 Ebenso zitiert er Uli Futschik, welche vorschlägt, die Haupthandlung in 360 Grad Videos „immer im Mittelpunkt des Equirectangular, also dem Headsetursprung, dem Punkt und die Blickrichtung an dem das Headset zuerst aufgesetzt wurde, [so dass] die Zuseher_inner immer die Möglichkeit zur Handlung zurückzukehren. „23 Kleisz erwähnt auch die Möglichkeit 3D Audio einzusetzen, „um die Zuseher_innen über die genaue Richtung von Geschehnissen hinzuweisen“24; und präsentiert kurz und bündig die neue HMD-Technologie „Fove“, welche mittels Eye Tracking eine Art Tiefenunschärfe generiert, die „dabei hilft Teile des Bildes, auf welche sich die Zuseher_innen nicht konzentrieren, mittels Unschärfe zu verwischen.“25 Ebenso spricht er eine weitere erforschte Methode zur Leitung des Zuschauerblicks an, welche den gezielten Einsatz von Flackern (Illumination Modulation) im peripheren Sichtfeld anwendet.26 Er erwähnt das Diagramm von „The Soap Collective“, welche die Aufmerksamkeit der Zuseher_innen in 360 Grad Produktionen in drei Bereiche aufteilt und welche durch das von dem Kollektiv entwickelte Prinzip der „Guiding Action“ verwendet werden kann, um den Blick der Zuseher_innen in eine andere Richtung zu lenken.27

(fig. Cone of Focus, The Soap Collective, Quelle: Dwight, L.(2016), „These VR Film Tips show how to direct audience attention”, url: https://uploadvr.com/vr-film-tips-guiding-attention/, zitiert in: Kleisz, K. (2018), Die Leitung der Aufmerksamkeit, der Zusehenden, bei 360 Grad und VR Filmen, S.88-89)

(fig. Guiding Action, The Soap Collective, Quelle: Dwight, L.(2016), „These VR Film Tips show how to direct audience attention”, url: https://uploadvr.com/vr-film-tips-guiding-attention/, zitiert in: Kleisz, K. (2018), Die Leitung der Aufmerksamkeit, der Zusehenden, bei 360 Grad und VR Filmen, S.88-89)

Kleisz schliesst diesen Teil mit der Beobachtung ab, dass man den Blick der Zuschauer durch zwei Methoden lenken kann: (a) Diegetisch – durch Sounds, Ereignisse, Kommentare, welche innerhalb des Filmes passieren und auf welche die Charaktere des Filmes reagieren können-; und (b) Nicht-diegetisch – durch Sounds, Ereignisse, Kommentare, welche in der Postproduktion hinzugefügt werden und nicht unbedingt im Filmuniversum auftauchen. „Diese Effekte“, schreibt er, „können [allerdings] das Erlebnis des Filmes unterbrechen“.28

Die ziemlich chaotisch strukturierte Arbeit von Kevin Kleisz umfasst eine sehr große Menge an Themen, welche er leider auf Grund der Format-Begrenzung einer Diplomarbeit nur oberflächlich anschneiden konnte. Manche Teile seiner Probandentests sind nicht durch Erklärungen gerechtfertigt, was verursacht, dass seine Schlussfolgerungen teilweise nur schwierig nachvollziehbar sind und willkürlich wirken. Genauso willkürlich wirkt seine Analyse der Anwendbarkeit des 360 Grad Formats auf die klassischen kinografischen Bildgestaltungsmittel, welche weder von sekundärer Literatur noch von jeglicher Art von Test unterstützt wird. Nichtsdestotrotz liefert Kleisz einen guten Überblick über die Schwierigkeiten, Probleme und teilweise Irrfahrten, welche die Suche nach Kontrolle über die Aufmerksamkeit des 360Grad-Video-Benutzers beinhaltet.  Ebenso bringt seine Arbeit den fast lächerlichen Zustand der 360-Grad-Inhaltschaffenden ans Licht, welche sich noch die entscheidende Frage stellen müssen: normaler Stuhl oder Drehstuhl?

1. Kleisz, K. (2018), Die Leitung der Aufmerksamkeit, der Zusehenden, bei 360 Grad und VR Filmen, Diplomarbeit (Betreuer:Fh-Prof.Mag.Markus Wintersberger), Fachhochschule St.Pölten, S.I
2. Ebenso, S.2
3. Ebenso, S.15 – Zitate aus Vig, E.(2011), “Methods for the prediction and guidance of human gaze”, Lübeck, Url: https://d-nb.info/1024337146/34
4. „Ist der Betrachter eines Stereodisplays nicht in der Lage, die dem linken und rechten Auge gezeigten beiden unterschiedlichen Bilder zu fusionieren, so tritt eine „Diplopie“ auf: Der Betrachter sieht beide Bilder getrennt, er nimmt Doppelbilder wahr. Dies ist ein schwerwiegendes Problem in einer VR, da dies als überaus störend empfunden wird und sich negativ auf das Gefühl der Präsenz in einer VR auswirkt. Diplopie ist daher unbedingt zu vermeiden.“ In: Dörner, R., Boll,W., Grimm,P. & Jung, B. (Hrsg.)(2013), Virtual und Augmented Reality, Springer Verlag, Berlin, Heidelberg, zitiert in: Kleisz, K. (2018), Die Leitung der Aufmerksamkeit, der Zusehenden, bei 360 Grad und VR Filmen, 28
5. Kleisz, K. (2018), Die Leitung der Aufmerksamkeit, der Zusehenden, bei 360 Grad und VR Filmen, 28
6. Ebenso, S.41
7. Ebenso
8. Ebenso
9. Ebenso, S.42
10. Ebenso
11. Ebenso
12. Wohl, M.(2017), The 360° video handbook: a step-by-step guide to creating video for virtual reality, Michael Wohl Verlag, zitiert In: Kleisz, K. (2018), Die Leitung der Aufmerksamkeit, der Zusehenden, bei 360 Grad und VR Filmen,44
13. Kleisz, K. (2018), Die Leitung der Aufmerksamkeit, der Zusehenden, bei 360 Grad und VR Filmen,44
14. Ebenso
15. Ebenso, S.46
16. Wohl, M.(2017), The 360° video handbook: a step-by-step guide to creating video for virtual realit, zitiert In: Kleisz, K. (2018), Die Leitung der Aufmerksamkeit, der Zusehenden, bei 360 Grad und VR Filmen,47
17. Kleisz, K. (2018), Die Leitung der Aufmerksamkeit, der Zusehenden, bei 360 Grad und VR Filmen,48
18. Ebenso, S.49
19. Ebenso, S.78
20. Ebenso, S.79
21. Sywan,S.(2016), „Narrative & Space in Cinematic VR”, Vortrag gehalten auf der IVRPA Québec 2016 VR Conference, Url: https://www.youtube.com/watch?v=rk8NLjeHW4A, zitiert In: Kleisz, K. (2018), Die Leitung der Aufmerksamkeit, der Zusehenden, bei 360 Grad und VR Filmen,82
22. Kleisz, K. (2018), Die Leitung der Aufmerksamkeit, der Zusehenden, bei 360 Grad und VR Filmen,82
23. Futschik, U. (2016), Orchestrating Stories for Virtual Reality, Vortrag gehalten auf der IVRPA Québec 2016 VR Conference, Québec, Url: https://www.youtube.com/watch?v=f97RepWhY-Q, zitiert in: Kleisz, K. (2018), Die Leitung der Aufmerksamkeit, der Zusehenden, bei 360 Grad und VR Filmen,82
24. Kleisz, K. (2018), Die Leitung der Aufmerksamkeit, der Zusehenden, bei 360 Grad und VR Filmen,84
25. Ebenso, S.85
26. Ebenso
27. Dwight, L.(2016), „These VR Film Tips show how to direct audience attention”, url: https://uploadvr.com/vr-film-tips-guiding-attention/, zitiert in: Kleisz, K. (2018), Die Leitung der Aufmerksamkeit, der Zusehenden, bei 360 Grad und VR Filmen,88-89
28. Kleisz, K. (2018), Die Leitung der Aufmerksamkeit, der Zusehenden, bei 360 Grad und VR Filmen,90