eyetracking – Digitale Primaten

»Do not enter« – Storytelling mit Eye-Tracking

Das gemeinsame Projekt mit zwei Studenten des Bereichs Medientechnik ist nun abgeschlossen. Wie bereits in vorherigen Beiträgen berichtet ging es darum eine Demo zu bauen, die zeigt, welche möglichen Funktionen ein Eye-Tracker bietet.

Die Reise führt den Nutzer durch ein verlassenes Haus, durch das er via Augen navigieren kann. Unterwegs werden Eye-Tracker-spezifische Möglichkeiten berücksichtigt. So kann z. B. in der Eingangshalle eine Taschenlampe mit den Augen gesteuert werden. An späterer Stelle wie z. B. dem Schlafzimmer mit Spiegel entwischt ein Gespenst, wenn man in den Spiegel schaut oder das Piano im nächsten Raum gibt Töne von sich, wenn man darauf schaut.

Die Reise durch das Haus ist letztendlich keine richtige Story, sondern eine passende Aneinanderreihung von Fotos, die eine einigermaßen einheitliche Welt aufbauen sollen.

Der Prozess

Die Arbeit mit den Medientechnikern war sehr angenehm und gut aufeinander abgestimmt. Man merkt jedoch schnell, an welchen Stellen Probleme zwischen den zwei Disziplinen Medientechnik und Design auftauchen und wo man sich gut abstimmen muss. So ist nicht jedes Design technisch umsetzbar und es müssen natürlich Kompromisse geschlossen werden. Ein Beispiel hierfür ist ein »Zurück-Pfeil«, den ich im Entwurf sowohl kleiner gestaltet als auch an anderer Stelle, näher am Rand, positioniert hatte. Das war jedoch nicht möglich, da der Eye-Tracker auf einen so kleinen Bereich am Rand nicht reagiert hat.

Passwort: eyetracking

Der Abschluss

Abschließend bin ich aus grafischer und konzeptioneller Sicht zwar nicht zufrieden mit dem Genre und Projekt an sich, dennoch war es eine gute Erfahrung in der Zusammenarbeit beider Disziplinen und eine gute Möglichkeit die Technik des Eye-Tracking für meine Arbeit in Betracht zu ziehen. Insgesamt halte ich es für keine Technologie, die eine große Zukunft im Bereich Storytelling haben wird, jedoch könnte es eine Funktion sein, die ähnlich der Webcam standardmäßig im Computer integriert ist.
Zusätzlich muss man natürlich kritisch hinterfragen, wie gut eine Technologie ist, die so sehr auf den reinen Instinkt abzielt. Damit ist es nicht nur möglich gezielt Inhalte auszuwählen. Wenn die Reaktionszeit des Eye-Trackers sehr schnell eingestellt ist, entscheidet der erste instinktive Blick und man ist ihm voll und ganz ausgesetzt.

Abbildungen

Die Bilder sind der Reihenfolge nach im Video zu finden.

1. AUSSENANSICHT
Alle: Lizenzfrei

2. EINGANGSHALLE
Eingangshalle | Zlatko Unger | Persönliche Zustimmung
Änderungen: Farbe, Belichtung , Einbau des Kerzenständers

Kerzenständer | Rod Waddington | CC BY-NC-SA 2.0
Änderungen: Einbau in Eingangshalle, Animation der Flammen, freigestellt

3. FLUR
Flur | stimpy023 (Flickr) | CC BY-NC-ND 2.0
Änderungen: Farbe, Belichtung

4. PIANOZIMMER
Zimmer | Vincent Ferron | CC BY-NC 2.0
Änderungen: Farbe, Belichtung

5. SCHLAFZIMMER
Zimmer | Vincent Ferron | CC BY-NC 2.0
Änderungen: Farbe, Belichtung, Änderung der Türfarbe

6. BILLIARDRAUM
Zimmer | Vincent Ferron | CC BY-NC 2.0
Änderungen: Farbe, Belichtung, Einbau einer animierten Maus

7. FLUR NACH BILLIARDRAUM
Flur | wildhack (Flickr) | CC BY-NC-SA 2.0
Änderungen: Farbe, Belichtung

8. LEERES ZIMMER
Bilderrahmen: Lizenzfrei
Bild im Bilderrahmen | Sarah Ackerman | CC BY 2.0
Änderungen: Farbe, Belichtung, Einbau des Bilderrahmens in den Raum, Einbau des Bildes in den Rahmen, Bild im Rahmen: Einbau eines Portraits

DREI ZIMMER ROSE HALL
Raum 1, Raum 2, Raum 3 | Sarah Ackerman | CC BY 2.0
Änderungen: Farbe, Belichtung, Portraiteinbau (R. 1), Türeinbau (R. 2)

9. KÄSTCHEN
Kästchen | Matthew Tomlinson | CC BY-NC 2.0
Änderungen: Farbe, Belichtung, Einbau einer Postkarte

Das verlassene Haus

Für unser Eye-Tracking-Projekt basteln wir gerade an einem Storyboard und testen die technischen Möglichkeiten des Geräts. In zwei Wochen soll die Demo dann vorgestellt werden.

Für das Eye-Tracking-Projekt (Wieso Eye-Tracking anstatt der Bedienung mit einer Maus oder der Tastatur? ») haben wir uns bereits für das mir ferne Genre »Mystery« entschieden. Genauer möchten wir ein verlassenes Haus entwerfen, durch das man via Eye-Tracking navigieren kann. Grundlage des Projekts sollen dabei Fotografien aus dem Netz sein, die mit der CC0-Lizenz gekennzeichnet sind.

Die Wahl des Genres ist damit begründet, dass hier besondere Eigenheiten des Eye-Trackings verwendet werden können. Für die reine Navigation durch ein Haus ständen genügend Alternativen wie z. B. die Maus zur Verfügung und würden den Einsatz von Eye-Tracking – aus meiner Sicht – nicht rechtfertigen. Viel mehr können damit beispielsweise Szenarien entwickelt werden, in denen ein Objekt reagiert, wenn man darauf schaut oder gerade dann, wenn es außerhalb des Blickes ist und nur durch eine Bewegung im Augenwinkel vermutet werden kann.

Für das Haus entwickele ich momentan ein erstes Storyboard, während die zwei Studenten aus dem Bereich Medientechnik verschiedene technische Möglichkeiten des Eye-Trackers testen. Die besondere Schwierigkeit beim Storyboard ist die Suche nach Fotografien, die natürlich auch die Entwicklung des Verlaufs beeinflussen. Durch die CC0-Lizenzen fällt es schwer ein einheitliches Bild zu schaffen. Die Unterschiede sollen, wenn möglich, durch anschließende Bildbearbeitung abgeschwächt werden.

Für die restliche Bearbeitung haben wir nun noch genau zwei Wochen Zeit bis die Demo vorgestellt werden soll.

Wieso Eye-Tracking anstatt der Bedienung mit einer Maus oder der Tastatur?

Erste Ansätze für das Gemeinschaftsprojekt mit zwei Studenten im Bereich Medientechnik. Welche spezifischen Möglichkeiten bieten sich für eine Bedienung mit einem Eye-Tracker an?

Bei einem erneuten Treffen mit den Medientechnikern, wollen wir erste Ansätze für unser Projekt, nämlich die Möglichkeiten eines Eye-Trackers zu zeigen, finden. Um die wenige Zeit gut nutzen zu können, sind die ersten Überlegungen, primär mit vorhandenem Material zu arbeiten. Für aufwändige 3D-Modelle ist die Zeit zu kurz und ein erster festgelegter Pfeiler ist, dass wir im zwei-dimensionalen arbeiten wollen. Des Weiteren reduzieren wir die Anwendung auf einen zusammenhängenden Inhalt, der aber keinen konkreten Plot mit verschiedenen Erzähl-Strängen oder gut entwickelten Charakteren besitzen muss.
Um den Inhalt – welcher auch immer – gut verknüpfen zu können, ist eine erste Überlegung mit einem selbst geschriebenen Text zu arbeiten, der über gefundenes »Creative Commons«-Material gelegt werden kann. Ein gutes Beispiel hierzu finde ich die Arbeit »Grosse Fatigue« von Camille Henrot, die den Versuch wagt das Universum von Beginn an zu erzählen. Eine weitere Idee ist die Umsetzung einer Art Zeitmaschine, da man auch hier sehr lose und dennoch zusammenhängend, Inhalte miteinander verknüpfen könnte. Des Weiteren wäre die Auseinandersetzung mit einem bestimmten Thema, das mit einen Kosmos einzelner Informationen umspannt werden könnte, interessant. So wäre es möglich Stück für Stück die verschiedenen Aspekte zu betrachten, um sich so zu informieren. Bei letzteren Beispielen könnte man als Fokussierung für den Eye-Tracker Objekte wie Bilderrahmen, Notizbücher oder auch Personen nutzen, über die man jeweils tiefer ins Geschehen eintauchen würde.

Grundsätzlich steht jedoch die Frage im Raum, welchen Vorteil das Eye-Tracking gegenüber einer Bedienung mit der Maus oder Tastatur wirklich hat. Die vorangegangenen Beispiele wären auch sehr gut ohne Eye-Tracking möglich, da die spezifischen Eigenheiten dieser Technologie nicht wirklich genutzt wären. Was macht das Eye-Tracking also aus? Wichtig für uns ist, dass der Blick selbst eine große Rolle spielt. Dazu gehört z. B., dass »Aktionen« genau dann ausgelöst werden, wenn man nicht an die jeweilige Stelle schaut oder genau dann, wenn man etwas fokussiert. Ein »Gimmick«, das wir des Weiteren gerne einbauen würden, ist die Erkundung und Entdeckung durch ein eingeschränktes Sichtfeld. In einem Video von tobii (10 ways to use eye tracking in games ») wird diese Funktion ab Minute 2:35 als Taschenlampe vorgestellt.

Auch wenn mir persönlich das Genre sehr fern ist, entscheiden wir uns für eine Anwendung, die Richtung »Mystery« geht. In den nächsten Schritten, möchten wir schnellstmöglich ein grobes Konzept dafür entwickeln, um schnell in die Umsetzung gehen zu können. Denn neben der Zusammenstellung des Materials wird sehr viel Zeit für mögliche Animationen oder die Programmierung und Optimierung nötig sein.

Storytelling mit Hilfe von Eye-Tracking

Eine erste praktische Anwendung, um einen konkreteren Ansatz für meine Master-Arbeit zu finden.

Um einen konkreteren Ansatz für mein Master-Projekt zu finden, hat mich Prof. Anja Vormann in Kontakt mit Christian Geiger gebracht, der an der Hochschule Düsseldorf Professor für Mixed Reality und Visualisierung ist. Nach einem ersten Vortreffen, konnte der Kontakt zu zwei Studenten aus dem Bereich Medientechnik hergestellt werden. Gemeinsam möchten wir nun bis Ende April ein Projekt realisieren, das in erster Linie dazu dient, Möglichkeiten eines Eye-Trackers zu zeigen. Mit der Nutzung eines Eye-Tracker von tobii wurde bereits eine kleine Anwendung realisiert, in der man bei der Fokussierung festgelegter Punkte in die nächste Bildebene gelangt. So ist zu Beginn beispielsweise ein Haus mit Fenstern, beim Blick auf eine Weltkugel im Fenster gelangt man in das Zimmer. So arbeitet man sich Ebene für Ebene vor bis sich das ganze als Endlosschleife wiederholt.
Unsere Aufgabe ist es nun, eine ähnliche Anwendung umzusetzen, die die Möglichkeiten mit zusammenhängendem Inhalt zeigt. Dabei soll zunächst keine »Story« im eigentlichen Sinn entstehen, die Inhalte sollten jedoch nicht einfach lose und unabhängig voneinander sein.