Wie eine abgestreifte Schlangenhaut baumeln die Überreste der Welt von der Decke – nachlässig über eine nackte Glühbirne gestülpt. Es ist die makaber wirkende Folie eines Geografie-Globus, die Martin Fröhlich hier aufgehängt hat. «Ich brauchte eine Kugel», sagt er lakonisch, lächelt und zeigt auf die nackte weisse Kugel auf einem Tischchen, über dem zwei Lichtprojektoren und diverse optische Sensoren angebracht sind. Dann schaltet er die Lichtprojektoren ein, startet am Computer ein Programm und nimmt ein paar Einstellungen vor. Plötzlich wird der Globus mit Leben gefüllt: Die Projektoren erzeugen auf der Kugeloberfläche die Illusion, dass man in ihr Inneres blicken kann – in 3D. Man sieht das glühende Herz einer virtuellen Erde, darüber schweben die Kontinente. Dreht Fröhlich die Kugel, verschieben sich die Landflächen und das Innere der Kugel korrekt zueinander. Egal von wo man schaut, die Illusion bleibt bestehen.

Die Zauberei nennt sich «Spatial Augmented Reality» (SAR) – räumlich erweiterte Realität. SAR führt die Idee der herkömmlichen Augmented Reality (siehe Kasten) in die dritte Dimension und dürfte eines Tages vielleicht sogar in das münden, was Fans der TV-Serie «Star Trek» als Holodeck kennen: eine komplett künstlich erzeugte Fantasiewelt, mit der Menschen aus Fleisch und Blut physisch interagieren können. Momentan ist das aber noch ferne Zukunftsmusik, kehren wir zuerst einmal zurück in die Gegenwart.

Das Spiel mit der Illusion

Wir befinden uns in einer Erfinder-Garage in einem Hinterhof im Zürcher Quartier Alt-Wiedikon. Hier hat Martin Fröhlich sein SAR-Labor eingerichtet, zwischen aufgebockten Arbeitsplatten, Bücherregalen voller Kisten und Geräte, umgeben mit Kunstobjekten und mit der obligatorischen Kaffeemaschine mit Tassen aus dem Brockenhaus in Reichweite. Er nutze das Labor indessen nur noch selten, sagt er. Der Medienkünstler forscht hauptsächlich an immersiven Technologien und ist der operative Leiter des  Immersive Arts Space. Die Forschungsgruppe setzt sich an der Zürcher Hochschule der Künste mit der Interaktion zwischen Kunst, Design und digitalen Technologien auseinander; Fröhlichs Spezialgebiet ist das Projection Mapping. Die Technologie erlaubt es, Projektionen randgenau auf eine zwei- oder dreidimensionale Oberfläche anzupassen. Wie bei anderen digitalen Technologien werden englische Begriffe genutzt, für die es oft nur holprige deutsche Übersetzungen gibt. In seiner Garage kann Fröhlich indessen am besten zeigen, was hinter der Spatial Augmented Reality und der «Projektionsabbildung» steckt.

Zuvorderst geht es um die Erzeugung optischer Illusionen im dreidimensionalen Raum. Punktgenaue Licht-Projektionen auf Gegenstände, Menschen und Räume legen eine virtuelle Realität über die reale Welt und erweitern diese wie bei der erwähnten Weltkugel um faszinierende Trugbilder. So zum Beispiel auch im Projekt «HeliumDrone», wo Fröhlich und sein Team mit Echtzeitprojektionen experimentieren. Beamer projizieren darin Bilder exakt auf autonom im Raum schwebende Heliumballone, ohne dass es bei den Projektionen zu Überblendungen oder Überlappungen kommt.

Wo Millisekunden entscheiden

So leichtfüssig die Illusionen scheint – dahinter steckt ein hochkomplexes Zusammenspiel von Tracking-Punkten, Sensoren, Kameras, Projektoren und der Software: Blitzschnell werden Daten hin- und hergeschickt, virtuelle Räume geschaffen, Flächen berechnet, Beamer angesteuert. Die Software muss auf den Millimeter genau festlegen, wo die Projektion des einen Beamers aufhört und diejenige das anderen anfängt, wo es mehr Licht braucht und wo weniger. Kleinste Fehler können die Illusion zerstören. «Die Software musste ich selbst schreiben, es gab dafür noch keine Applikationen», sagt Fröhlich. Der grösste Stolperstein sei die Zeitverzögerung, die sogenannte Latenz. Wenn sich ein Mensch oder ein Objekt bewegt, muss die Projektion fast ohne Verzögerung erfolgen. Eine Latenz von etwas über 40 Millisekunden wird vom Auge bereits bemerkt. «Mittlerweile können wir fast in Echtzeit auch Körper projizieren, die sich bewegen», sagt Fröhlich. Dazu brauche es nicht einmal superteure Rechner, ein leistungsfähiger Game-PC und die 3-D-Kamera eines iPhones würden genügen. Nur die Tracking-Technologie sei teuer.

Mittlerweile können wir fast in Echtzeit auch Körper projizieren, die sich bewegen

«Ursprünglich dachte ich, Museen und Messen könnten interessiert sein an diesen Möglichkeiten», sagt Fröhlich. Er stiess jedoch auf verschlossene Türen. Stattdessen haben sich im künstlerischen Umfeld und im Theater spannende Spielfelder aufgetan. «Projektionen auf die Gesichter und Körper von Schauspielerinnen und Schauspielern sind nichts Neues», sagt Fröhlich. Neu aber ist, dass sich diese frei im Raum bewegen können und die Projektion folgt.

Eindrücklich demonstriert dies das Kunstprojekt “Presence&Absence” des Immersive Arts Space: In der Tanzperformance werden mit Gummibändern bespannte Rahmen als Bildschirme genutzt. Tänzer bewegen sich frei vor, durch und hinter die Bildschirme. Körperteile, die sich hinter den Bildschirmen befinden, werden durch projizierte Fantasiekörperteile ersetzt. Selbst wenn die Tänzer die Bildschirmrahmen bewegen oder kippen, werden die Kunstbilder korrekt projiziert. Damit der Computer die Positionen der Tänzer und Bildschirme erkennt, wird das aus der Filmwelt bekannte Motion-Capturing genutzt.

«SAR öffnet Türen für neue Möglichkeitsräume», sagt Fröhlich. Es brauche aber die Künstler, die diese Räume erforschten und mit ihren Ideen zu neuen technischen Lösungen anspornen. Erst dieses Zusammenspiel befruchte den Fortschritt. «Das Kunstwerk muss jedoch funktionieren und über die reine technische Spielerei hinausgehen», findet Fröhlich.

Sobald sich die Vorteile der Vermischung von Realität und digitaler Welt abzeichnen, wird die Technologie jedoch in allen Bereichen Einzug halten

In der Industrie ist die Spatial Augmented Reality auch noch nicht angekommen. Mögliche Anwendungsgebiete gibt es unzählige: in der Medizin bei Operationen, in der Schulung, in der industriellen Fertigung, beim sogenannten «Smart Manufacturing» oder im Industriedesign. Vorstellbar ist beispielsweise, das Erscheinungsbild eines Autos für Vorführzwecke dynamisch zu ändern. Auch könnte Werbung live auf sich bewegende Oberflächen projiziert werden. In der industriellen Fertigung würde SAR beispielsweise das Einrichten von Maschinen unterstützen. «Sobald sich die Vorteile der Vermischung von Realität und digitaler Welt abzeichnen, wird die Technologie jedoch in allen Bereichen Einzug halten», ist er überzeugt. Entscheidend sei dabei das Verhältnis von Nutzen und Aufwand.

Die willentliche Aussetzung der Ungläubigkeit

Für die Zukunft sieht der Forscher die verstärkte Integration von Virtual Reality – jener Technologie, die dreidimensionale Räume mittels VR-Brillen wie der Oculus erschafft. Vorstellbar wäre so beispielsweise, dass die Trägerin einer VR-Brille eine künstliche Realität erlebt, die gleichzeitig auf den realen Raum projiziert wird, in dem sich die Nutzerin befindet. Sie würde sich so – von aussen betrachtet – physisch im virtuellen Raum befinden, den sie gerade selbst in der Brille erlebt.

Das Ziel sei eine «Suspension of Disbelief», sagt Fröhlich – die «willentliche Aussetzung der Ungläubigkeit». Der Begriff bezeichnet den Zustand, wenn Menschen den künstlichen Raum als momentane Realität akzeptieren. Dies geschieht auch beim Lesen eines Buches: Wir sind bereit, in die vom Schriftsteller geschaffene Welt einzutauchen und sie zu glauben. Umso faszinierender wird dies, wenn die Spatial Augemented Reality uns Glauben macht, wir würden uns räumlich tatsächlich in einer Fantasiewelt befinden. Fröhlich: «Wir kreieren eine Traumsituation ohne Bewusstsein, dass wir träumen.»

Wir kreieren eine Traumsituation ohne Bewusstsein, dass wir träumen

Bis das jedoch eingangs erwähnte Holodeck aus «Star Trek» möglich ist, dürfte laut Fröhlich noch viel Zeit vergehen. Die von der Decke hängende alte Welt seines Ateliers ist indessen ein starkes Zeichen dafür, wie schnell sich die Welt wegen neuer Illusionstechnologien wie SAR ändert.