Die KI-gestützte Augmented Reality-Creatorplattform ermöglicht immersive Touren
Mit einem Smartphone oder Tablet an die Vergangenheit von Gedenkstätten zurückzukehren oder in die Stadtplanung der Zukunft zu schauen: Dank der AR-Plattform des MediaTech Hub Startups ZAUBAR kann das leicht umgesetzt werden: „Wir erzählen mit unserer AR-App ortsbasiert Geschichten. Überall dort, wo es einen begrenzten physischen Ort gibt, den man digital erweitern kann“, beschreibt Anne-Sophie Panzer, COO, die Anwendung. Zusammen mit CEO Stefan Marx hat sie ZAUBAR im Jahr 2019 gegründet hat. Was ursprünglich als Storytelling-Tool für Journalist:innen im MIZ Babelsberg seinen Anfang nahm, ist mittlerweile als App bei Kulturinstitutionen, Touristikunternehmen, Fabriken, Fußballstadien oder dem öffentlichen Nahverkehr vertreten.
Mit der immersiven Technologie setzt ZAUBAR nicht nur in projektbezogener Zusammenarbeit punktgenau lokalisierbare AR-Erlebnisse um, sondern bietet auch Einzelpersonen ohne besonderes technisches Vorwissen die Möglichkeit, auf der Creatorplattform eigene AR-Touren zu erstellen. Bisher wurden Augmented Reality-Erlebnisse immer über Apps oder technisch minderwertige Web-AR ausgespielt. ZAUBAR entwickelte dieses Jahr allerdings eine neue Lösung über App Clips und Instant Apps, eine Mischung aus App und Web, die das beste beider Welten vereint: sofortige Erlebnisse ohne Qualitätseinbußen.
Digitaler Blick in die Vergangenheit
Das Projekt „The Liberation“, das ZAUBAR zusammen mit dem Bayrischen Rundfunk entwickelt hat, erzählt den Besucher:innen des Geländes der Gedenkstätte KZ Dachau vom Tag der Befreiung durch die amerikanische Armee am 29. April 1945. Mit dem AR-Angebot sollen vor allem junge Menschen angesprochen werden. Sie können beim Besuch des Lagers bestimmte Abschnitte unmittelbar vor Ort sowie gleichzeitig digital erleben und sich persönliche Geschichten der Inhaftierten ansehen. In den heute auf dem Gelände der Gedenkstätte nur noch teilweise erhaltenen und sichtbaren Baracken, mussten damals im KZ Dachau etwa 200.000 Gefangene ausharren, viele dem Hungertod nah, 32.000 starben. Welche Szenen spielten sich dort ab? Wie sah es damals aus? In der App legen sich lebensgroße schwarz-weiß Bilder, wie sie damals am Tag der Befreiung von einem Fotografen festgehalten wurden, über die Umgebung. So entsteht eine andere, unmittelbare Art der Geschichtsvermittlung.
In der Zusammenarbeit mit dem Team der Gedenkstätte und Auftraggeber Bayrischer Rundfunk wurde mit besonderer Sensibilität vorgegangen. Für die Anwendung „The Liberation“, die zum 75. Jahrestag der Befreiung im Jahr 2020 veröffentlicht wurde, gab es dann auch eine Nominierung des Grimme Online Award.
Ein weiteres Projekt mit historischem Hintergrund bekam nicht nur eine Nominierung, sondern konnte auch den Grimme Online Award 2023 in der Kategorie „Wissen und Bildung“ mit nach Hause nehmen: In Zusammenarbeit mit dem WDR war ZAUBAR für Konzept und Realisation des Projekts „Stolpersteine“ in Nordrhein-Westfalen verantwortlich. Die rund 16.000 Stolpersteine des Bundeslandes sind mittlerweile online verzeichnet. Sie erinnern an die Wohnorte der verfolgten und deportierten Personen während der Zeit des Nationalsozialismus. Wer sich mit Handy auf den Straßen auf die Suche begibt, kann sich mittels AR vor den gekennzeichneten Häusern mehr über die deportierten Bewohner:innen von damals erzählen lassen.
Digitaler Guide mit Entertainmentfaktor
Aktuell arbeitet ZAUBAR mit der Hamburger Hochbahn an einem spielerischen Tourist:innenführer. Hamburg hat mehr Tagesbesucher:innen als Paris. Das Pilotprojekt soll Hamburger Tagesbesucher:innen helfen, die richtigen Auswege aus dem S- und U-Bahn-Netz zu finden. Am Bahnsteig Jungfernstieg an der Binnenalster geht man mit seinen 14 verschiedenen Ausgängen schnell verloren. „Wir verwandeln den Jungfernstieg – überspitzt ausgedrückt – in ein Labyrinth. Mit dem Entertainmentfaktor soll vor allem die jüngere Generation angesprochen werden, die sich für AR und VR interessiert. Enter Wayment – Jungfernstieg – betitelt dann auch das Projekt mit einem Wortspiel aus Entertainment und Wayfinding“, so CEO Stefan Marx. Neben einfachen Navigationselementen gibt es auch spielerische Elemente, bei denen man mit der App Punkte sammeln kann. Ab 6. Dezember bietet die Hamburger Hochbahn die AR-Anwendung zum Download an.
Die Technik, die hinter den AR-Erlebnissen steht, arbeitet lokalisationsbasiert. Das Team von ZAUBAR schaut sich dafür die Orte mehrmals persönlich an. „Uns ist es wichtig, uns Gelände und Raum zu eigen zu machen“, so Anne-Sophie Panzer. „Der Übergang vom Ort – also dem physischen Raum – hin zur Überlagerung mit digitalen Inhalten – soll reibungslos sein.“
Und auch die soziale Komponente sei wichtig. Während man mit VR komplett in der digitalen Welt verschwinde, könne man mit AR mit anderen agieren, sich etwas gemeinsam anschauen und erleben. Man wird herausgefordert, vor die Tür zu gehen. Für die Interaktion benötigt man nur ein Handy, das jede:r mit sich in der Tasche trägt. Zukünftig werde verstärkt auch die Vision Pro und andere Hardware zum Einsatz kommen, momentan stünde aber der Anspruch im Vordergrund, eine schlanke, sehr nutzerfreundliche Technik bereitzustellen.
Lokalisierung über VPS oder Marker mit QR-Codes
An öffentlichen Plätzen setzt ZAUBAR auf die VPS Visual Position System Technology. Scannt man eine bestimmte Straßenseite, erkennt das System diese und kann auf den Zentimeter genau visualisieren, wo jemand steht. An Orten wie der Gedenkstätte KZ Dachau und Privatgeländen arbeitet das Team auf Privatgeländen mit Markern und QR-Codes. So wurden bei einer Ausstellung des Kunstpalastes Düsseldorf die Gemälde in der App selbst zu Markern. Ein weiteres Projekt mit der Gedenkstätte Hohenschönhausen zeigt AR in der dortigen Daueraustellung in Kellerräumen – der ehemaligen Arbeitsstätte dort inhaftierter Frauen. An einem historischen Ort wie diesem soll möglichst wenig eingegriffen werden, deshalb sind Volumetrische Aufnahmen von Zeitzeuginnen ebenfalls über Marker an den Wänden abrufbar.
Neben solchen aufwendigen Aufnahmen empfiehlt ZAUBAR seinen Kund:innen aber die einfachere Variante der Green Screen-Aufnahmen, die jede:r mittlerweile mit grünem Hintergrund und Bildbearbeitungstool selbst umsetzen könne. Zwar sind volumetrische Aufnahmen mit ihrem 3D-Scan von Personen sehr realistisch, aber bereits eine zweidimensionale Darstellung der Zeitzeug:innen kann eine Geschichte für VR gut illustrieren. So könne jede:r in wenigen Schritten auch eine eigene Virtual Reality Tour erstellen – wie etwa der Berliner Stadtführer Jeff Mannes. Er nutzt ZAUBAR für seine Themen-Touren wie „History of LGBTQ Berlin“, die er rund um den Nollendorfplatz anbietet. Über AR können die Teilnehmenden Bilder und Porträts der wichtigsten Protagonist:innen der damaligen Zeit abrufen. Statt des Bio-Supermarkts an der Ecke entsteht vor ihren Augen mittels AR ein Bild des damals dort ansässigen Clubs El Dorado, dem Berghain der zwanziger Jahre.
Regelmäßige Meetups für die XR-Community der Hauptstadtregion
Content-Erstellung ist oft aufwendig und teuer. Zukünftig werde KI stärker eingesetzt. Hier sieht das Team von ZAUBAR eine große Chance, automatisiert Welten und Inhalte in 3D zu erstellen. Anne-Sophie Panzer dazu: „Wir experimentieren viel mit generativer KI, wobei für AR und VR die Begriffe hier verschwimmen. Und wir arbeiten daran, Standarttechnologien weiterzuentwickeln, für uns zu trainieren und in unser CMS einzubauen.“
Um die Community in Berlin vor Ort zu stärken und ein Netzwerk rund um Mixed Reality aufzubauen, arbeitet ZAUBAR eng mit der Telekom zusammen. Regelmäßig organisieren sie Meetups im Hubraum Space der Telekom in Schöneberg. Hier gibt es die Gelegenheit, die Vision Pro auszuprobieren, Produkte zu testen und sich mit andern XR-Entwickler:innen und Enthusiasten austauschen.
Interessierte sind herzlichen eingeladen. Informationen zum nächsten Meetup gibt es unter meetups@zaubar.com.
Mehr über den MTH Blog
Die Medientechnologien der Zukunft werden bereits heute angewendet – nicht nur im Entertainmentbereich sondern in den unterschiedlichsten Branchen. Für unseren MediaTech Hub Potsdam Blog spricht Christine Lentz einmal im Monat mit Tech-Enthusiast:innen, Unternehmer:innen und Forscher:innen und erzählt die Geschichten, die hinter ihren innovativen Geschäftsmodellen, Ideen, Projekten oder Kooperationen stecken.