01 / ÜBERBLICK
Eine Hackathon-Szene, vier Arten von Material
Eine gute 3D-Szene besteht nicht immer aus nur einem Asset-Typ. Manchmal beginnt sie mit einem realen Ort. Manchmal braucht sie eine imaginierte Erweiterung. Manchmal wird sie erst bedeutsam, wenn Charaktere den Raum betreten und dem Betrachter einen Grund geben, sich dafür zu interessieren. (Besonderer Dank an den Projektinhaber Spatial Dreamer.)
Genau das macht dieses Hackathon-Projekt interessant. Der Teilnehmer nutzte PortalCam, Marble und Tripo nicht einfach als getrennte Werkzeuge in einer Produktionspipeline. Er nutzte sie als unterschiedliche Wege, eine Erzählwelt sichtbar zu machen: PortalCam erfasste die Textur und Besonderheit eines realen Geschäftsviertels in Santa Barbara; Marble half, diese erfasste Welt um eine KI-generierte Strandumgebung zu erweitern; Tripo steuerte meshbasierte Charakter-Assets bei, platzierte ein Paar in der Szene und verwandelte die Umgebung von einer räumlichen Demo in etwas, das einem erzählerischen Moment näherkommt.
Der Teilnehmer traf außerdem eine praktische technische Entscheidung: Nachdem der Raum als 3DGS gescannt war, platzierte er virtuelle Kameras in der Szene, renderte Bilder aus diesen Blickwinkeln und nutzte diese Bilder, um eine Mesh-Version der Umgebung mit weniger Polygonen zu rekonstruieren. Diese Mesh-Version half dem Gesamtprojekt, auf leistungsschwächeren Rechnern flüssiger zu laufen und sich mit anderen Mesh-Assets zu integrieren.
Das Ergebnis ist nicht bloß eine Kombination aus Gaussian Splatting, Mesh-Rekonstruktion und KI-Generierung. Es ist ein kleines, aber deutliches Beispiel dafür, wohin sich das räumliche Schaffen entwickelt: hin zu Workflows, in denen das Asset-Format nicht die Geschichte ist. Die Geschichte ist das, was diese Assets möglich machen.
02 / ÜBERBLICK
Von einem realen Ort ausgehen
Das Projekt beginnt damit, dass PortalCam ein Geschäftsviertel in Santa Barbara scannt. Das ist wichtig, weil Reality Capture einer Szene etwas gibt, das sich nur schwer von Grund auf erfinden lässt: die Unregelmäßigkeit der realen Welt. Ladenfronten, Straßen, Beschilderung, Maßstab, räumliche Beziehungen und kleine Umgebungsdetails tragen allesamt das Gefühl eines konkreten Ortes in sich.
Für Kreative ist diese Art von Verankerung wertvoll. Sie verleiht der Szene sofort ein Gefühl von Verortung. Der Betrachter blickt nicht auf einen generischen Häuserblock. Er blickt auf einen Raum, der bewohnt, durchschritten und physisch präsent wirkt.
Im XGRIDS-Workflow liefert PortalCam die erfassten Raumdaten, die anschließend zu einer hochwertigen 3D-Gaussian-Splatting-Szene verarbeitet werden können. Das gibt Kreativen einen schnellen Weg, reale Umgebungen in die digitale Produktion zu bringen, ohne jede Oberfläche von Hand nachzubauen. Aber ein erfasster Ort ist immer noch nur ein Teil einer Geschichte.
„In diesem Projekt waren Gaussian Splatting und Mesh-Generierung nicht die Geschichte. Sie waren die Materialien, mit denen die Geschichte glaubwürdig gemacht wurde.“
03 / ÜBERBLICK
Die Realität mit GenAI erweitern
Der Teilnehmer blieb nicht beim gescannten Geschäftsviertel stehen. Er nutzte Marble, um eine Strandumgebung zu generieren, und kombinierte sie mit der erfassten Szene zu einer vollständigeren Welt. An diesem Punkt wird das Projekt zu mehr als einer Reality-Capture-Demo.
Ein realer Scan liefert Authentizität, ist aber an das gebunden, was während der Aufnahme physisch vorhanden war. GenAI kann helfen, jene Teile der Welt zu ergänzen, die die Geschichte braucht, die die Kamera aber nicht erfasst hat. In diesem Fall wird der Strand zu einer Erweiterung des Schauplatzes Santa Barbara und fügt der Szene eine andere emotionale und visuelle Ebene hinzu.
Der entscheidende Punkt ist nicht, dass ein Teil real und der andere generiert ist. Der Punkt ist, dass jeder Teil eine Rolle hat. Der PortalCam-Scan verankert die Welt. Der mit Marble generierte Strand erweitert sie. Zusammen schaffen sie eine umfassendere Umgebung, als es jedes Asset allein könnte.

04 / ÜBERBLICK
Aus einem erfassten Splat ein leichtgewichtiges Mesh machen
Spatial Dreamer traf nach der Erfassung der Santa-Barbara-Szene außerdem eine wichtige technische Entscheidung. Statt die ursprüngliche 3DGS-Szene im gesamten Projekt direkt zu verwenden, platzierte er virtuelle Kameras in der Splat-Szene und renderte Bilder aus diesen Blickwinkeln. Diese gerenderten Bilder wurden dann genutzt, um eine Mesh-Version der Umgebung mit weniger Polygonen zu rekonstruieren.
Das lag nicht daran, dass die Gaussian-Splatting-Szene keinen Wert gehabt hätte. Ganz im Gegenteil: Der Splat lieferte die hochwertige räumliche Quelle. Aber für dieses konkrete Hackathon-Projekt wollte der Teilnehmer, dass die finale Szene leichter auf leistungsschwächeren Rechnern läuft und sich natürlich mit anderen meshbasierten Assets integriert, einschließlich der mit Tripo generierten Paar-Charaktere.
In diesem Sinne wurde der Workflow zu einer praktischen Brücke: die Realität als 3DGS-Szene mit hoher Wiedergabetreue erfassen, über virtuelle Kamera-Renderings eine leichtere Mesh-Repräsentation ableiten und diese Mesh-Umgebung dann mit generierten Charakteren und weiteren Szenenelementen komponieren. Es ist eine nützliche Erinnerung daran, dass 3DGS und Mesh nicht in jedem Workflow konkurrierende Ideen sind: Manchmal ist der Splat der beste Weg, den realen Ort zu erfassen und zu bewahren, und manchmal ist Mesh der beste Weg, das Erlebnis für eine bestimmte Runtime, ein bestimmtes Gerät oder ein bestimmtes Interaktionsmodell zu verpacken.
05 / ÜBERBLICK
Mit Tripo generierte Charaktere in die Szene bringen
Ein Ort wird lesbarer, wenn jemand da ist. Indem der Teilnehmer mit Tripo meshbasierte Paar-Charaktere generierte, fügte er der Szene eine menschliche Präsenz hinzu. Die Charaktere müssen nicht das technische Herzstück sein. Ihr Wert ist erzählerisch: Sie geben dem Betrachter einen Fokuspunkt und deuten an, dass in der Umgebung etwas geschieht.
Das verändert, wie die Szene wahrgenommen wird. Ohne Charaktere kann das Ergebnis wie eine räumliche Präsentation wirken. Mit Charakteren beginnt dieselbe Umgebung, wie ein Schauplatz zu wirken. Der Betrachter kann sich einen Spaziergang, eine Begegnung, eine Erinnerung oder einen Moment zwischen zwei Menschen vorstellen.
Das ist eine subtile, aber wichtige Verschiebung. Die Technologie ist weiterhin sichtbar, aber sie ist nicht mehr das Einzige, was der Betrachter sieht.
06 / ÜBERBLICK
Wann das Beibehalten des Splats die bessere Wahl ist
Eine Gaussian-Splatting-Szene in Mesh umzuwandeln ist nicht immer notwendig. Wenn das Ziel darin besteht, eine hochwertige 3DGS-Szene zu betrachten, zu erkunden oder zu veröffentlichen, können Teams die Szene in ihrem nativen Splat-Format belassen und das XGRIDS Web SDK für die Online-Ansicht nutzen. Das Web SDK unterstützt LOD-Steuerung, sodass sich das Erlebnis an unterschiedliche Geräte anpassen kann, einschließlich Smartphones.
Beim Browsen kann Streaming-LOD die passende Detailstufe schrittweise laden, basierend auf der Position des Betrachters und der Leistungsfähigkeit des Geräts. So lassen sich Gaussian-Szenen in Zigmillionen-Größenordnung flüssig erkunden, selbst auf Smartphones, ohne den gesamten Datensatz zu zwingen, sich wie ein traditionelles Mesh-Projekt zu verhalten.
Damit hängt die Wahl vom Workflow ab. Für direktes 3DGS-Browsing kann das Beibehalten des Splats die visuelle Wiedergabetreue bewahren und die Streaming- und LOD-Fähigkeiten von XGRIDS nutzen. Für ein interaktives Projekt auf leistungsschwächerer Hardware, das eine erfasste Umgebung mit Mesh-Charakteren und anderen generierten Assets kombinieren muss, kann die Umwandlung von Teilen der Szene in ein leichtgewichtiges Mesh eine praktische Produktionsentscheidung sein. Entscheidend ist, keine Repräsentation als universell besser zu behandeln. Entscheidend ist, die Repräsentation zu wählen, die der Geschichte, dem Gerät und dem Erlebnis am besten dient.
07 / ÜBERBLICK
Materialien, nicht die Geschichte: Was das für das räumliche Schaffen bedeutet
Dieses Projekt kombiniert unterschiedliche Asset-Typen: erfasstes 3DGS, eine KI-generierte Umgebung, rekonstruiertes Mesh und Mesh-Charaktere. Aus technischer Sicht sind diese Formate unterschiedlich – sie können unterschiedliche Rendering-Anforderungen, Bearbeitungsverhalten, Performance-Profile und Produktionsbeschränkungen haben. Für kreative Workflows ist die interessanteste Frage jedoch nicht immer, ob jedes Asset aus derselben Repräsentation stammt. Die bessere Frage lautet: Können diese Assets zusammenwirken, um die Szene glaubwürdiger, ausdrucksstärker oder nützlicher für das Erzählen zu machen? In diesem Hackathon-Projekt lautet die Antwort ja. PortalCam, Marble und Tripo steuern jeweils etwas anderes bei, und die finale Szene funktioniert, weil diese Beiträge einem gemeinsamen kreativen Zweck dienen.
Reality Capture und GenAI werden oft als getrennte Richtungen diskutiert. Reality Capture wird mit Genauigkeit, Rekonstruktion und der originalgetreuen Digitalisierung realer Orte verbunden. GenAI wird mit Geschwindigkeit, Vorstellungskraft und der Fähigkeit verbunden, das zu erschaffen, was nicht erfasst wurde. Dieses Projekt zeigt, warum beide zusammen stärker sind: Reality Capture gibt Kreativen ein verlässliches Fundament, GenAI gibt ihnen Raum, dieses Fundament zu erweitern, Charaktergenerierung gibt der Szene eine menschliche Ebene, und Mesh-Rekonstruktion gibt dem Projekt einen praktischen Runtime-Pfad, wenn leistungsschwächere Geräte berücksichtigt werden müssen.
Im Workflow geht es dann weniger darum, zwischen realen und generierten Inhalten oder zwischen Splat und Mesh zu wählen, sondern mehr darum zu entscheiden, was jede Methode am besten ausdrücken kann. Für Kreative ist das besonders wichtig. Sie müssen oft schnell von der Idee zum Prototyp kommen, und ein Workflow, der erfasste Räume, generierte Umgebungen, generierte Charaktere und geräteangepasste Optimierung kombiniert, kann ihnen helfen, erzählbereite Szenen zu bauen, ohne bei einer leeren Leinwand anfangen zu müssen.
08 / ÜBERBLICK
Technische Abgrenzung und Schlussgedanke
Eine technische Abgrenzung, die klar benannt werden sollte: In diesem Projekt wird PortalCam für Reality Capture verwendet, Marble erweitert die Welt mit KI-generierten räumlichen Inhalten, Tripo erstellt meshbasierte Charakter-Assets, und der Schritt von 3DGS zu Mesh ist eine auf die Runtime ausgerichtete Produktionsentscheidung. Das sind komplementäre Methoden, nicht die Behauptung, dass jedes Asset dieselbe Datenstruktur, Wiedergabetreue oder dasselbe Bearbeitungsverhalten hat. Der mit Marble generierte Strand sollte als KI-erschaffener räumlicher Inhalt verstanden werden, nicht als Teil des ursprünglichen Santa-Barbara-Scans; die Tripo-Charaktere unterscheiden sich von der splatbasierten Ausgangsumgebung und können anderen Regeln für Rendering, Bearbeitung, Animation oder Integration folgen; und der Low-Poly-Mesh-Rekonstruktionsschritt dient den Anforderungen dieses konkreten Projekts – er bedeutet nicht, dass jede 3DGS-Szene in Mesh umgewandelt werden muss. Für viele Betrachtungs- und Veröffentlichungsszenarien bietet das XGRIDS Web SDK mit LOD- und Streaming-Unterstützung einen direkteren Weg.
Das Interessanteste an diesem Projekt ist nicht, dass es 3DGS, generierte Umgebungen, rekonstruiertes Mesh oder Mesh-Charaktere verwendet hat. Das sind die Materialien. Die Geschichte entsteht daraus, wie sie zusammen eingesetzt werden: Eine echte Straße verleiht der Szene Authentizität, ein generierter Strand verleiht ihr Weite, ein Charakterpaar verleiht ihr Präsenz, und eine leichtgewichtige Mesh-Version gibt dem Projekt einen praktischen Weg, als vollständiges Erlebnis zu laufen.
In Kombination werden Reality Capture und GenAI zu mehr als Produktionsabkürzungen. Sie werden zu Möglichkeiten, eine Welt zu bauen, in der eine Geschichte geschehen kann. In diesem Projekt waren Gaussian Splatting und Mesh-Generierung nicht die Geschichte. Sie waren die Materialien, mit denen die Geschichte glaubwürdig gemacht wurde.
QUELLE / XGRIDS
Von einer echten Straße zu einer Erzählwelt
Dieser Artikel ist eine redaktionelle Originaladaption des Originalbeitrags von XGRIDS.


