Heim
Apples LGTM-Framework überwindet Rechenleistungsengpässe und ermöglicht 4K-taugliches 3D-Rendering auf dem Vision Pro
Kürzlich veröffentlichten Forscher von Apple und der Universität Hongkong eine Arbeit mit dem Titel „Less Gaussians, More Textures: 4K Feedforward Texture Splatting“, in der sie ein neues Framework namens LGTM vorstellten. Diese Technologie beseitigt die Rechenengpässe des 3D-Gaussian-Splatting bei hohen Auflösungen und ebnet damit den Weg für Displays mit hoher Pixelanzahl wie Apple Vision Pro.
Technischer Durchbruch: Entkopplung von Geometrie und Auflösung
Zwar kann das gängige Feedforward-3D-Gaussian-Splatting 2D-Bilder schnell in 3D-Szenen umwandeln, doch der Rechenaufwand steigt exponentiell mit der Rendering-Auflösung, was ein Echtzeit-4K-Rendering erschwert.
Die zentrale Innovationdes LGTM-Frameworks besteht in der Entkopplung der geometrischen Komplexität von der Rendering-Auflösung. Anstatt die Anzahl der Gauß-Funktionen zu erhöhen, verbessert es die Bildqualität durch einen zweistufigen Ansatz:
Geometrie-Lernen: Das Modell lernt zunächst die Grundstruktur der Szene aus Bildern mit niedriger Auflösung und vergleicht diese mit hochauflösenden Referenzdaten, um sicherzustellen, dass das geometrische Gerüst bei 2K-/4K-Auflösungen nahtlos und fehlerfrei ist.
Texturüberlagerung: Ein spezielles Erscheinungsbild-Netzwerk wandelt feine Details aus hochauflösenden Bildern in Texturen um, die dann auf einfache geometrische Formen überlagert werden.

Die Leistungsfähigkeit von Apple Vision Pro
Die beiden Displays des Apple Vision Pro verfügen über rund 23 Millionen Pixel, wobei jedes Auge eine Auflösung von über 4K erreicht. Herkömmliche SPLAT-Feedforward-Modelle stoßen bei der Verarbeitung solch hoher Pixeldichten häufig an ihre Leistungsgrenzen. LGTM kann bestehende Systeme (wie NoPoSplat, DepthSplat usw.) aufwerten und ermöglicht es Geräten, detailliertere Texturen, schärferen Text und realistischere, immersive Umgebungen zu erzeugen, während die Rechenlast gering bleibt.
Auf der Projekt-Demonstrationsseite wird deutlich, dass LGTM die visuellen Grenzen der Feedforward-3D-Rekonstruktion erheblich erweitert. Dies lässt vermuten, dass zukünftige Nutzer von visionOS in Echtzeit generierten virtuellen Räumen einen beispiellosen Realismus erleben könnten.
Verwandter Artikel
ByteDances Seed startet globale Campus-Werbung und bietet virtuelle Aktien, um Top-Talente für große Modelle zu gewinnen
Im wettbewerbsintensiven Umfeld der großen Sprachmodelle bleibt die Sicherung erstklassiger Talente das wichtigste strategische Asset.Am 1. April ByteDance gab die Einführung seiner globalen Campus-Rekrutierungsinitiative Seed bekannt, die Teil seine
Suno fügt Wasserzeichen in Songs ein, während Rechtsstreitigkeiten andauern
Suno, die Plattform, die es Nutzern ermöglicht, KI-generierte Musik zu erstellen, hat neue Funktionen vorgestellt, um plattformproduzierte Tracks zu kennzeichnen, Downloads einzuschränken und die Community-Richtlinien zu aktualisieren, um unbefugte K
Musk räumt ein, dass Grok-Build Benutzercode geleakt hat, verspricht aber, alle historischen Daten zu löschen
Elon Musk wandte sich direkt an die Datenschutzkontroverse um Grok Build, beginnend mit einem einfachen „True“, um die Gültigkeit des Vorfalls zu bestätigen. Er versprach, dass alle zuvor bei SpaceXAI hochgeladenen Benutzerdaten unwiderruflich gelösc
Empfehlungen zu verwandten Spezialthemen
Kommentare (1)
Finally, someone addressed the compute anxiety on Vision Pro! 🤯 LGTM sounds like a game-changer for 3D rendering. I've been waiting for something that doesn't make my device melt during heavy tasks. If this actually delivers 4K-grade results without the lag, Apple might finally win the spatial computing race. Can't wait to test it out! 🚀
Kürzlich veröffentlichten Forscher von Apple und der Universität Hongkong eine Arbeit mit dem Titel „Less Gaussians, More Textures: 4K Feedforward Texture Splatting“, in der sie ein neues Framework namens LGTM vorstellten. Diese Technologie beseitigt die Rechenengpässe des 3D-Gaussian-Splatting bei hohen Auflösungen und ebnet damit den Weg für Displays mit hoher Pixelanzahl wie Apple Vision Pro.
Technischer Durchbruch: Entkopplung von Geometrie und Auflösung
Zwar kann das gängige Feedforward-3D-Gaussian-Splatting 2D-Bilder schnell in 3D-Szenen umwandeln, doch der Rechenaufwand steigt exponentiell mit der Rendering-Auflösung, was ein Echtzeit-4K-Rendering erschwert.
Die zentrale Innovation
Geometrie-Lernen: Das Modell lernt zunächst die Grundstruktur der Szene aus Bildern mit niedriger Auflösung und vergleicht diese mit hochauflösenden Referenzdaten, um sicherzustellen, dass das geometrische Gerüst bei 2K-/4K-Auflösungen nahtlos und fehlerfrei ist.
Texturüberlagerung: Ein spezielles Erscheinungsbild-Netzwerk wandelt feine Details aus hochauflösenden Bildern in Texturen um, die dann auf einfache geometrische Formen überlagert werden.
Die Leistungsfähigkeit von Apple Vision Pro
Die beiden Displays des Apple Vision Pro verfügen über rund 23 Millionen Pixel, wobei jedes Auge eine Auflösung von über 4K erreicht. Herkömmliche
Auf
ByteDances Seed startet globale Campus-Werbung und bietet virtuelle Aktien, um Top-Talente für große Modelle zu gewinnen
Im wettbewerbsintensiven Umfeld der großen Sprachmodelle bleibt die Sicherung erstklassiger Talente das wichtigste strategische Asset.Am 1. April ByteDance gab die Einführung seiner globalen Campus-Rekrutierungsinitiative Seed bekannt, die Teil seine
Suno fügt Wasserzeichen in Songs ein, während Rechtsstreitigkeiten andauern
Suno, die Plattform, die es Nutzern ermöglicht, KI-generierte Musik zu erstellen, hat neue Funktionen vorgestellt, um plattformproduzierte Tracks zu kennzeichnen, Downloads einzuschränken und die Community-Richtlinien zu aktualisieren, um unbefugte K
Musk räumt ein, dass Grok-Build Benutzercode geleakt hat, verspricht aber, alle historischen Daten zu löschen
Elon Musk wandte sich direkt an die Datenschutzkontroverse um Grok Build, beginnend mit einem einfachen „True“, um die Gültigkeit des Vorfalls zu bestätigen. Er versprach, dass alle zuvor bei SpaceXAI hochgeladenen Benutzerdaten unwiderruflich gelösc
Finally, someone addressed the compute anxiety on Vision Pro! 🤯 LGTM sounds like a game-changer for 3D rendering. I've been waiting for something that doesn't make my device melt during heavy tasks. If this actually delivers 4K-grade results without the lag, Apple might finally win the spatial computing race. Can't wait to test it out! 🚀











