Die Ant Group veröffentlicht das räumliche Wahrnehmungsmodell „LingBot-Depth 2.0“ und treibt damit die Entwicklung der Robotervision voran.

Am 7. Juli stellte Lingbo Technology, ein auf „embodied intelligence“ spezialisiertes Unternehmen der Ant Group, das räumliche Wahrnehmungsmodell „LingBot-Depth 2.0“ vor. Das Modell wurde anhand eines Datensatzes mit 150 Millionen Beispielen trainiert und bietet umfassende Verbesserungen hinsichtlich Kantenschärfe, Erkennung feiner Objekte, Tiefenschätzung über große Entfernungen sowie Robustheit in komplexen Szenarien.

LingBot-Depth ist ein von Lingbo eigenständig entwickeltes räumliches Wahrnehmungsmodell, das als „Augen“ von Robotern in der physischen Welt fungiert. Die erste Version befasste sich mit Herausforderungen der räumlichen Wahrnehmung in schwierigen Szenarien wie transparenten und reflektierenden Oberflächen. Im Vergleich zur Version 1.0 wurden die Trainingsdaten für LingBot-Depth 2.0 von 3 Millionen auf 150 Millionen Beispiele erweitert, was zu einer allgemeinen Leistungssteigerung führte: Bei Benchmarks zur Tiefenvervollständigung belegte das Modell in 12 von 16 Bewertungskriterien den ersten Platz. Im anspruchsvollsten Indoor-Szenario mit großflächigen Tiefenlücken wurde der Tiefenfehler im Vergleich zur Vorgängergeneration halbiert (der RMSE sank von 0,132 auf 0,062). Es schneidet besonders gut in Situationen ab, in denen herkömmliche Tiefenkameras oft versagen, wie beispielsweise bei Glas, Spiegeln und transparenten Objekten.

Gleichzeitig führte LingBot-Depth 2.0 sein visuelles Grundmodell LingBot-Vision ein und schuf damit eine Kompetenzkette vom „Verstehen“ bis zur „genauen Wahrnehmung“. Damit sollen zentrale Herausforderungen im Bereich der Robotervision angegangen werden, darunter räumliche Wahrnehmung, präzise Erkennung und Anpassung an komplexe Umgebungen.

(Abbildung 1: LingBot-Depth 2.0 erstellt eine vollständige und flache 3D-Struktur in schwierigen Szenarien wie Spiegeln und Glas)

Der Durchbruch von LingBot-Depth 2.0 beruht auf den herausragenden visuellen Darstellungsfähigkeiten von LingBot-Vision. Als universell einsetzbares visuelles Modell ist LingBot-Vision das erste visuelle Grundmodell der Branche, das „Grenzstrukturen“ als Vortrainingsziel nutzt und damit einen Durchbruch im Trainingsparadigma der räumlichen Wahrnehmung erzielt. Es bietet eine Grenzpositionierung auf Subpixel-Ebene sowie ein Verständnis räumlicher Strukturen und liefert so eine höhere Präzision und eine stabilere räumliche Wahrnehmung.

Der Vortrainingskorpus für LingBot-Vision besteht aus nur 160 Millionen Bildern – eine Größenordnung weniger als bei DINOv3 –, dennoch übertrifft seine Genauigkeit bei der Tiefenschätzung die von DINOv3. Darüber hinaus ist die Beurteilung von Objektgrenzen durch LingBot-Vision ausreichend stabil, um eine kontinuierliche Grenzverfolgung in Videos zu ermöglichen. Diese Veröffentlichung umfasst vier Versionen: ViT-G, ViT-L, ViT-B und ViT-S.

Den verfügbaren Informationen zufolge unterstützt LingBot-Vision nicht nur das Training von LingBot-Depth 2.0, sondern kann auch auf vielfältige andere Weise eingesetzt werden.

(Abbildung 2: LingBot-Depth 2.0 schneidet bei Tests zur Tiefenvervollständigung mit realen Sensoren gut ab)

(Abbildung 3: Im Vergleich zu gängigen visuellen Basismodellen identifiziert LingBot-Vision Objektgrenzen und räumliche Strukturen klarer und stabiler)

Derzeit hat LingBot-Depth 2.0 die professionelle Zertifizierung des Orbbec Depth Vision Lab bestanden. Praxistests zeigen, dass LingBot-Depth 2.0 auf Basis der 3D-Rohdaten auf Chip-Ebene, die von der Stereo-3D-Kamera der Gemini330-Serie von Orbbec bereitgestellt werden, die Kantenschärfe, die Integrität der Objektkonturen, die Erkennung feiner Objekte, die Tiefenschätzung über große Entfernungen sowie die Robustheit in komplexen Beleuchtungs- und Materialszenarien deutlich verbessert.

(Abbildung 4: LingBot Depth 2.0 hat die professionelle Bewertung des Orbbec Depth Vision Lab bestanden und dabei bei räumlichen und zeitlichen Tiefenschätzungsaufgaben über verschiedene Sensortypen hinweg eine extrem hohe Genauigkeit und Stabilität unter Beweis gestellt)

Im Hinblick auf die Kommerzialisierung hat Ant Lingbo in vielen Bereichen eine intensive Zusammenarbeit mit Orbbec aufgenommen. Den Informationen zufolge wird die neueste RGB-D-Version des EGO-Geräts aus Orbbecs neuer Produktmatrix zur Datenerfassung ohne physische Objekte an die von Lingbo für Datenerfassungsszenarien optimierte LingBot-Depth-Version angepasst. In Zukunft sollen darüber hinaus kommerzielle Versionen auf höherer Ebene integriert, Tiefenlücken kontinuierlich geschlossen, Objektkanten und Details der räumlichen Struktur optimiert sowie genauere, stabilere und besser nutzbare Datenbanken aus der realen Welt für das Training von Modellen für verkörperte Intelligenz bereitgestellt werden.

Darüber hinaus wird Orbbec ein SDK-Produkt auf den Markt bringen, das die neuesten Modellfunktionen von LingBot-Depth integriert und für Roboterkunden am Edge verfügbar ist, wodurch Roboter, die Kameras der Gemini330-Serie verwenden, bessere Tiefeneffekte erzielen können. Außerdem ist geplant, bis Ende des Jahres ein integriertes Kameraprodukt mit der kommerziellen Version von LingBot-Depth auf den Markt zu bringen, wodurch die Integration von „3D-Kamera + räumlichen Wahrnehmungsfähigkeiten“ realisiert wird. Mit der Veröffentlichung der beiden Modelle wird erwartet, dass sich die Zusammenarbeit auf weitere Bereiche ausweiten wird.