Humanoide lernen Körpersprache: RoboGesture macht…

Ein humanoider Roboter kann genau die richtigen Worte sprechen und sich trotzdem im Gespräch falsch anfühlen. Die Geste kommt zu spät. Die Hände wiederholen ständig dieselbe Bewegung. Ein begeisterter Satz trifft auf eine starre Körperhaltung, oder die Arme geraten in eine Pose, die zufällig statt beabsichtigt wirkt. Sprachmodelle haben Maschinen flüssiger gemacht, doch sprachliche Qualität allein erzeugt noch keine soziale Präsenz.

RoboGesture, ein neues Forschungssystem von Galbot und Hochschulpartnern wie der Tsinghua University und der Peking University, behandelt dieses Problem als technische Aufgabe. Das System übersetzt laufende Sprache in semantisch passende, rhythmisch abgestimmte und kollisionsgeprüfte Oberkörperbewegungen eines Humanoiden. Am 10. September soll es auf der ECCV 2026 präsentiert werden. Damit rückt ein bisher eher übersehenes Thema in den Fokus: Körpersprache könnte zu einer entscheidenden Ebene von Physical AI werden.

Warum die richtigen Worte nicht genügen

Menschen verteilen Bedeutung auf Wortwahl, Tonfall, Timing, Blick, Haltung und Bewegung. Eine leicht angehobene Hand kann Vorsicht signalisieren. Eine offene Handfläche lenkt Aufmerksamkeit. Eine kurze Bewegung beim betonten Wort lässt eine Aussage beabsichtigt wirken. Wenn diese Kanäle nicht zusammenpassen, bemerken Menschen das sofort, auch wenn sie den Grund nicht genau benennen können.

Viele Gesprächsroboter verbinden mehrere getrennte Systeme. Spracherkennung verwandelt Ton in Text, ein Sprachmodell erzeugt eine Antwort, Text-to-Speech liefert die Stimme und eine Bewegungsbibliothek ergänzt eine Geste. Jeder Baustein kann funktionieren, während das Gesamtergebnis mechanisch bleibt. Ein vorproduziertes Winken passt nicht unbedingt zum Satz. Ein Bewegungsmodell kann seine bisherige Bahn fortsetzen, statt auf eine neue Betonung zu reagieren.

RoboGesture will Sprache und Bewegung enger koppeln. Das System verarbeitet nicht nur transkribierte Wörter, sondern fortlaufende Audio-Tokens. Dadurch kann es Bedeutung und akustische Informationen wie Rhythmus, Energie und Intonation gemeinsam berücksichtigen.

Entwicklung aus Sicht des Roboterkörpers

Das Forschungsteam erprobte RoboGesture auf einem Unitree G1 mit geschickten Roboterhänden. Die Bewegungsdarstellung umfasst 41 Freiheitsgrade in Oberkörper, Armen und Händen. Das System erzeugt direkt kontinuierliche Gelenkbewegungen, statt zunächst eine menschliche Animation zu berechnen, die anschließend auf die Maschine übertragen werden muss.

Dieser roboterzentrierte Ansatz ist wichtig. Eine Bewegung, die an einer digitalen menschlichen Figur harmlos aussieht, kann für eine reale Maschine unmöglich oder gefährlich sein. Gelenke besitzen feste Grenzen, Hände können mit dem Rumpf kollidieren und Motoren dürfen bestimmte Geschwindigkeiten nicht überschreiten. Eine ausdrucksstarke Geste in sichere Motorbefehle zu übersetzen, ist mehr als ein Animationsproblem.

RoboGesture kombiniert deshalb drei Komponenten. Ein hierarchischer semantisch-akustischer Abgleich extrahiert schnelle rhythmische Signale und langsamere Bedeutungsinformationen aus der Sprache. Ein Streaming-Diffusion-Transformer sagt die nächste Bewegung voraus. Abschließend korrigiert ein Sicherheitsfilter auf Basis modellprädiktiver Regelung die Bahn, um Eigenkollisionen zu reduzieren und kinematische Grenzen einzuhalten.

Wenn die Bewegung nicht mehr zuhört

Eine besonders interessante Idee der Arbeit nennen die Forschenden „Modality Eclipse“. Ein generatives Bewegungsmodell kann lernen, dass es einfacher ist, die vorige Bewegung fortzuführen, als auf neue Audiosignale zu reagieren. Das Ergebnis wirkt flüssig, wird aber repetitiv und verliert die Verbindung zur Bedeutung des gesprochenen Satzes.

Das Team führt deshalb ein Anti-Inertia-Trainingsverfahren ein. Dabei wird ein Teil des bisherigen Bewegungsverlaufs zeitweise ausgeblendet. Das Modell muss stärker auf die Sprache achten. Im Idealfall ändert sich die Geste, wenn sich die Botschaft ändert, statt nur der mechanischen Trägheit der bisherigen Bewegung zu folgen.

Darin steckt ein allgemeines Problem von Physical AI. Roboter lernen gleichzeitig aus Kameras, Sprache, Kraftsensoren, Eigenzustand und vergangenen Aktionen. Ein Modell kann kompetent erscheinen und trotzdem genau den Eingang ignorieren, den der Mensch für entscheidend hält. Tests müssen daher nicht nur plausible Bewegung bewerten, sondern auch prüfen, ob sie tatsächlich durch die aktuelle Anweisung und Situation verursacht wurde.

Was die veröffentlichten Zahlen zeigen

Das Projekt führt mehr als 300 semantische Gestenkategorien und einen Prozess für rund 1.000 Stunden Audio-Bewegungs-Trainingsdaten ein. Das Team berichtet von ungefähr 120 erzeugten Bewegungsbildern pro Sekunde. Der Sicherheitsfilter benötigt demnach 5,6 Millisekunden pro Bild. In Benchmarkvergleichen erzielt das System geringere Kollisionsraten sowie eine bessere rhythmische und semantische Abstimmung als die gewählten Vergleichsmodelle.

Diese Ergebnisse sind technisch vielversprechend. Ausdrucksstarke Bewegung muss offenbar kein langsamer Zusatz sein, der erst nach dem gesprochenen Satz entsteht. RoboGesture arbeitet schnell genug für eine interaktive Pipeline, und die Sicherheitsprüfung bleibt deutlich schneller als die Regelrate des Roboters.

Die Zahlen müssen trotzdem vorsichtig interpretiert werden. Sie stammen aus der Veröffentlichung des Forschungsteams und belegen noch keinen langfristigen Betrieb in öffentlich zugänglichen Umgebungen. Bessere Benchmarks sagen wenig darüber aus, wie Menschen aus unterschiedlichen Kulturen dieselbe Geste verstehen, wie das System mit Hintergrundlärm umgeht oder wie oft während stundenlanger Gespräche eingegriffen werden müsste.

Das gesamte Gespräch bleibt langsamer

Das Bewegungsmodell ist nicht die einzige Quelle von Verzögerung. Ein vollständiger Roboter muss zuhören, Sprache erkennen, eine Antwort formulieren, Audio erzeugen und die Bewegung koordinieren. Die Projektseite erklärt, dass die Gesamtlatenz vor allem vom vorgeschalteten Sprachsystem bestimmt wird. Ein Roboter kann Gesten mit hoher Bildrate erzeugen und trotzdem unnatürlich pausieren, wenn der übrige Gesprächsprozess zu lange dauert.

Die gezeigten Versuche konzentrieren sich außerdem auf Oberkörper und Hände eines stehenden Humanoiden. Gleichgewicht und Beine steuert weiterhin das Basissystem des Roboters. Diese Begrenzung ist für ein Forschungsprojekt sinnvoll, entspricht aber noch nicht einem mobilen Roboter, der beim Gehen durch ein volles Geschäft gestikuliert oder Menschen zu Hause unterstützt.

Soziale Interaktion erzeugt zudem andere Sicherheitsrisiken als klassische Fabrikautomation. Eine Geste kann mechanisch kollisionsfrei sein und einen nahestehenden Menschen trotzdem erschrecken. Geschwindigkeit, Abstand, Blickrichtung und lokale Konventionen spielen eine Rolle. Künftige Bewertungen benötigen deshalb Studien mit Menschen zusätzlich zu Gelenkgrenzen und Benchmarkwerten.

Wo Gesten einen praktischen Nutzen schaffen

Naheliegend sind Aufgaben, bei denen ein Roboter erklären, führen oder beruhigen muss. Ein Empfangsroboter kann bei einer Wegbeschreibung in die richtige Richtung weisen. Eine Maschine im Einzelhandel kann Größe oder Position eines Gegenstands anzeigen. Ein Trainingsroboter kann einen Sicherheitshinweis sichtbar betonen. Am Arbeitsplatz kann ein System signalisieren, dass es wartet, unsicher ist oder gleich eine Bewegung beginnt.

Solche Gesten sind keine reine Dekoration. Sie können Mehrdeutigkeit verringern und Menschen helfen, die nächste Aktion der Maschine vorherzusehen. Industrieroboter nutzen bereits Lampen, Bildschirme und Töne zur Zustandsanzeige. Ein humanoider Körper eröffnet einen zusätzlichen Kanal, sofern die Bewegungen konsistent und vertrauenswürdig sind.

Bei Pflege und emotionaler Unterstützung ist größere Vorsicht nötig. Ausdrucksstarke Bewegungen lassen einen Roboter aufmerksam erscheinen, können aber das Verständnis der Maschine übertrieben wirken lassen. Entwickler sollten Grenzen deutlich machen und Körpersprache nicht dazu verwenden, eine Empathie zu simulieren, über die das System nicht verfügt.

Der Alpha-Bionic-Blick

Über Humanoide wird meist in Verbindung mit Gehen, Heben und geschickter Manipulation gesprochen. RoboGesture macht einen leiseren Engpass sichtbar: Eine Maschine kann eine physische Aufgabe beherrschen und sozial trotzdem scheitern, weil Menschen ihre Absichten nicht erkennen.

Der stärkste Beitrag des Projekts besteht nicht darin, einen Roboter menschlicher aussehen zu lassen. Es zerlegt Gesprächsbewegung in messbare Komponenten aus Daten, Abgleich, Erzeugung und Sicherheitsregelung. Dadurch lässt sich das Verhalten besser prüfen als eine Sammlung theatralischer Standardanimationen.

Als Nächstes braucht es Ergebnisse außerhalb vorbereiteter Demonstrationen: längere Interaktionen, verschiedene Sprecher, laute Umgebungen, kulturelle Unterschiede und Messungen, ob Gesten das Verständnis tatsächlich verbessern. Besteht RoboGesture diese Tests, wird Körpersprache kein dekoratives Extra sozialer Roboter. Sie wird Teil ihrer Benutzeroberfläche und ihres Sicherheitssystems.