2D/3D Bildaufnahme mit Datenfusion

Ein auf dem Roboterarm angebrachter kombinierter 2D /3D Sensor (Intel Realsense) wird zur Aufnahme von 2D Farbbildern und eines fusionierten Tiefenbildes der gesamten Kiste genutzt. Die 3D Bildaufnahme erfolgt vom bewegten Arm aus, somit ist es möglich die Aufnahmen aus mehreren verschiedenen Blickwinkeln und Aufnahmepositionen zu einer umfassenden 3D-Aufnahme der Objekte zu fusionieren.
Es kann durch diese Art der Montage auch auf einen externen fest installierten Sensor verzichtet werden, der den Arm in seinen Bewegungen einschränken könnte.

  • Verwendung von 2D Kameras (SW oder Farbe) und 3D Tiefenbildkameras verschiedener Hersteller möglich

  • Durch ein einheitliches vorbereitetes Interface können Sensoren verschiedener Hersteller gleichartig genutzt werden

  • Die Bildaufnahme ist direkt in den DRS-Programmablauf integriert, es ist kein zusätzliches externes Bildverarbeitungsprogramm nötig

  • Direkte Unterstützung der Kamerakalibrierung durch DRS

  • Verschiedene Ansichten werden ohne Nahtstellen in ein zusammenhängendes 3D-Bild zusammengesetzt

  • Die Aufnahmen werden bei einem auf dem Roboterarm montierten Sensor aus der Bewegung des Roboterarmes heraus gemacht

  • Ein bewegter Sensor kann mehrere statische Sensoren mit ihren fixen Aufnahmebereichen ersetzen

  • Es werden so Aufnahmepositionen möglich, die bei statischer Sensormontage den Roboterarm in seinen Bewegungen behindern würden

  • Die Fusionierung verbessert die Datenqualität durch Rauschunterdrückung

  • Unterstützung der kombinierten Kalibrierung von Roboterarm und Sensor bei Sensormontage auf dem Arm selbst

Objekterkennung und Lokalisierung mit Unterstützung durch KI

In dem aufgenommenen 2D Bild werden durch angelernte Methoden der Künstlichen Intelligenz die Objekte erkannt und das Bild vorsegmentiert. Die so bestimmten Positionen werden dann benutzt um die Erkennung der Objekte in den 3D Tiefenbildern zu initialisieren. Die genaue Lokalisierung der Objekte findet durch den Vergleich der 3D Aufnahme an diesen Positionen mit einem Modell der Objekte statt. Dieser Vergleich wird iterativ wiederholt, dadurch kann die erkannte Position des Objektes kontinuierlich verbessert werden. Die durch KI-Methoden bestimmten initialen Startpositionen beschleunigen hier diese Objekterkennung und können zu qualitativ besseren Ergebnissen führen.

  • Modellbasierte Erkennung vorbereiteter Objekte, die dann durch einen genauen Abgleich mit den Sensordaten lokalisiert werden können

  • Die Modelle werden mit den 3D Scandaten in einem iterativen Prozess verglichen und darin die erkannte Position des Objektes laufend verbessert

  • Heuristische Erkennung: ohne ein vorhandenes Modell können auch für unbekannte Objekte Griff- oder Saugpositionen rein durch das Erkennen von freien Oberflächen generiert werden

  • Die Objekterkennung kann durch angelernte Methoden der Künstlichen Intelligenz unterstützt werden

  • Objekte können schon in 2D Kamerabildern erkannt und vorsegmentiert werden

  • Diese vorbereiteten Grobpositionen können als Startpunkt der klassischen Objekterkennung dienen um sie zu beschleunigen und qualitativ zu besseren Ergebnissen führen

Bewegungs- und Greifplanung

Mit den jetzt bekannten Objektlagen und der Greifpunkte kann eine Greifbewegung geplant werden. Durch das verwendete Werkzeug und die Umgebungssituation der Objekte ergeben sich Armpositionen, aus denen das Objekt sicher aufgenommen werden kann und die kollisionsfrei erreichbar sind. Einfach zu erreichende Objekte werden zuerst gegriffen. Objekte, die Anfangs noch von anderen Objekten teilweise verdeckt sind, werden so mit der Zeit freigelegt und immer besser erreichbar.

Die Roboterarmbewegungen werden mit Hilfe der durch die Sensorik erstellten Umgebungsinformationen im Voraus auf mögliche Kollisionen überprüft. Durch die Verwendung von Vollvolumenmodellen des Roboters und der Hindernisse kann eine sichere und kollisionsfreie Roboterbewegung geplant werden.

Die Trajektorienplanung findet komplett in DRS statt und verwendet eigene Kinematikmodelle der Roboter, somit kann unabhängig von Robotertypen und ihrer konkreten Planungsfähigkeiten eine Bewegung für Roboterarme aller Hersteller geplant werden.

  • Unterstützung vielfältiger Werkzeuge: Greifer, Sauger oder auch z.B. Magnete

  • Die Robotertrajektorien werden komplett in DRS geplant und zur Ausführung in kleinen Teilabschnitten auf den Roboterarm übertragen

  • Dies erlaubt es alle Planungs- und Bewegungsmöglichkeiten von DRS mit allen Roboterarmtypen zu verwenden

  • Die Abhängigkeit von herstellerspezifischen Eigenschaften der Roboterarme wird verringert

  • Ein Transfer von Anwendungen zwischen verschiedenen Roboterarmen auch unterschiedlicher Hersteller wird dadurch sehr vereinfacht

  • Auswahl des günstigsten Griffes aus einer Vielzahl von Griffen erlaubt es Objekte in vielen verschiedenen Lagen und Situationen sicher zu handhaben

  • Bewegungsbahnen können auf erkannten Oberflächen ausgeführt werden, dadurch braucht eine gezielte Bearbeitung keine genaue Objektpositionierung mehr

  • Die Bahnplanung berücksichtigt zur Kollisionserkennung die Ausdehnung des Roboterarms selbst sowie von detektierten Objekten in seiner Umgebung und berechnet sichere kollisionsfreie Wege

  • Diese Überprüfung basiert auf Volumenmodellen des Armes und der Umgebung, die auch ständig aus live-Daten erneuert werden können

  • Durch die umfassenden Sensordaten der Objekte und auch der Umgebung können Kollisionen des Armes und des Werkzeuges mit der Umgebung im Voraus erkannt und in der Planung vermieden werden

Ausführung auf dem Roboter

Die individuell berechnete Armbewegung wird vom System zur Ausführung direkt an den Roboterarm übertragen. Dabei wird die geplante Roboterbewegung stückweise an den echten Roboterarm gesendet und überwacht ausgeführt. Unterschiede in den Fähigkeiten von Armen verschiedener Hersteller werden ausgeglichen, der Endnutzer muss keine herstellerspezifischen Programme erstellen.

Nach dem Aufnehmen eines Objektes aus der chaotischen Kiste kann es gezielt in jetzt genau bekannter Lage z.B. Montage- oder Bearbeitungsprozessen zugeführt werden oder auch geordnet wieder abgelegt werden.

  • Die individuell berechnete Armbewegung wird vom System zur Ausführung direkt an den Roboterarm übertragen

  • Durch eine feine Positionskommandierung können die vorgeplanten Bahnen und Trajektorien vom Roboterarm exakt ausgeführt werden

  • Unterschiede in den Fähigkeiten von Armen verschiedener Hersteller werden ausgeglichen, ohne dass der Endnutzer herstellerspezifische Programme erstellen muss

Aus datenschutzrechtlichen Gründen benötigt YouTube Ihre Einwilligung um geladen zu werden.
Akzeptieren