Roboter von morgen mit intelligenten visuellen Fähigkeiten
Roboter müssen an einem Ort maßgebliche Informationen auf anpassungsfähige Weise zur weiteren Verarbeitung auswählen können. Das erfordert vorheriges Allgemeinwissen darüber, wo ein Ziel zu finden ist, und der Roboter sollte gleichermaßen eine Vorstellung über dessen Größe, Form, Farbe oder Textur haben. Roboter brauchen Aufmerksamkeitsmechanismen, um zu entscheiden, welche Teile des sensorischen Arrays sie abarbeiten müssen. Aufmerksamkeit beinhaltet die Auswahl der relevantesten Informationen aus multisensorischen Eingaben, um eine Zielsuche effizient durchzuführen. Das von der EU finanzierte Projekt REAL-TIME ASOC (Real-time understanding of dexterous deformable object manipulation with bio-inspired hybrid hardware architectures) konzentrierte sich auf die Entwicklung neuer Mechanismen für visuelle Aufmerksamkeit. REAL-TIME ASOC setzte eine für Roboteranwendungen geeignete Spezialkamera mit der Bezeichnung Dynamic Vision Sensor (DVS) ein, die kurze Latenzzeiten erfordert, um in Echtzeit zu funktionieren. Sie erfasst alles, was sich in einer sehr hohen zeitlichen Auflösung innerhalb von Mikrosekunden verändert. DVS zeichnet ungefähr 600 000 Bilder pro Sekunde auf und reduziert die Menge an Informationen, indem die statischen Bereiche einer Szene entfernt werden. Die Projektpartner begannen mit dem Einsatz des DVS-Sensors, um Konturen und Zugehörigkeit von Begrenzungen allein aus Ereignisinformationen zu gewinnen. Da Ereignisse nur bei großen Luminanzänderungen ausgelöst werden, treten die meisten Ereignisse an der Grenze von Objekten auf. Das Erfassen dieser Konturen ist der wichtigste Schritt hin zur Weiterverarbeitung. Sie führten einen Ansatz ein, der die Lage der Konturen und die Zugehörigkeit von deren Randgrenze mit Hilfe von Merkmalen identifiziert, die Bewegung, Timing, Textur und räumliche Orientierungen repräsentieren. Konturerkennung und Randzuweisung wurden dann anhand einer Proto-Segmentierung der Szenerie demonstriert. Die Wissenschaftler arbeiteten an Algorithmen zur Abschätzung der Bildbewegung mittels asynchroner ereignisbasierter Informationen und einem Universalschaltkreis (Field Programmable Gate Array) zur Berechnung der visuellen Aufmerksamkeit. Zu guter Letzt erzeugten sie einen Datensatz, der sowohl Frame-freie Ereignisdaten als auch klassische Bild-, Bewegungs- und Tiefendaten bereitstellt. Auf diese Weise können verschiedene ereignisbasierte Methoden bewertet und mit Frame-basierter konventioneller Bilderkennung (Computer Vision) verglichen werden. REAL-TIME ASOC hat demonstriert, wie der Roboter von morgen ähnlich wie wir Menschen auf visuelle Weise Bilder auswählen und verarbeiten wird.
Schlüsselbegriffe
Roboter, REAL-TIME ASOC, Objektmanipulation, hybride Hardwarearchitekturen, visuelle Aufmerksamkeit
