Les robots de demain disposeront de capacités visuelles intelligentes
Les robots ont besoin d'un moyen pour sélectionner de façon adaptée l'information pertinente dans une scène donnée pour un traitement ultérieur. Ils ont besoin de connaissances préalables «de bon sens» pour savoir où trouver une cible et devraient également avoir une idée de sa taille, de sa forme, de sa couleur ou de sa texture. Les robots nécessitent des mécanismes de vigilance pour déterminer les parties du réseau de capteurs qu'ils doivent traiter. La vigilance nécessite de sélectionner les informations les plus pertinentes à partir d'entrées multi-sensorielles, afin d'effectuer efficacement la recherche d'une cible. Le projet REAL-TIME ASOC (Real-time understanding of dexterous deformable object manipulation with bio-inspired hybrid hardware architectures), financé par l'UE, s'est penché sur le développement de nouveaux mécanismes pour la vigilance visuelle. REAL-TIME ASOC a utilisé une caméra spécialisée, appelée capteur de vision dynamique (DVS), qui est adaptée aux applications robotiques nécessitant des latences courtes pour fonctionner en temps réel. Elle capture tous les éléments en transformation à une résolution temporelle très élevée, de l'ordre de la microseconde. DVS enregistre environ 600 000 images par seconde et réduit le volume d'informations en supprimant les zones statiques d'une scène. Les partenaires du projet ont commencé à utiliser le capteur DVS pour extraire les contours et la propriété des limites à partir des seules informations d'évènement. Étant donné que les évènements ne sont déclenchés que par d'importants changements de luminance, la plupart des évènements se produisent à la limite des objets. La détection de ces contours est une étape clé pour un traitement ultérieur. Les chercheurs ont introduit une approche qui identifie l'emplacement des contours et la propriété des frontières en utilisant des caractéristiques représentant le mouvement, la chronologie, la texture et les orientations spatiales. La détection des contours et l'affectation des frontières ont ensuite été démontrées dans une proto-segmentation de la scène. Les scientifiques ont travaillé sur des algorithmes pour estimer le mouvement de l'image à partir d'informations fondées sur des évènements asynchrones, ainsi que sur circuit FPGA pour calculer vigilance visuelle. Enfin, ils ont produit un ensemble de données qui fournit à la fois des données d'évènement hors cadre et des données classiques d'image, de mouvement et de profondeur. Cela permet d'évaluer différentes méthodes fondées sur les événements et de les comparer à la vision par ordinateur classique à base de trames. REAL-TIME ASOC a démontré comment les robots de demain sélectionneront et traiteront visuellement des images à la façon des humains.
Mots‑clés
Robots, REAL-TIME ASOC, manipulation d'objets, architectures matérielles hybrides, attention visuelle
