Skip to main content
European Commission logo
italiano italiano
CORDIS - Risultati della ricerca dell’UE
CORDIS
CORDIS Web 30th anniversary CORDIS Web 30th anniversary
Contenuto archiviato il 2024-05-28

Real-time understanding of dexterous deformable object manipulation with bio-inspired hybrid hardware architectures

Article Category

Article available in the following languages:

I robot di domani con capacità visive intelligenti

La capacità di percepire e comprendere le dinamiche del mondo reale è un fattore critico per la prossima generazione di robot. Un’iniziativa UE ha esplorato la visione, che è essenziale per la maggior parte delle attività dei robot.

I robot hanno bisogno di selezionare in modo adattativo le informazioni pertinenti in una determinata scena per ulteriori elaborazioni. Richiedono una conoscenza previa del senso comune su dove trovare un obiettivo e devono anche avere un’idea della loro dimensione, forma, colore o struttura. I robot richiedono meccanismi di attenzione per determinare quali parti della matrice sensoriale devono elaborare. L’attenzione comporta la selezione delle informazioni più rilevanti da ingressi multi-sensoriali per eseguire in modo efficiente una ricerca target. Il progetto REAL-TIME ASOC (Real-time understanding of dexterous deformable object manipulation with bio-inspired hybrid hardware architectures), finanziato dall’UE, si è concentrato sullo sviluppo di nuovi meccanismi per l’attenzione visiva. REAL-TIME ASOC ha impiegato una telecamera specializzata chiamata sensore di visione dinamica (DVS) che è adatta ad applicazioni robotiche che richiedono periodi di latenza brevi per operare in tempo reale. Cattura tutto ciò che sta cambiando a una risoluzione temporale molto elevata in microsecondi. Il sensore DVS registra circa 600 000 fotogrammi al secondo e riduce la quantità di informazioni rimuovendo le aree statiche di una scena. I partner del progetto hanno iniziato utilizzando il sensore DVS per estrarre i contorni e la proprietà di confine solo da informazioni su eventi. Poiché gli eventi vengono attivati esclusivamente in corrispondenza di grandi cambiamenti di luminanza, la maggior parte degli eventi si verifica al confine degli oggetti. Rilevare questi contorni è un passo fondamentale verso la successiva elaborazione. È stato introdotto un approccio che identifica la posizione dei contorni e la loro proprietà di confine mediante le caratteristiche che rappresentano il movimento, i tempi, la consistenza e gli orientamenti spaziali. Il rilevamento del profilo e l’assegnazione del confine sono stati poi dimostrati in una proto-segmentazione della scena. Gli scienziati hanno lavorato su algoritmi per la stima del movimento delle immagini da informazioni asincrone basate su eventi, e su un gate array programmabile sul campo per calcolare l’attenzione visiva. Infine, hanno prodotto una banca dati che fornisce sia dati degli eventi senza frame che dati di immagine, movimento e profondità classici. Questo aiuta a valutare i diversi metodi basati su eventi e a confrontarli con la visione dei computer convenzionale basata su frame. REAL-TIME ASOC ha dimostrato come il robot di domani selezionerà visivamente ed elaborerà le immagini proprio come fanno gli esseri umani.

Parole chiave

Robot, REAL-TIME ASOC, manipolazione di oggetti, architetture hardware ibride, attenzione visiva

Scopri altri articoli nello stesso settore di applicazione