Valutare le procedure di estrazione di testi
Il sistema Parmenides è stato progettato per supportare l'intero processo di estrazione di dati, dalla raccolta dei documenti all'estrazione dell'informazione e dall'annotazione semantica all'applicazione delle tecniche di estrazione di dati. Sviluppato su base ontologica, include un sistema di gestione ontologica e strumenti per estrarre nuovi concetti e rapporti, e fornisce inoltre i mezzi per immagazzinare documenti e dati. Il sistema Parmenides può supportare l'intero processo di estrazione di testo, ma gli utilizzatori possono anche sfruttare solo un sottoinsieme delle possibilità disponibili in base al compito che desiderano svolgere. Durante lo svolgimento del progetto PARMENIDES, e in parallelo allo sviluppo del sistema stesso, è stato messo a punto, in collaborazione con gli utilizzatori, un quadro di valutazione. L'obiettivo ultimo perseguito dai partner del progetto era duplice. In primo luogo intendevano condurre una valutazione completa dell'architettura del sistema orientata agli utilizzatori, per capire fino a che punto rispondeva alle loro esigenze. In secondo luogo il quadro di riferimento generale messo a punto per il sistema Parmenides era stato pensato per essere riutilizzato nella valutazione di altri sistemi simili. In particolare, è stato usato il ROTE (Relative ordering tool) per costruire un modello qualitativo parametrizzato di valutazione, progettato dall'università di Ginevra per aiutare gli utilizzatori a specificare l'importanza relativa delle differenti caratteristiche qualitative e le misure associate. Lo strumento permette agli utilizzatori di ordinare qualsiasi numero di caratteristiche qualitative confrontandole in modo proporzionale. Ad esempio, un utilizzatore può considerare necessario al tempo stesso il sistema di gestione ontologica e la possibilità di costruire e gestire ontologie. Le prestazioni di strumenti specifici per l'acquisizione di nuovi concetti possono tuttavia essere considerate meno importanti della qualità del sistema di gestione. Un tale quadro di riferimento valutativo per un lungo e complesso sistema di estrazione di testo ha portato a un modello qualitativo che contiene oltre 180 misure. Ed è proprio la complessità del modello qualitativo che in un primo tempo ha spinto a sviluppare ROTE. Prima di poter valutare globalmente i suoi vantaggi bisognerà tuttavia procedere a ulteriori test su altri sistemi di complessità variabile.