Projekt-Erfolgsstorys - Brauchen Sie Bildmaterial auf die Schnelle?
Die Fernsehanstalten verfügen in ihren Datenbanken über tausende Stunden unbearbeiteter Videos. Viele dieser "Rushes" – so nennt man unter Fachleuten das Filmmaterial vom Vortag – könnten in zukünftigen Produktionen verwendet werden, aber sie setzen doch oft eher virtuellen Staub an, da die Sendeleiter der Programme und die Journalisten, die meist unter großem Zeitdruck arbeiten, nicht schnell genug beurteilen können, welche Art von Aufnahmen sie enthalten. "Programmmacher können nur ein paar Sekunden oder Minuten aus den Stunden an Filmmaterial verwenden, das aufgenommen wurde", erklärt Dr. Oliver Schreer vom Fraunhofer-Institut für Nachrichtentechnik, Heinrich-Hertz-Institut in Berlin. "Derzeit nehmen einige Fernsehanstalten manuelle Kennzeichnungen an unbearbeiteten Aufnahmen vor, aber das ist ein sehr zeitaufwändiger Prozess und ein Großteil der Aufnahmen bleibt unklassifiziert und daher ungenutzt", fährt Dr. Schreer fort. "Was die Leute wirklich brauchen, sind automatisierten Methoden zum Ordnen dieses Materials." Im Rahmen des Projekts "The retrieval of multimedia semantic units for enhanced reusability" (Rushes) leitete Dr. Schreer ein Team von Wissenschaftlern aus europäischen Forschungseinrichtungen und dem Technologiesektor, die sich auf die Suche nach Wegen machten, wie dieser Typ von unbearbeiteten Videoinhalten sehr viel einfacher werderverwendet werden könnte. Das von ihnen entwickelte Prototypsystem analysiert und kennzeichnet Videomaterial automatisch, was die Indizierung und Katalogisierung sehr vereinfacht. Inzwischen konnten sie auch eine Nutzeroberfläche erstellen, um Verwaltung der und die Suche innerhalb der großen Multimedia-Repositorien zu verbessern. "Gebräuchliche Videodatenbanken zeigen einzelne Bilder aus Videos, aber der Benutzer hat nur begrenzte Möglichkeiten, zu verstehen, worum es in dem Filmmaterial geht, und es zu analysieren. Wir wollten Tools erschaffen, die Videoinhalte noch viel besser präsentieren können", erläutert Schreer. Gemeinschaftliche Entwicklung Zum System-Entwicklerteam gehörten professionelle und private Anwender. Der erste Schritt war die Bewertung üblicher Arbeitsabläufe und von Technologien der Branche, wobei zu verbessernde Bereiche und zusätzlicher Bedarf festgestellt werden konnten. "Bei der Entwicklung unseres Prototyps haben wir eng mit dem baskischen Sender ETB zusammengearbeitet", erzählt Dr. Schreer. Sobald der Systementwurf feststand, wurde es mithilfe von Nutzereingaben getestet und validiert. "Wir befragten Journalisten und Archivare, um die verschiedenen Funktionalitäten des Systems in den Griff zu bekommen", fügt er hinzu. "Dieses Feedback war enorm wichtig, da wir wirklich zu einer Lösung kommen wollten, die dem Bedarf des Sektors entspricht." Das System analysiert und kategorisiert unbearbeitete Videos unter Einsatz semantischer Indizierungsprinzipien. Das Team erstellte zunächst eine Reihe von Algorithmen, die bestimmte Arten von Objekten oder Inhalten in einem Video erkennen können und dann automatisch Metadaten erzeugt, um diese zu beschreiben. Das System kann zum Beispiel Gesichter (was auf die Anwesenheit von Menschen hindeutet), regelmäßige Formen (zeigt vom Menschen geschaffene Umgebungen an), verschiedene Typen von Vegetation oder auch verschiedene Arten der Kameraführung erkennen. Es ist außerdem in der Lage, verschiedene Arten der Vertonung – Sprache, Musik, Lärm oder Stille – zu klassifizieren. Auch unterschiedliche Sorten von Wasser, etwa Meere und Ozeane, Flüsse oder Häfen, bzw. alltägliche Objekte wie Busse, Hunde und Schiffe kann es identifizieren. Eine Blitzlichterkennung hilft beim Finden von Pressekonferenzen oder Nachrichteninterviews. "Wir haben in Bezug auf Bildsuche und Wiederauffindung für Videos existierende Technologien angepasst und kombiniert und außerdem einige Aspekte ganz neu erfunden, wie zum Beispiel den Kameraführungsdetektor und den 3D-Form-Detektor", erklärt Schreer. Eine weitere Gruppe von Algorithmen nutzt die erzeugten Metadaten, um den Inhalt der "Rushes" – des archivierten Filmmaterials – zu sammeln und zusammenzufassen, wobei Gruppen von Inhalten erschaffen werden, die das Browsen und die weitere Bearbeitung unterstützen. "Das Metadatenmodell – Herzstück unseres Systems – ist etwas ganz Neues", betont Dr. Schreer. Schnelles Wiederauffinden Ein entscheidender Dreh- und Angelpunkt des Projektes war es, eine Benutzeroberfläche zu erstellen, damit der Nutzer sehr viel effizienter auf die Videoinhalte zugreifen kann. "Journalisten kostet das Durchsuchen von Filmmaterial enorm viel Zeit – wir wollten dieser Zielgruppe neue Instrumente in die Hand geben, damit sie Videodatenbanken schneller erkunden und Inhalte tatsächlich wiederverwenden können", sagt Dr. Schreer. Das Rushes-System verfügt über eine Reihe von Browser- und Visualisierungsschnittstellen: von der einfachen textbasierten Suche nach Schlüsselwörtern bis hin zum "semantischen" und visuellen Browsen. Die hinter diesen Tools stehenden technischen Konzepte des Systems sind die Gruppierung von Inhalten basierend auf hierarchischen Clustern, semantischer Kontextanpassung und Relevanz-Feedback. "Das System berücksichtigt die zeitliche Struktur des Filmmaterials und informiert den Nutzer darüber, wie es organisiert ist, und hilft, Zusammenhänge herzustellen. So kann der Anwender den gesuchten relevanten Inhalt und die speziellen Teile davon, die am besten passen, viel leichter und schneller finden", fügt er hinzu. Zukunftsperspektiven Rushes lief vom Februar 2007 bis Juli 2009. Das Team demonstrierte den im Rahmen des Projekts entwickelten Prototyp auf einigen wichtigen Technologie-Veranstaltungen in ganz Europa – auch auf der Telekommunikationsmesse CEBIT in Hannover. "Die Rückmeldungen, die wir erhielten, waren wirklich gut. Die Branche sieht hier eine sehr hilfreiche Neuheit", zeigt sich Dr. Schreer überzeugt. Einzelnen Projektpartner entwickeln derzeit weitere individuelle Aspekte des Prototyps, wobei ein Teil der Zusammenarbeit dauerhaft fortgesetzt wird. "Die Projektresultate werden in kommerziellen Produkten Anwendung finden und Medienprofis eine Hilfe sein", prognostiziert Dr. Schreer. Rushes erhielt Mittel aus dem Sechsten EU-Rahmenprogramm (RP6) für Forschung.