Neue Technologie zum Streamen von Videos in guter Qualität ohne Ihre Daten auszulaugen
Das Video-Streaming über das Internet, entweder in Form von Videos bestehender Inhalte auf Abruf oder von Live-Übertragungen bestimmter Ereignisse, ist eine florierende Branche. Dennoch sind qualitativ hochwertige Streaming-Dienste nicht überall verfügbar, da es manchen an den dafür benötigten Breitbandverbindungen mangelt. Für viele sind auch die Kosten des mobilen Internetzugriffs unerschwinglich. Eine Studie kam zu dem Ergebnis, dass die Kosten weltweit fast 50 % der Menschen mit Zugriff auf 4G-Netzwerke davon abhalten, über Smartphones auf das Internet zuzugreifen. Das EU-unterstützte Projekt ENHANCEplayer schickte sich an, die Belastung der Infrastruktur zu senken, indem Videos mit geringerer Auflösung/Bitrate über das Internet übertragen werden, die die empfangende Videoabspielanwendung dann auf eine bessere Qualität hochskalieren kann. „Bislang wurden Ansätze verfolgt, die die Codierungseffizienz der Videos verbessern, was eine Inkompatibilität mit älterer Hardware riskiert. Wir hingegen setzten bei der Qualität des Seherlebnisses an und nicht bei technischen Kennzahlen“, erklärt der Projektkoordinator Ely Loew.
Aufwertung durch neuronale Netzwerke
Die Mitglieder des Projektkonsortiums Artomatix und THEO Technologies teilten ihre technologischen Infrastrukturen miteinander, um eine Prototyplösung zu entwickeln. Der Ausgangspunkt von ENHANCEplayer war, dass die von den Sendenden benötigte Mindestauflösung für Mobilgeräte 540 p betrug. Artomatix mutmaßte, dass seine Superauflösungstechnologie für zahlreiche Geräte optimiert werden und sich als schnell genug erweisen könnte, um die Auflösung der Videobilder in Echtzeit bei 25-30 Bildern pro Sekunde hochzuskalieren. THEO Technologies gestaltete seine universelle Videoabspielanwendung „THEOplayer“ um, um Artomatix‘ Hochskalierungsmodule einzubinden. Der daraus resultierende ENHANCEplayer-Prototyp funktioniert, indem ein neuronales Netzwerk mit zwei Versionen einer Bildabfolge geschult wird – einer Quellauflösung, zum Beispiel 360 p, und einer Zielauflösung, beispielsweise 720 p. Das Modell fügt der 360-p-Version dann Pixel hinzu, sodass dessen Qualität der eines Bildes in 720 p entspricht. Um das System umfassender zu erproben, erschuf das Projekt als Konzeptnachweis ein maßgeschneidertes Modell für die Videos, die von den sendenden Partnereinrichtungen – der VRT in Belgien, dem NPO in den Niederlanden und der RTP (Website auf Portugiesisch) in Portugal – übertragen werden. Der erste Erfolg bestand darin, ein 360-p-Video mit einer hochskalierten Auflösung von 540 p auf einem iPhone 11 zu streamen. „In diesem Augenblick haben sich alle unsere Zweifel an der Technologie zerstreut. Unser Enthusiasmus wurde durch Übertragungstests und Befragungen von Nutzenden nur noch gestärkt, die die verbesserte Videoqualität bestätigten“, so Loew. Dieser Durchbruch war dadurch möglich, dass das iPhone 11 über neue Chips für neuronale Netzwerke verfügt, mithilfe derer maschinelles Lernen durchgeführt werden kann. Diese Chips werden in immer mehr neuen Mobilgeräten verbaut. Zwar verfügen die neusten Android-Smartphones auch über Chips für neuronale Netzwerke, jedoch verlangsamte ihre Architektur die Verarbeitung einzelner Videobilder, sodass das Modell nicht in Echtzeit laufen konnte. „Aktuell ist diese Technologie also von der Hardware abhängig“, beobachtet Loew.
Neue Möglichkeiten
Eine Umfrage prognostiziert dem Wert des globalen Markts für Over-The-Top-Dienstleistungen vom Stand von 81,6 Mrd. USD im Jahr 2019 bis 2024 ein Wachstum auf 156,9 Mrd. USD sowie eine Vervierfachung der genutzten Bandbreite im Zeitraum zwischen 2017 und 2022. Der Anteil des Live-Video-Streamings soll Prognosen zufolge um das Fünfzehnfache ansteigen. Indem ENHANCEplayer die benötigte Bandbreite senkt, minimiert es die Belastung der Kommunikationsinfrastruktur und senkt gleichzeitig den Energieverbrauch. Es verschafft auch jenen Zugang zu diesen Diensten, denen sie bislang aus technischen oder wirtschaftlichen Gründen verwehrt bleiben, wie zum Beispiel Menschen in ländlichen Gemeinschaften oder in Entwicklungsländern. Darüber hinaus eröffnet es Amateurinnen und Amateuren die Möglichkeit, mit einfacher Ausstattung Inhalte zu erstellen. Das Team arbeitet nun an der Überprüfung der Optionen, um sich den Hardware-Kapazitäten von Android anzupassen, sowie an einer Lösung für Internetbrowser. „Wir schätzen, dass die Hardware- und Browserinfrastruktur, die zum Umgang mit neuronalen Netzwerken zur Hochskalierung der Auflösung in Echtzeit erforderlich ist, in etwa einem bis zwei Jahren verfügbar sein wird“, fügt Loew hinzu. Das Team zieht auch verschiedene zukünftige Ausrichtungen in Betracht, darunter das Einbinden der Hochskalierung in einen Videocodec oder als Element eines Videoanzeigegeräts wie eines Fernsehers oder die Ermöglichung einer partiellen Hochskalierung für ältere Geräte.
Schlüsselbegriffe
ENHANCEplayer, Streaming, Video, Bitrate, Internet, iPhone, mobil, Bandbreite, Entwicklungsländer