Für das Streaming komprimierte Videos können feine Details verlieren, bevor sie den Bildschirm eines Zuschauers erreichen. Nokia möchte, dass das Wiedergabegerät KI einsetzt, um einen Teil dieser Qualität wiederherzustellen.
Nokia-Forscher haben eine Open-Source-Implementierung der Technologie Neural Network Post Filter (NNPF) veröffentlicht. Sie wendet die Verarbeitung durch ein neuronales Netzwerk an, nachdem ein kompatibles Gerät ein Video dekodiert hat. Laut Nokia ist dies das erste Mal, dass ein KI-basiertes Verfahren zur Videooptimierung in internationale Videostandards integriert wurde.
Der Ansatz könnte Streaming-Diensten letztlich dabei helfen, die wahrgenommene Videoqualität zu verbessern, ohne etablierte Codecs aufzugeben. Die Realisierung dieser Vorteile wird jedoch von der Unterstützung durch Encoding-Plattformen, Chiphersteller, Gerätehersteller und Videoanwendungen abhängen.
So funktioniert Nokias Filter mit neuronalen Netzwerken
Videokomprimierung reduziert die für die Übertragung und Speicherung von Inhalten erforderliche Datenmenge, kann aber auch feine visuelle Informationen entfernen. NNPF wendet einen Filter mit neuronalen Netzwerken an, nachdem ein Gerät das komprimierte Video dekodiert hat. So kann das Wiedergabesystem das resultierende Bild optimieren und einen Teil der bei der Komprimierung verlorenen Details wiederherstellen.
Das System nutzt ergänzende Zusatzinformationen (Supplemental Enhancement Information, SEI), die zusammen mit dem codierten Video übertragen werden. Diese Metadaten liefern einem kompatiblen Empfangsgerät die erforderlichen Informationen, um den passenden Filter mit neuronalen Netzwerken zu erkennen und anzuwenden.
Die Nokia-Forscher Miska Hannuksela und Jill Boyce erklärten, dass das Unternehmen zum Standard Versatile Supplemental Enhancement Information beigetragen habe, der festlegt, wie diese Art von Metadaten zusammen mit codiertem Video übertragen werden kann.
Da die Metadaten etablierte Codecs wie High Efficiency Video Coding (HEVC) und Versatile Video Coding (VVC) ergänzen, könnten Anbieter KI-Optimierung einführen, ohne auf ein völlig neues Komprimierungsformat umzusteigen.
Dadurch wird die Bereitstellung jedoch nicht automatisch. Videodienste bräuchten weiterhin kompatible Encoding-Tools, während Wiedergabegeräte und Anwendungen Software benötigen würden, die die Metadaten interpretieren und das neuronale Netzwerk ausführen kann.
KI-Optimierung ohne High-End-GPU
Auch andere Akteure der Technologiewelt arbeiten an KI-basierter Videooptimierung. Ihre Lösungen waren jedoch entweder kostspielig oder stark eingeschränkt.
NVIDIA bietet die GeForce RTX GPU für KI-gestützte Videooptimierung, die Behebung von Komprimierungsfehlern und das Tonemapping von SDR zu HDR an. Trotz all dieser von NVIDIA bereitgestellten Funktionen ist die Hardware teurer als die meisten Verbrauchergeräte. Zudem sind die Entwicklertools restriktiv und erschweren die Zusammenarbeit.
Um dies näher auszuführen: Die Lizenzbedingungen des NVIDIA RTX Software Development Kit (SDK) lauten: „Sie dürfen das SDK in keiner Weise verwenden, die dazu führen würde, dass es einer Open-Source-Softwarelizenz unterliegt.“ Die Botschaft zur Freiheit von Entwicklern ist eindeutig.
Auch Google bietet KI-Videooptimierungen an, allerdings mit weniger Funktionen als NNPF. Googles Optimierungen konzentrieren sich hauptsächlich auf die Größenänderung von Inhalten und Voiceover. Zudem beschränkt Google einige Funktionen wie Voiceover auf Marketingkampagnen im Rahmen der Performance-Max-Stufe.
Was das für Videoanbieter bedeuten könnte
Verbrauchergeräte verfügen bereits über native KI-Beschleunigung für Aufgaben wie Deep Learning. Darüber hinaus wird das Ökosystem zur Unterstützung offener Technologien für lokale KI-Inferenz nicht nur von Nokia getragen.
Auch Intel bietet ein Open-Source-Tool namens OpenVINO an, das CPUs, GPUs und NPUs unterstützt. Dies signalisiert Unterstützung für Gemeingüter, statt lediglich Unternehmensinteressen in den Mittelpunkt zu stellen.
Während Unternehmensteams sich beeilen, ihren Backend-Stack zu optimieren, müssen sie möglicherweise die bereits vorhandenen Hardwarelösungen berücksichtigen, mit denen ihre Nutzer täglich auf ihren Geräten interagieren. Dadurch könnten ihre Unternehmen geringere CDN-Kosten und durch ein immersives Videoerlebnis eine höhere Nutzerzufriedenheit erzielen.
Lesen Sie auch: KI-Videos ermöglichen südkoreanischen Familien, verstorbene Angehörige wiederzusehen – und erfahren Sie, wie KI-Videotechnologie die Erinnerung an Familienangehörige neu gestaltet und neue ethische Fragen aufwirft.