Une vidéo compressée pour le streaming peut perdre des détails fins avant d’atteindre l’écran du spectateur. Nokia veut que l’appareil qui la lit utilise l’IA pour restaurer une partie de cette qualité.
Des chercheurs de Nokia ont publié une implémentation open source de la technologie Neural Network Post Filter, ou NNPF, qui applique un traitement par réseau neuronal après qu’un appareil compatible a décodé une vidéo. Nokia affirme que ces travaux marquent la première intégration d’une méthode d’amélioration vidéo fondée sur l’IA dans des standards vidéo internationaux.
Cette approche pourrait à terme aider les services de streaming à améliorer la qualité vidéo perçue sans abandonner les codecs établis. Mais la concrétisation de ces avantages dépendra du soutien des plateformes d’encodage, des fabricants de puces, des constructeurs d’appareils et des applications vidéo.
Comment fonctionne le filtre neuronal de Nokia
La compression vidéo réduit la quantité de données nécessaires pour transmettre et stocker du contenu, mais elle peut également supprimer des informations visuelles fines. Le NNPF applique un filtre à réseau neuronal après le décodage de la vidéo compressée par un appareil, ce qui permet au système de lecture d’améliorer l’image obtenue et de récupérer une partie des détails perdus lors de la compression.
Le système utilise des informations supplémentaires d’amélioration, ou SEI, transportées avec la vidéo codée. Ces métadonnées fournissent à un appareil récepteur compatible les informations nécessaires pour identifier et appliquer le filtre à réseau neuronal approprié.
Les chercheurs de Nokia Miska Hannuksela et Jill Boyce ont déclaré que l’entreprise avait contribué au standard Versatile Supplemental Enhancement Information, qui définit les moyens de transporter ce type de métadonnées avec une vidéo codée.
Comme les métadonnées complètent des codecs établis tels que High Efficiency Video Coding (HEVC) et Versatile Video Coding (VVC), les fournisseurs pourraient être en mesure d’introduire l’amélioration par IA sans passer à un format de compression entièrement nouveau.
Cela ne rend pas le déploiement automatique pour autant. Les services vidéo auraient toujours besoin d’outils d’encodage compatibles, tandis que les appareils et applications de lecture devraient disposer de logiciels capables d’interpréter les métadonnées et d’exécuter le réseau neuronal.
Améliorer la vidéo par IA sans GPU haut de gamme
D’autres acteurs du secteur technologique travaillent également sur l’amélioration vidéo par IA. Cependant, leurs solutions se sont révélées soit coûteuses, soit très restrictives.
NVIDIA fournit le RTX GPU pour l’amélioration vidéo assistée par IA, la correction des défauts de compression et le mappage des tons de SDR vers HDR. Malgré toutes ces fonctionnalités proposées par NVIDIA, son matériel coûte plus cher que la plupart des appareils grand public. En outre, ses outils destinés aux développeurs sont restrictifs et compliquent la collaboration.
Pour entrer dans le détail, les conditions de licence du kit de développement logiciel (SDK) NVIDIA RTX stipulent : « Vous ne pouvez pas utiliser le SDK d’une manière qui le soumettrait à une licence de logiciel open source. » Le message concernant la liberté des développeurs est clair.
Google propose également des améliorations vidéo par IA ; elles offrent toutefois moins de fonctionnalités que le NNPF. Les optimisations de Google portent principalement sur le redimensionnement du contenu et les voix off. En outre, Google limite certaines fonctionnalités, comme les voix off, aux seules campagnes marketing de son offre Performance Max.
Ce que cela pourrait signifier pour les fournisseurs de services vidéo
Les appareils grand public disposent déjà d’une accélération native de l’IA pour des tâches telles que l’apprentissage profond. De plus, l’écosystème prenant en charge les technologies ouvertes pour l’inférence locale par IA ne se limite pas à Nokia.
Intel propose également un outil open source appelé OpenVINO, qui prend en charge les processeurs, les GPU et les NPU. Cela témoigne d’un soutien aux biens communs, plutôt que de se limiter à considérer les intérêts des entreprises.
Alors que les équipes chargées des environnements d’entreprise se précipitent pour optimiser leur pile en back-end, elles pourraient devoir prendre en compte les solutions matérielles déjà existantes avec lesquelles leurs utilisateurs interagissent au quotidien. Elles pourraient réduire les coûts de CDN de leur entreprise et accroître la satisfaction des utilisateurs grâce à une expérience vidéo immersive.
À lire également : Les vidéos générées par IA permettent aux familles sud-coréennes de revoir leurs proches décédés pour découvrir comment la technologie vidéo par IA redéfinit le souvenir familial — et soulève de nouvelles questions éthiques.