VVDNet : Réseau double Vision-Vidéo pour la super-résolution vidéo

VVDNet (Vision-Video Dual Network) est une architecture d'apprentissage profond pour la super-résolution vidéo (VSR) — améliorer vidéo basse résolution vers haute résolution en utilisant information spatio-temporelle.

Vue d'ensemble architecture

Design double flux

• Flux Vision (Spatial) : Traite images individuelles pour récupération détail spatial
  • Blocs résiduels, attention canaux
  • Apprend texture, contours, structure objets par image
• Flux Vidéo (Temporel) : Traite séquences images pour cohérence mouvement
  • Convolutions déformables / alignement flux optique
  • Apprend correspondance inter-images, trajectoires mouvement

Modules fusion spatio-temporelle

• Fusionnent caractéristiques vision + vidéo à multiples échelles
• Flux d'information bidirectionnel
• Pondération par attention : « où regarder » spatialement + « quand faire confiance » temporellement

Innovations techniques

• Alignement déformable : Gère grands/mouvements complexes mieux que warping flux
• Fusion multi-échelle : Raffinement grossier-à-fin
• Récurrent / fenêtre glissante : Traite chunks (ex: 5-7 images) pour efficacité mémoire
• Fonctions perte : Pixel (L1/L2) + Perceptuelle (VGG) + Adversariale (GAN) + Cohérence temporelle

Contexte performance

• Benchmarks : REDS4, Vid4, Vimeo-90K, SPMCS
• Métriques : PSNR, SSIM, LPIPS, erreur warping temporel
• Compare à : EDVR, BasicVSR, RealBasicVSR, SwinIR, VRT
• Gain typique : 0,5-1,5 dB PSNR sur SR image unique (ESRGAN, SwinIR)

Applications

• Streaming : Réduction bande passante (transmettre LR, upscale côté client)
• Restauration : Vieux métrages, archives compressées, surveillance
• Mobile : VSR temps réel sur appareil (intégration ISP Snapdragon, MediaTek)
• Cloud gaming : Encoder 720p → upscale 1080p/4K côté client

Considérations déploiement

• Calcul : Lourd (conv déformable, multi-images) — nécessite GPU/NPU
• Latence : Alignement image + fusion = 50-200 ms typique
• Quantification : INT8 / FP16 pour déploiement mobile
• Cohérence temporelle : Critique — scintillement pire que flou statique

VVDNet représente le paradigme double-flux qui dominait la recherche VSR 2020-2023, depuis supplanté par architectures basées transformers (VRT, SwinVSR) et propagation (BasicVSR++, RealBasicVSR) — mais ses principes de fusion restent influents.