Auf dem Weg zu detailreicher Video-Superauflösung
Datenbank für Online-Tools
Video Super Resolution (VSR)-Ansätze haben bei hochgesampelten Videos eine beeindruckende zeitliche Konsistenz gezeigt. Allerdings führen diese Ansätze tendenziell zu unschärferen Ergebnissen als ihre Gegenstücke im Bildbereich, da ihre Erzeugungsfähigkeit begrenzt ist. Dies wirft eine grundlegende Frage auf:
Können wir den Erfolg eines generativen Bild-Upsamplers auf die VSR-Aufgabe ausweiten und gleichzeitig die zeitliche Konsistenz bewahren? Wir stellen VideoGigaGAN vor, ein neues generatives VSR-Modell, das Videos mit hochfrequenten Details und zeitlicher Konsistenz produzieren kann. VideoGigaGAN basiert auf einem gross angelegten Bild-Upsampler – GigaGAN.
Das einfache Aufblasen von GigaGAN auf ein Videomodell durch Hinzufügen zeitlicher Module führt zu starkem zeitlichen Flackern. Wir identifizieren mehrere Schlüsselprobleme und schlagen Techniken vor, die die zeitliche Konsistenz von Upsampling-Videos erheblich verbessern. Unsere Experimente zeigen, dass VideoGigaGAN im Gegensatz zu früheren VSR-Methoden zeitlich konsistente Videos mit feinkörnigeren Darstellungsdetails generiert.
Wir validieren die Wirksamkeit von VideoGigaGAN, indem wir es mit modernsten VSR-Modellen auf öffentlichen Datensätzen vergleichen und Videoergebnisse mit 8-facher Superauflösung präsentieren.
- Sprache: Englisch
- Preis: Kostenlos
- Bewertung: 👍 👍
Screenshotquelle: https://videogigagan.github.io/