+- Selur's Little Message Board (https://forum.selur.net)
+-- Forum: Hybrid - Support (https://forum.selur.net/forum-1.html)
+--- Forum: Probleme und Fragen (https://forum.selur.net/forum-4.html)
+--- Thread: Frame-Interpolation mittels RIFE, welche PlugIns? (/thread-3491.html)
Frame-Interpolation mittels RIFE, welche PlugIns? - Bob.Dig - 06.12.2023
Hallo Selur,
ich bin neu hier und habe eine Frage.
Ich bin an hochwertiger Frame-Interpolation interessiert, nach meinem Kenntnisstand gibt es die nur mit RIFE. Mein erster Versuch mit Hybrid brachte aber kein Ergebnis hervor, bei 98% ging es nicht mehr weiter.
Bin dann auf das Forum aufmerksam geworden und habe mir die PlugIns angesehen. Mich dünkt, dass dort vielleicht mehr als eines für mich relevant sein könnte?
Ich interessiere mich allerdings nicht wirklich für Upscaling, Schärfen usw..
Könntest Du oder sonst jemand mir einen Tipp geben, welche(s) PlugIn(s) das performanteste ist bei gleichzeitig guten Ergebnissen, bevor ich einen erneuten Versuch starte?
Meine Hardware:
RTX 3060 Mobile
Ryzen 7 5800H
Danke fürs Lesen.
RE: Frame-Interpolation mittels RIFE, welche PlugIns? - Selur - 06.12.2023
Qualitativ tut sich RIFE (https://github.com/styler00dollar/VapourSynth-RIFE-ncnn-Vulkan) wie es in Hybrid standardmäßig dabei ist nichts mit den anderen Varianten (https://github.com/HolyWu/vs-rife, https://github.com/AmusementClub/vs-mlrt).
Würde deshalb sagen, dass die Add-ons nicht wirklich interessant sind für Dich.
Zu den 98% kann ich ohne Details (siehe Sticky) nichts sagen, außer dass es eventuell nur ein Muxingproblem war.
MV < SVP < RIFE ist grob die qualitative Aufteilung (wobei es immer mal wieder clips gibt wo der eine Filter besser ist als der andere).
Cu Selur
RE: Frame-Interpolation mittels RIFE, welche PlugIns? - Bob.Dig - 06.12.2023
Hey, das ging flott.
Meine gelesen zu haben, dass pytorch recht performant ist. Allerdings sind mir die anderen Möglichkeiten bis vor kurzem noch völlig unbekannt gewesen. Neben guter Performance und Qualität wäre mir auch eine möglichst einfache Bedienung/Integration in Hybrid wichtig.
Ich hab mir im Temp-Ordner das Video-File angesehen, das sah nicht fertig aus. Mir ist aber auch klar, dass ich mit diesen Angaben zu diesem Problem keinen Support erwarten kann.
RE: Frame-Interpolation mittels RIFE, welche PlugIns? - Selur - 06.12.2023
Der einzige Vorteil, wenn man pytorch mit RIFE verwendet, ist dass TensorRT unterstützt wird.
Dabei wird dann erst eine .engine Datei erstellt (je nach Parametern kann das auch mal 40min dauern), dann wird der Prozess erst gestartet, dafür aber flotter.
Quote:Ich hab mir im Temp-Ordner das Video-File angesehen, das sah nicht fertig aus.Nicht fertig = zu kurz, das würde auf einen Crash hinweisen.
Cu Selur
RE: Frame-Interpolation mittels RIFE, welche PlugIns? - Bob.Dig - 09.12.2023
Hab es mal wieder versucht, dieses Mal erfolgreich.
Folgender Hinweis ist mir aufgefallen:
Quote:Scene detection: In order to avoid artifacts at scene change, invoke `misc.SCDetect` on YUV or Gray format of the input beforehand so as to set frame properties.Ich weiß aber nicht, wo man das ggf. einstellen kann.
Ansonsten, vielen Dank für dein Programm! Da Du so viel integrierst, werde ich es wohl auch zukünftig viel nutzen wollen.
Und wenn Du nichts gegen etwas chit-chat hast, kannst Du mir etwas zum "deshaken" empfehlen, was vergleichbar ist mit dem Deshaker von Gunnar Thalin für VDub?
Ich sehe, dass Hybrid für VS einen stabilzer hat, der vermutlich dem DeShaker vom ebenfalls integrierten FFmpeg vorzuziehen ist?
RE: Frame-Interpolation mittels RIFE, welche PlugIns? - Selur - 09.12.2023
Quote:Ich weiß aber nicht, wo man das ggf. einstellen kann.'Scene change' aktivieren und threshold angeben.
bzgl. de-shaker:
Keine Ahnung, den Deshaker von Gunnar Thalin habe ich nie benutzt.
Stab, gleicht Wackeln durch Drehen aus.
StabilizeIT, gleicht Wackeln durch Drehen und Zoomen aus.
'ReduceFlicker' und 'SmallDeflicker' sind für instabile Luma Channel gedackt.
Cu Selur
RE: Frame-Interpolation mittels RIFE, welche PlugIns? - Bob.Dig - 09.12.2023
(09.12.2023, 15:45)Selur Wrote: 'Scene change' aktivieren und threshold angeben.Da bin ich ja beruhigt, das hatte ich schon aktiviert.
(09.12.2023, 15:45)Selur Wrote: StabilizeIT, gleicht Wackeln durch Drehen und Zoomen aus.Das klingt gut, danke.
RE: Frame-Interpolation mittels RIFE, welche PlugIns? - Bob.Dig - 03.02.2024
[quote pid="20383" dateline="1702129918"]
(09.12.2023, 15:45)Selur Wrote: StabilizeIT, gleicht Wackeln durch Drehen und Zoomen aus.Das klingt gut, danke.
[/quote]
Konnte es inzwischen mal testen und es scheint nicht ganz mit dem Deshaker von Gunnar Thalin mithalten zu können. Also muss VDub wohl drauf bleiben.
RE: [gelöst] Frame-Interpolation mittels RIFE, welche PlugIns? - Selur - 03.02.2024
Nebenbei Mercalli von proDAD ist nochmals einiges besser.
RE: Frame-Interpolation mittels RIFE, welche PlugIns? - Bob.Dig - 08.05.2024
Poste lieber hier, da ich bald der Einzige bin, der den deutschen Bereich unsicher macht.
Folgendes Problem ist bei mir sowohl mit RIFEmlrt als auch mit TorchRIFE aufgetreten. Wenn ich "Scale" erhöhe auf größer als 1, dann gibt es ein "Crashed with exit status 0". Mit den Defaultwert von 1.0 gibt es dagegen keine Problem. "Scale" habe ich das erste mal verändert, in der Hoffnung, dass Bildfehler reduziert werden.
Werde den Debug-Output hier anhängen, auch wenn ich wenig Hoffnung habe.