+- Selur's Little Message Board (https://forum.selur.net)
+-- Forum: Hybrid - Support (https://forum.selur.net/forum-1.html)
+--- Forum: Probleme und Fragen (https://forum.selur.net/forum-4.html)
+--- Thread: [HELP] Prozessorauslastung zu niedrig(?) (/thread-2798.html)
Prozessorauslastung zu niedrig(?) - c4rD1g4n - 06.06.2022
Guten Tag,
ich habe mich hier gerade neu registriert und das ist mein erster Beitrag
Grundsätzlich habe ich bereits einige Erfahrung mit Videobearbeitung.
Ich benutze normalerweise Handbrake oder MeGui um meine TV-Mitschnitte oder Mediathek-Downloads etwas einzudampfen oder schwarze Balken mit Senderlogos wegzuschneiden.
Jetzt habe ich hybrid für mich entdeckt, wegen des tollen Deinterlacings, denn ich bin gerade dabei die Familienvideos meiner Partnerin zu digitalisieren.
Auch was das betrifft, komme ich mittlerweile ganz gut zurecht und habe nach einigen Problemen ein günstiges und trotzdem effizientes Setup für mich gefunden.
Es gibt letzten Endes nur ein Problem, welches sich bemerkbar macht und das ist die Prozessorauslastung.
Das wäre jetzt nicht das Problem, wenn es sich nicht um 20x 240er Tapes im LP-Mode handeln würde, welche ich "bobbe", womit sich dann noch die Frameanzahl verdoppelt.
Ich benutze QTGMC mit dem Preset "faster" + "Bob" für das deinterlacing.
Außerdem setze ich noch die Filter "KNLMeansCL" und "CnReducer2" ein
Ausgabeformat ist x264 mit Preset "grain" im CRF-Modus.
Damit erreiche dann allerdings gerade einmal eine Framerate von knapp unter Echtzeit (23,xx).
Sprich, nach der Frameverdoppelung durch das Bobbing dauert das ganze dann für ein 240er Tape im LP-Modus dann ca. 16 Stunden!
Ich weiß, das ist jetzt nicht sooo lange und alles noch überschaubar.
Der Punkt ist aber, dass ich einen 5900X einsetze, welcher bei dieser ihm gestellten Aufgabe bei ca. 25% Auslastung herumdümpelt.
Skalieren die Filter und x264 jetzt so mies, oder an welcher Schraube könnte ich noch drehen?
"KNLMeansCL" setzt ja ausserdem auf die GPU (in meinem Fall eine 2080TI, also auch nicht gerade lahm)
Testweise habe ich auch mal "mClean" als Denoiser eingesetzt und das Ergebnis gefiel MIR nach etwas rumprobieren mit den Einstellungen auch AUSGESPROCHEN gut, nur ging dann die Framerate auf ca. 12 fps zurück. Das ist insofern schade, weil ich eigentlich "mClean" als Denoiser präferieren würde.
Ich weiß nur, dass ich bei Handbrake oder MeGui immer eine weitaus höhere Auslastung habe. Natürlich setzte ich dort bei oben genannten Anwendungsszenarien auch keine Filter zur Bildbearbeitung ein, aber liegt es wirklich daran, dass die genannten Filter wirklich so schlecht auf Multiprocessing optimiert sind und der Encoder sich deshalb langweilt?
Gibt es eine vielleicht besser auf Muticore angepasste Alternative zu "KNLMeansCL" oder "mClean"?
Ich weiß, dass man "QTGMC" auch zum denoisen einsetzen kann, allerdings sind mir das dort zu viele Einstellungen und ich weiß da wirklich nicht, an welchen Schrauben ich dort drehen muss, um dieses oder jenes Ergebnis zu erreichen. Ich möchte ja auch nicht totfiltern, sondern nur etwas bessere Komprimierbarkeit erreichen.
Ein log kann ich gerade nicht liefern, da das Encoding im Moment läuft.
Vielleicht ist ja auch einfach etwas durch meine anfängliche Herumprobiererei durcheinandergeraten und ich sollte hybrid einfach noch einmal neu installieren. Mittlerweile weiß ich ja, wo ich was finde und lande beim Wechseln der Tabs nicht mehr in der Irre
Aber vielleicht hat ja trotzdem jemand eine Idee, oder sagt mir einfach "Das ist alles ganz normal!"
....dann muss ich nicht mehr weiter suchen (warum schafft man sich dann aber so ein Prozessormonster an?).
Also erstmal vielen Dank für die Aufmerksamkeit bis hierher!
EDIT:
hier doch die Ausgabe vom aktuellen Encoding als Anhang.
EDIT2:
Ahh...wer lesen kann...
Das normale Log nutzt ja gar nix
EDIT3:
Beitrag noch etwas erweitert/ergänzt
RE: Prozessorauslastung zu niedrig(?) - Selur - 06.06.2022
Hmmm,... erscheint mir zu wenig. Auch wenn die CPU Auslastung bei SD Material oft nicht so hoch ist, weil multithreading nicht so gut genutzt werden kann.
Würde mindestens so 50fps erwarten. Hab selber nen Ryzen 9 3950X und ne alte Geforce GTX 1070ti und habe da eher 39fps und mit kleinen Anpassungen eher 50fps. Selbst bei wesentlich langsameren QTGMC und Encoding settings bin ich immer einiges schneller als RealTime bei SD Material.
Wie sieht es aus wenn Du:
- "Filtering->(De-)Interlace/Telecine->QTGMC Vapoursynth->OpenCL" aktivierst*
- "Filtering->Vapoursynth->Misc->Source->Use DGDecNV when available" aktivierst* (bringt nur was wenn das Material durch die CPU dekodiert werden kann)
Schau auch mal, dass Input-Ordner, Temp-Ordner und Output-Ordner und Hybrid selber bei eventuellen Virus Scannern&Co ignoriert wird.
Da Du bei QTGMC schon 'Faster' verwendest, ist was da vermutlich bremst einer der Denoiser.
KNLMeansCL wird vermutlich nur flotter wenn man nicht alle Farbkanäle filtert. (z.B. Channels auf Y stellt, je nach Material ist es unnötig alle Kanäle zu Denoisen)
Cnr2 ist immer relativ langsam, verwende ich aber bei TV Mitschnitten&Co i.d.R. nicht)
Cu Selur
RE: Prozessorauslastung zu niedrig(?) - c4rD1g4n - 06.06.2022
(06.06.2022, 15:54)Selur Wrote: Wie sieht es aus wenn Du:* je nach System Setup kann dies helfen oder das Ganze ausbremsen.
- "Filtering->(De-)Interlace/Telecine->QTGMC Vapoursynth->OpenCL" aktivierst*
- "Filtering->Vapoursynth->Misc->Source->Use DGDecNV when available" aktivierst* (bringt nur was wenn das Material durch die CPU dekodiert werden kann)
KNLMeansCL wird vermutlich nur flotter wenn man nicht alle Farbkanäle filtert. (z.B. Channels auf Y stellt, je nach Material ist es unnötig alle Kanäle zu Denoisen)
Cnr2 ist immer relativ langsam, verwende ich aber bei TV Mitschnitten&Co i.d.R. nicht)
Cu Selur
Vielen Dank erstmal für die superschnelle Antwort.
Deine Ratschläge werde ich beim digitalisieren des nächsten Tapes gleich einmal ausprobieren.
Ich muss noch dazu sagen, dass ich echt kein Profi bin, allerdings kann ich lesen und weiß, dass man nur durch Studium weiterkommt.
Ich kann Anleitungen befolgen und GUI's bedienen. Beim Punkt Scripte lesen und vor allem verstehen scheitert es dann schon.
Dann kommt eben die Unsicherheit, weil ich die Relationen nicht einschätzen kann, WARUM etwas vielleicht so langsam ist und ob das ja eigentlich u.U. ganz plausibel ist.
Das letzte Mal habe ich VHS vor ca. 20 Jahren digitalisiert. Damals noch mit BT848, doch inzwischen hat sich ja viel getan und die Dinge haben sich weiterentwickelt und das nicht immer zum Besten. Habe z.B. im deutschen Doom9 Forum die 40 Seiten zum aktuellen Stand des VHS Grabbings durchgearbeitet. Im Gegensatz zu Gubels Fazit nutze ich allerdings doch einen USB-Stick (Hauppauge USB Live 2 + Lagarith), was in Verbindung mit dem Geheimtip Panasonic DMR-ES10 echt gute Ergebnisse liefert. Vorher hatte ich eine Terratec MX450 für 5€ von Kleinanzeigen, welche aber nur 6MBit MPEG ausgibt = Blockfeuerwerk.
Wichtig ist ja ansonsten wirklich dieser besagte DMR, sonst kann man es ja vergessen, analoges Material synchron zu bekommen. Meine früheren Captures (s. oben) sind wohl damals nur so gut verlaufen, weil ich seinerzeit schon über ein passendes Gerät verfügte (JVC HR-S4700), welcher (ZUFÄLLIG) schon über einen eingebauten TBC verfügte, sonst wäre ich wohl damals schon gescheitert.
Doch ich schweife ab...
Wie gesagt, für (digitale) TV-Mitschnitte braucht man natürlich Cnr2 nicht, aber in meinem Anwendungsfall macht das schon einen Unterschied.
Ich werde für das nächste Tape hybrid noch einmal neu installieren und an den von Dir genannten "Schrauben" drehen.
Nochmals vielen Dank!
RE: Prozessorauslastung zu niedrig(?) - Selur - 06.06.2022
Anstatt Cnr2 könnteste Du auch mal FFT3DFilter mit erhöhtem Sigma und eingeschränkt auf 'chroma only' antesten.
Cu Selur
RE: Prozessorauslastung zu niedrig(?) - c4rD1g4n - 06.06.2022
Ich habe jetzt abgebrochen, Hybrid deinstalliert (inkl. löschen des Einstellungsordners im User-Verzeichnis).
Dann neu installiert.
Deinterlacing wieder QTGMC wie gehabt "faster" + Bob + OpenCL
Dann noch Deinen Tipp: "Filtering->Vapoursynth->Misc->Source->Use DGDecNV when available" befolgt.
Cnr2 rausgeschmissen und KNLMeansCL doch wieder durch mClean ersetzt (Strength allerdings lediglich auf 7, das reicht völlig!)
Keine Ahnung, ob es einen besseren/passenderen Denoiser gibt, aber wie bereits erwähnt, es handelt sich bei dem zu verarbeitenden Material um mehrfach kopierte im LP-Modus aufgenommene Home-Videos, welche schon ursprünglich nicht mit dem besten VHS-C Camcorder aufgezeichnet wurden und das vielleicht damals ebenfalls schon im LP-Modus....also man muss froh sein, wenn man überhaupt etwas erkennt. mClean klaut mir da wirklich keine Details (die ja vorher gar nicht da waren), bringt aber viel mehr Ruhe rein.
Wie gehabt x264 "tune grain"
...und auf einmal habe ich 100% Prozessorauslastung und 100 FPS!
Keine Ahnung, wo es da geklemmt hat
Vielen Dank nochmals!
RE: Prozessorauslastung zu niedrig(?) - mogobime - 07.06.2022
KNLMeansCL arbeitet bei der Einstellung "Auto" mit der GPU. Wenn die nicht besonders performant ist, könnte dass das Skript insgesamt ausbremsen und dann ist auch die CPU-Auslastung niedrig.
Wenn du also eine starke CPU und eine schwache GPU hast könnte es Sinn machen bei der Benutzung dieses Filters device type auf CPU umzustellen.