Real Cugan Resizer richtig verwenden (1x)

[powerthrash4K]

Ich habe eine Frage:

Wie stelle ich es ein, dass ich mit Real Cugan Animes schärfen kann, aber die Auflösung beibehalte, also quasi 1x Auflösung. Ist dies überhaupt möglich? Ich hatte mal einen Versuch gemacht, aber es änderte sich nichts, außer, dass die Datei kleiner war.
Ich verwende Windows 10 und die Qt6-Version von Hybrid.

[Selur]

Nein, bei RealCUGAN wird immer resized, aber wenn Du einfach RealCugan als Resizer wählen und die Auflösung (Crop/Resize->Resizer->Picture Resize) da lässt, wo Du hin willst, Hybrid passt die Auflösung an.
Was passiert ist:

• Hybrid wendet RealCUGAN entsprechend der Einstellungen an.
  
• Hybrid verwendet den als Downsizer gewählten Resizer an, um die Auflösung auf die gewünschte Zielauflösung anzupassen.
  

Hier ein Beispiel des generierten Codes:

# adjusting color space from YUV420P10 to RGBS for vsRealCUGAN
clip = core.resize.Bicubic(clip=clip, format=vs.RGBS, matrix_in_s="709", range_s="limited")
# resizing using RealCUGAN
clip = core.rcnv.RealCUGAN(clip=clip, noise=0, syncgap=2) # 2560x1440
# resizing 2560x1440 to 1280x720
clip = core.fmtc.resample(clip=clip, w=1280, h=720, kernel="spline64", interlaced=False, interlacedd=False)

Persönlich bin ich kein Fan von RealCUGAN, aber wenn es bei Deinem Input Ergebnisse liefert, die Dir gefallen, top.
Gerade bei Animes macht es meiner Erfahrung nach oft mehr Sinn, VSMLRT oder VSGAN mit Modellen von https://openmodeldb.info/ zu verwenden.

Cu Selur

[powerthrash4K]

Mein Ziel ist es, den Anime so vorzuschärfen, dass danach Real ESRGAN 2x die Auflösung auf 4K erhöht und gleichzeitig den Hintergrund mitschärft. Ich hatte das mal mit Anime4K damals mit einem anderen Programm versucht. Da wird dann die Taghelligkeit unglaublich gut und der Upscale durch Real ESRGAN so scharf, dass auch der Hintergrund gut mitgeschärft wird. Welches Modell ist denn für die Hintergrundvorschärfung (z.B. Gebäude im Hintergrund, die nicht im Fokus sind) deiner Meinung nach am besten geeignet?

---

Das Problem war bei Anime4K halt, dass es 1. an sich nicht so gut ist und 2. im Dunkeln Verschwimmungsartefakte erzeugt, wo dann Real ESRGAN 2x alleine wieder besser war. Das Ergebnis war also nicht gerade optimal im Dunkeln.

---

Was für eine Methode muss ich bei Picture Resize eigentlich wählen? Wähle ich da den lanczos Filter, bleibt Real Cugan, wenn ich die Auflösung bei Picture Resize auf 4K einstelle, dauerhaft bei 95,24% stehen.

---

Oder gibt es da einfach einen Schärfefilter, den man ohne Upscale nutzen kann? Eine weitere Frage: Die Untertitel werden merkwürdigerweise nicht miteingebettet, wenn ich das Kästchen für "All subtitles" markiere. Habe ich da etwas vergessen?

[Selur]

Welches Modell ist denn für die Hintergrundvorschärfung (z.B. Gebäude im Hintergrund, die nicht im Fokus sind) deiner Meinung nach am besten geeignet?

Sorry, hab ich keine Empfehlung, hängt stark vom Content ab. Teilweise würde ich auch BasicVSR++ (Filtering->Vapoursynth->Other->BasicVSR++) zum Denoisen (eventuell mit einer LineMask eingeschränkt) und NNEDI3 dann zum Resizen verwenden.

Das Problem war bei Anime4K halt, dass es 1. an sich nicht so gut ist und 2. im Dunkeln Verschwimmungsartefakte erzeugt, wo dann Real ESRGAN 2x alleine wieder besser war. Das Ergebnis war also nicht gerade optimal im Dunkeln.

Könntest sonst die Dunklenbereiche vorher denoisen. (LumaMask)

Was für eine Methode muss ich bei Picture Resize eigentlich wählen? Wähle ich da den lanczos Filter, bleibt Real Cugan, wenn ich die Auflösung bei Picture Resize auf 4K einstelle, dauerhaft bei 95,24% stehen.

Die Method bei Picture Resize hat keinerlei Auswirkungen, wenn du "Filtering->Vapoursynth->Frame->Resize->Resizer" verwendest.
Dein Problem muss an was anderem liegen, da die Resize Methode nicht ausgewertet wird.

Oder gibt es da einfach einen Schärfefilter, den man ohne Upscale nutzen kann?

"Filtering->Vapoursynth->Sharpen" hat einige Filter zum Schärfen.
Gerade bei Animes kann "Filtering->Vapoursynth->Line->Darkening" auch wie eine 'Schärfung' wirken.

Eine weitere Frage: Die Untertitel werden merkwürdigerweise nicht miteingebettet, wenn ich das Kästchen für "All subtitles" markiere. Habe ich da etwas vergessen?

'All subtitles' ist eine Unteroption von 'Extract&Add' bzw. 'Extract' und macht selber nichts. Vielleicht solltest Du Dir 'Config->Automation->Passthrough streams' anschauen.

Cu Selur

[powerthrash4K]

Vielen Dank für die Antworten. Ich habe gemerkt, dass das mit den Untertiteln nur auftritt, weil diese eine Datei von mkv auf mp4 umgewandelt wurde. Wenn der Output als mkv dann generiert wird, bleiben die Untertitel dabei.

Hast du noch eine Idee, wie man möglichst scharf downscalen könnte bzw. die Detailstruktur nach Downscaling von 1080p auf 540p erhalten bleibt? 

Ich habe gesehen, in deinem letzten Update hattest du wohl ein Real ESRGAN 1x-Modell drin gehabt. Wie lässt sich dies anwenden?
Müssen eigentlich alle AI Models mit den Addons kombiniert werden? Mir fiel auf, dass wohl des Öfteren da rechts in der Spalte neben der Resizer-Auswahl noch json-Dateien fehlen.

[Selur]

Downscaling: Versuch mal Filtering->Vapoursynth->Frame->Resize->DPID

Ich habe gesehen, in deinem letzten Update hattest du wohl ein Real ESRGAN 1x-Modell drin gehabt. Wie lässt sich dies anwenden?

Wenn das torch-addon installiert ist, findest Du die unter "Filtering->Vapoursynth->Other->RealESRGAN (Filter)" dabei handelt es ich um ein paar Modelle die 1x sind und die der vs-realesrgan Autor (HolyWu) in v5.2.0 eingebunden hat.

Müssen eigentlich alle AI Models mit den Addons kombiniert werden?

Ja, die Modelle kannst Du über das torch- oder vs-mlrt-Addon nutzen.

Mir fiel auf, dass wohl des Öfteren da rechts in der Spalte neben der Resizer-Auswahl noch json-Dateien fehlen.

Keine Ahnung, worauf du dich da beziehst. json-Dateien sind eigentlich immer nur vom Benutzer oder Hybrid gespeicherte Profiles&Co, keine Filter.

Cu Selur

[powerthrash4K]

Danke vorab noch für die vielen Infos. Ich habe aber leider immer noch das Problem, das Upscaling oder Filtering kaum bis gar nicht funktioniert. Z.B. Real ESRGAN habe ich mittlerweile durch das Vapoursynth Torch-Addon drin und lässt sich auch unter Others anhaken. Das Problem ist aber, dass sich nichts verändert. Dies merkt man auch an anderen Filtern, dass sich teilweise nichts tut. Habe ich da eine Voreinstellung verpasst?
Ich mache immer folgenden Ablauf:

1. Programm öffnen, Input- und Output-Pfade festlegen
2. Unter "Base" Datei ins obere Feld für die Bearbeitung ziehen, Dateiausgabe von mp4 auf mkv stellen, All subtitles rein, passthrough all und auf x265
3. Unten Haken schonmal bei Generate setzen für den Output
4. unter x265 Preset auf Medium setzen und Tune auf animation, des Weiteren Compatibility Restrictions auf Main 4:2:2 10-Bit
5. Unter Crop/Resize auf Resize klicken, Resize method auf bicubic spline oder lanczos setzen
6. Dann auf Filtering/Vapoursynth/Other RealESRGAN markieren mit AniScale 2 markiert
7. Unter Base den Job hinzufügen
8. Unter Job starten

Unter x265 wird mir dieser Code gezeigt:

x265 --input - --fps 24000/1001 --output-depth 10 --y4m --profile main422-10 --limit-modes --no-early-skip --no-open-gop --opt-ref-list-length-pps --lookahead-slices 0 --crf 18.00 --opt-qp-pps --cbqpoffs -2 --crqpoffs -2 --qpfile GENERATED_QP_FILE --limit-refs 0 --ssim-rd --psy-rd 2.50 --rdoq-level 2 --psy-rdoq 10.00 --aq-mode 0 --deblock=-1:-1 --limit-sao --no-repeat-headers --no-mcstf --range limited --colormatrix bt709 --sar 1:1 --output "C:\Users\Peter\AppData\Local\Temp\Jojos.Bizarre.Adventure.2012.S02E48.German.AC3.1080p.BDRip.x265-FuN_new_new.265"

Fehlt da noch irgendeine Einstellung, die ich vergessen habe, damit das greift oder fehlen da noch andere Modelle, die man in den Ordner kopieren muss? Wenn ja, wohin kommen die?

[Selur]

Liest sich korrekt.
Wenn Du den 'Vapoursynth Preview' verwendest, sollte der Preview entweder funktionieren oder einen Fehler schmeißen.
Mach Dir auch den Windows Taskmgr auf, da siehst Du auch, ob (je nach Einstellung) die CPU oder GPU genutzt wird.

Cu Selur

[powerthrash4K]

Ok, vielen Dank für die Tipps. Das mit der Preview hat gut geklappt. Würdest du bei Downscaling um 2x bei DPID noch eine Schärfung einbauen wie aWarpSharp oder wäre das da zuviel? Könnte man sonst noch irgendwie leicht nachschärfen beim Downscaling-Vorgang? Ich nutze nach dem Downscaling meistens noch RealESRGAN als Nachschärfer auf der gleichen Auflösung. Was würdest du zur Schärfung beim Downscaling selbst und beim Schärfen mit RealESRGAN (als Resize) empfehlen? Oder gibt es da was besseres als RealESRGAN, was aber gleichzeitig noch schnell verarbeitet wird?

[Selur]

Bei einem Downscaling um 2x macht ein stepped resizing keinen Sinn.
Würde bei Animes auch eher mal die Modelle von https://openmodeldb.info/ und dem dazugehörigen Discord-Kanal antesten.