Using Stable Diffision models for Colorization

[Selur]

Back at home,..

Not wanting to directly mess with the current torch add-on, here's what I did:

• opened a terminal inside 'Hybrid\64bit\Vapoursynth'
  
• put the content of the repository into DiTServerRPC-main using:
  
  git clone https://github.com/dan64/DiTServerRPC.git DiTServerRPC-main
• changed into 'DiTServerRPC-main' folder
  
  cd DiTServerRPC-main
• installed venv (portable Python usually isn't build with venv)
  
  ..\python -m pip install virtualenv
• created the venv
  
  ..\python.exe -m virtualenv .venv
• activated the venv:
  
  .venv\Scripts\activate
• Installed the dependencies into the venv:
  • pip install torch==2.9.1+cu128 torchvision==0.24.1+cu128 torchaudio==2.9.1+cu128 --index-url https://download.pytorch.org/whl/cu128
    
  • pip install https://github.com/nunchaku-ai/nunchaku/..._amd64.whl
    
  • pip show nunchaku
    
  • python patch_nunchaku.py
    
  • python patch_nunchaku.py --check
    
  • pip install packages\diffusers-0.37.0.dev0-py3-none-any.whl
    
  • python -c "import diffusers; print(diffusers.__version__)"
    
  • pip install transformers==4.57.6 accelerate==1.12.0 huggingface_hub>=0.26.0 Pillow>=10.0.0
    
• started the server
  
  python dit_rpc_server.py
• stopped the server an starte it with the preload:
  
  python dit_rpc_server.py --load-pipeline --pipeline-config qwen_config_int4.json
  that started to download a bunch of other stuff,....
  
• ran the test script
  Opened another terminal where I navigated to 'Hybrid\64bit\Vapoursynth' and called
  
  python DiTServerRPC-main\dit_client_example.py --pipeline-config DiTServerRPC-main\qwen_config_fp4.json --use-shm

that ended with:

[INFO] Connecting to http://127.0.0.1:8765/ ... [INFO] Server is reachable. [INFO] Transport: shared memory [INFO] Pipeline already loaded on server. [INFO] Reading input image: F:\Hybrid\64bit\Vapoursynth\DiTServerRPC-main\assets\santa_bw.png [INFO] Colorizing (1184x880 px) ... [INFO] Inference time : 11.89s [INFO] Round-trip time: 11.93s [INFO] Saved: F:\Hybrid\64bit\Vapoursynth\DiTServerRPC-main\assets\santa_colorized.png

So far so good.
I then stopped the server, and called start_server.cmd:

(.venv) F:\Hybrid\64bit\Vapoursynth\DiTServerRPC-main>start_server.cmd Der Befehl "erver.cmd" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "age:" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "rt_server.cmd" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "rt_server.cmd" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "rt_server.cmd" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "it" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "-----------------------------------------------------------------------" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "CONFIGURATION" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "------------------------------------------------------------------------" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "nda" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "NDA_ENV" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "plicit" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "xample:" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "PYTHON_EXE" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "Directory" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "eave" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "SERVER_DIR" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "Host" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "HOST" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "PORT" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "Optional" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "xample:" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "LOGFILE" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "---------------------------------------------------------------------------" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "RGUMENT" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "---------------------------------------------------------------------------" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "t" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "/i" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "/i" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "/i" ist entweder falsch geschrieben oder konnte nicht gefunden werden. Der Befehl "f" ist entweder falsch geschrieben oder konnte nicht gefunden werden. [ERROR] Unknown precision argument: "". Use "fp4" or "int4".

=> That didn't work.

Does it really make sense to add this to Hybrid? If yes, in what way?
Adding it to the torch add-on seems like a bad idea, since updates&co could break stuff to easy. (also it's huge)
So only way, this does seem to make sense would be to create a separate add-on and depending on whether it is present or not additional options could be available in HAVC; assuming the plan is to use this in HAVC.

Cu Selur

Ps.: 'DiTServerRPC-main'-folder is ~5GB in size.