ComfyUI-Gemma4Translate-GGUF-Mini

Gemma 4 系の GGUF モデルを使ってローカル翻訳を行うための、最小構成の ComfyUI カスタムノードです。

ComfyUI-Gemma4Translate-GGUF-Mini.zip

この版は GGUF 専用、ローカルファイル専用、text-only の軽量版です。
画像入力や細かい生成パラメータ UI は省き、翻訳用途に必要な最小限の構成にしています。

特徴

• GGUF モデル専用
• ローカル .gguf ファイル専用
• テキスト翻訳専用
• source language は自動判定
• think / reasoning はプロンプトで抑制
• load_strategy で常駐と毎回解放を切り替え可能
• デフォルトは reload_every_run

ノード入力

• input_text
• target_language
• gguf_model_path
• load_strategy

ノード出力

• translated_text

主な挙動

• gguf_model_path には .gguf ファイルそのものを指定します
• ディレクトリ指定は不可です
• gguf_model_path が空の場合は、環境変数 GEMMA4_GGUF_MODEL を参照します
• source language は自動判定です
• 翻訳以外の説明文や思考文は出さない前提でプロンプトを組んでいます
• load_strategy = reload_every_run がデフォルトで、翻訳処理の完了後にモデルをアンロードします
• 常時ロードしておきたい場合は load_strategy = keep_loaded を使ってください

モデル指定

gguf_model_path には、次のように .gguf ファイルを直接指定してください。

/home/yourname/models/gemma-4-E4B-it-Q5_K_M.gguf

環境変数を使う場合は、GEMMA4_GGUF_MODEL に .gguf ファイルのパスを指定してください。

インストール
cd ComfyUI/custom_nodes
unzip ComfyUI-Gemma4Translate-GGUF-Mini.zip
cd ComfyUI-Gemma4Translate-GGUF-Mini
python -m pip install -r requirements.txt
おすすめ設定
VRAM を節約したい
load_strategy = reload_every_run
毎回の再ロードを避けたい
load_strategy = keep_loaded
起動オプションについて

環境によっては CUDA メモリ確保まわりで不安定になることがあります。
その場合は、ComfyUI を以下のように --disable-cuda-malloc 付きで起動してください。

python main.py --disable-cuda-malloc
互換メモ

このノードは ComfyUI の既存 Python 環境に追加で入れる前提です。

llama-cpp-python を使用します
GGUF モデルをローカルに置いて使う前提です
PyTorch は主に VRAM 解放処理のために使っています
CUDA の挙動や llama-cpp-python のビルド状況は環境依存です
Acknowledgements

このプロジェクトは rookiestar28/ComfyUI-TranslateGemma をベースに改変したものです。

主な変更点

GGUF モデル専用に変更
Hugging Face Transformers ベースではなく llama-cpp-python ベースに変更
text-only の最小 UI に整理
画像入力や追加パラメータを削減
gguf_model_path を直接指定する構成に変更
デフォルトで reload_every_run を使う軽量運用向けに調整

元プロジェクト

rookiestar28/ComfyUI-TranslateGemma
License

ライセンスは同梱の LICENSE を参照してください。