ComfyUI PhotoMaker (ZHO)

ComfyUI PhotoMaker

Unofficial implementation of PhotoMaker for ComfyUI

<!---   --->

<!---  --->

单张参考与多张参考的对比：

项目介绍 | Info

• 来自对PhotoMaker的非官方实现

• 版本：V2.5 支持lora、支持多批次、支持通用的styler

<!--- 节点拆分 + 支持本地模型 + 支持自定义尺寸 +提速3倍 + 支持多图直接输入 --->

视频演示

<!--- https://github.com/ZHO-ZHO-ZHO/ComfyUI-PhotoMaker/assets/140084057/8718a70e-a5d7-463b-b36e-de1ffefad9ed --->

https://github.com/ZHO-ZHO-ZHO/ComfyUI-PhotoMaker/assets/140084057/d58af6e7-d0f3-41ff-ab33-195cb6d66e9e

节点说明 | Features

• 基础模型加载 | base model loader

  • 📷Base Model Loader from hub🤗：支持从 huggingface hub 自动下载模型，输入模型名称（如：SG161222/RealVisXL_V3.0）即可
  • 📷Base Model Loader locally：支持加载本地模型（需 SDXL 系列模型）

• PhotoMaker Adapter 模型加载 | PhotoMaker Adapter Loader

  • 📷PhotoMaker Adapter Loader from hub🤗：支持从 huggingface hub 自动下载模型
  • 📷PhotoMaker Adapter Loader locally：支持加载本地模型，输入 photomaker-v1.bin 模型所在路径即可

• 参考图预处理 | 📷Ref Image Preprocessing

  • 直接模式 | Direct_input：接入单/多张图像（非必要项）
  • 路径模式 | Path_input：自动读取路径中的所有图像

• Lora模型加载 | 📷LoRALoader 🆕

  • 支持加载本地 lora 模型
  • 支持权重调节

• 提示词 + 风格 | 📷Prompt_Styler 🆕

  • 与各种提示词（文本）输入（如肖像大师等）、styler兼容
  • prompt、negative：正负提示词
  • 支持权重调节
  • style_name：支持官方提供的10种风格
    • (No style)
    • Cinematic
    • Disney Charactor
    • Digital Art
    • Photographic (Default)
    • Fantasy art
    • Neonpunk
    • Enhance
    • Comic book
    • Lowpoly
    • Line art

• PhotoMaker 生成 | 📷PhotoMaker Generation 🆕

  • pipe：接入模型
  • pil_image：接入预处理图像
  • positivet、negative：正负提示词
  • batch_size：生成数量
  • style_strength_ratio：风格混合强度（高于30按30计算）
  • step：步数，官方默认50步，但毕竟是基于SDXL模型，我实测下来30步足够了
  • guidance_scale：提示词相关度，一般默认为5
  • width、height：尺寸设置（需1024维度）
  • seed：种子

<!--- - base_model_path：支持输入huggingface模型名称自动下载模型（如：SG161222/RealVisXL_V3.0） - ref_images_path：支持批量读取参考图像，放入文件夹中即可 - ptompt、negative：正负提示词 - style_name：支持官方提供的10种风格 - (No style) - Cinematic - Disney Charactor - Digital Art - Photographic (Default) - Fantasy art - Neonpunk - Enhance - Comic book - Lowpoly - Line art - style_strength_ratio：风格混合强度（高于30按30计算） - step：步数，官方默认50步，但毕竟是基于SDXL模型，我实测下来30步足够了 - guidance_scale：提示词相关度，一般默认为5 - seed：种子 --->

风格 | Styles

安装 | Install

<!--- - 推荐使用管理器 ComfyUI Manager 安装 --->

• 手动安装：
  1. cd custom_nodes
  2. git clone https://github.com/ZHO-ZHO-ZHO/ComfyUI-PhotoMaker.git
  3. cd custom_nodes/ComfyUI-PhotoMaker
  4. pip install -r requirements.txt
  5. 重启 ComfyUI

工作流 | Workflows

• V2.5 Disney-Character_PhotoMaker + DragNUWA 🆕

  https://github.com/ZHO-ZHO-ZHO/ComfyUI-PhotoMaker/assets/140084057/ca2bfff4-701c-4960-ac11-b893f90c044c

• V2.5 lora + batch 🆕

  

• V2.5 portraitmaster + styler + lora 🆕

  

• V2.5 本地模型 locally

• V2.5 自动下载 huggingface hub

（注：特意补充了 V2.5 的基础工作流，V2.0 工作流已弃用）

<!--- - [V2.0 本地模型 locally](https://github.com/ZHO-ZHO-ZHO/ComfyUI-PhotoMaker/blob/main/PhotoMaker%20Workflows/PhotoMaker_locally%E3%80%90Zho%E3%80%91.json)  - [V2.0 自动下载 huggingface hub](https://github.com/ZHO-ZHO-ZHO/ComfyUI-PhotoMaker/blob/main/PhotoMaker%20Workflows/PhotoMaker_fromhub%E3%80%90Zho%E3%80%91.json)  --->

更新日志

• 20240122

  新增 Disney-Character: PhotoMaker + DragNUWA 工作流，可配合 DragNUWA 融合多个人物特征生成迪士尼风格大片！

• 20240121

  修复 bfloat16 bug

• 20240120

  补充两个基础工作流

• 20240119

  更新为 V2.5：支持lora、支持自定义生成数量、支持通用提示词输入（文本）如：styler、portraitmater等

  新增 lora + batch、portraitmaster + styler + lora 两个工作流

• 20240119

  更新为 V2.1：参考图改为直接输入/路径输入两种新模式，其中直接输入支持多图

  

• 20240118

  更新为 V2.0：节点拆分 + 支持本地模型 + 支持自定义尺寸 +提速3倍

  新增本地、hub加载工作流

• 20240117

  新增单张图输入，并给出对比图

  修复bug，初版上线

• 20240116

  创建项目

速度实测 | Speed

• V2.0 提速 3 倍

  • A100 50步 7s

  

• V1.5

  • A100 50步 23s

  

  • v100 50步 90s

  

Stars

关于我 | About me

📬 联系我：

• 邮箱：[email protected]
• QQ 群：839821928

🔗 社交媒体：

• 个人页：-Zho-
• Bilibili：我的B站主页
• X（Twitter）：我的Twitter
• 小红书：我的小红书主页

💡 支持我：

• B站：B站充电
• 爱发电：为我充电

Credits

感谢@erLin对ComfyUI 的图像张量 Shape (N, H, W, C)的提醒，帮助我成功修复了bug！

PhotoMaker