ComfyUI Node
MOSS · 低显存模型与预算
MOSS Base/SFT：保留原 W5/W6/W8，支持 Base ConvRot W8A8 与 Kohaku FP8。TE 的存储格式和实际计算精度分开选择；当前不支持 LoRA。
MOSS · 低显存模型与预算
- MOSS_SESSION
◄model▾►
◄profile6 GB►
◄text_encoder▾►
◄attention▾►
◄qkv_backend▾►
◄ffn_tile▾►
◄host_arenatrue►
◄adapter_cachefalse►
◄conditioning_memoryfalse►
◄precisionfp16_fixed►
◄attention_head_groupauto►
◄vae_precisionfp32►
◄te_memoryauto►
◄vae_admissionfalse►
◄resident_blocks-1►
◄payload_pinningstaging►
◄te_resident_gib3.00►
◄dit_checkpointauto►
◄te_checkpointauto►
◄vae_checkpointauto►
CategoryMOSS/Optimized
Inputs (20)
| Name | Type | Default | Description |
|---|---|---|---|
| model | COMBO | W5/W6/W8 使用原整数量化码；位数越高，权重占用越大，画面可能变化。4 GB 的 W6/W8 逐层搬运部分权重，耗时受 PCIe 影响。 | |
| profile | COMBO | 6 GB | 4/6/8/12/16 GB 对应 3.5/5.5/7.5/11.5/15.5 GiB 进程分配限额。cudaMallocAsync 限制申请字节，内存池 reserved 可更大；不是整卡专用显存硬上限。不改变尺寸和步数。 |
| text_encoder | COMBO | 旧 INT8 ConvRot 实际为 W8A16；旧 W4A8 GPTQ 保留原 W4存储+A16 路径。新带 W8A8/W4A8 标签的选项执行真实 INT8 GEMM，数值会变化。Original 加载原始浮点权重，auto 内存策略使用 ring。所有 conditioning 输出为 FP16。 | |
| attention | COMBO | auto/Flash/cuDNN 不额外量化 Q/K/V。Sage 的 QK8 为 Q/K INT8；PV16 路径的 V 使用 FP16，PV FP8 量化 P/V。fast 使用专用 V 缩放和混合累加；H128 匹配旋转可能减轻部分误差。Sage/CK 可能改变文字、人脸和构图，不能视为普遍无损。本轮新增 Sage/CK/cuDNN 适配限 SM89。 | |
| qkv_backend | COMBO | auto 按显卡和工作集选路径。shared 共享 A8 量化；native 合并投影；register 融合写回；register3 使用独立 Q/K/V 输出。W5/6G/Flash 实测 register3 小幅提速，其他组合未普遍验证；4G 长图请保持 auto，以启用完整容量策略。 | |
| ffn_tile | COMBO | auto 优先整段计算，容量紧张才分块；0 强制整段；2048 降低激活峰值，通常增加耗时。 | |
| host_arena | BOOLEAN | true | 复用 W5/W6 packed 存储，或 W8/6G、8G 的原 INT8 CPU arena。W8 arena 约 4.43 GiB 系统内存，首次组装有成本；必要 GPU 上传仍保留。4G 流式路径总是复用原码。 |
| adapter_cacheopt | BOOLEAN | false | 精确复用相同编码与尺寸的 adapter 输出；CPU 最多 64 MiB。重复抽图减少权重搬运，新提示词仍完整编码。 |
| conditioning_memoryopt | BOOLEAN | false | 4 GB、Euler、1–64 步时预计算原调制结果，采样少占约 162 MiB；增加准备时间。容量可选项，其他配置自动走原路径。 |
| precisionopt | COMBO | fp16_fixed | 实际 DiT 数值路径：fp16_fixed 保留原修正；bf16 改变非量化参数及计算、存回边界，不应用 FP16 修正。W5/W6/W8 整数权重码不变。两者显存相近、画面可能变化；BF16 需 SM80+。 |
| attention_head_groupopt | COMBO | auto | auto 为 4G、W8/6G 的 Sage/CK 选 8 头，其余不分组。0/24 不分组；8/12 保留完整 K/V，省临时显存但增加调度。Flash/auto 注意力仅支持不分组。 |
| vae_precisionopt | COMBO | fp32 | FP32 为原解码；BF16 减少解码显存并提速，会有小像素差异。两者保留原 FP32 latent 反归一化；BF16 需 SM80+。 |
| te_memoryopt | COMBO | auto | auto 按已验证预算选择。ring 逐层搬运；partial 保留部分层；resident 保留约 6.46 GiB INT8 TE 主体，embedding 仍在 CPU。过多驻留可能使解码卸载模型，反而变慢。 |
| vae_admissionopt | BOOLEAN | false | 使用同运行库、已测尺寸的 VAE 工作区估计，减少不必要的模型卸载。未知尺寸保留原估计；预算不增加，容量不足仍官方分块。 |
| resident_blocksopt | INT | -1-1–40 | 高级：-1 自动；0–40 强制 DiT 常驻前缀并用双缓冲搬运其余层。更多常驻减少 PCIe 流量，也挤占激活空间；一般保持 -1。 |
| payload_pinningopt | COMBO | staging | staging 省锁页：流式用小双缓冲，W8 完整 arena 用普通内存整段上传。suffix 另缓存最多 2.5 GiB 活动锁页副本，4G 重复搬运有利；首次准备更重。卸载释放本会话缓存引用。 |
| te_resident_gibopt | FLOAT | 3.000.25–6 | 仅 te_memory=partial 生效：TE 常驻前缀的权重上限，单位 GiB。另需后缀双缓冲与激活空间；不增加整个会话显存预算。仅 SM89 已适配。 |
| dit_checkpointopt | COMBO | auto | auto 按模型类型查找标准文件名或本机映射。显式选择时须与 Base/SFT 和量化格式匹配；不会自动下载。 |
| te_checkpointopt | COMBO | auto | auto 按 TE 模式查找；原始 HF 分片目录可放 models/text_encoders/MOSS-Image-Base/text_encoder，配套 tokenizer 放其同级。 |
| vae_checkpointopt | COMBO | auto | MOSS/Flux2 latent 兼容 VAE；默认使用下载清单中的原 MOSS VAE。 |
Outputs (1)
| Name | Type | Description |
|---|---|---|
| MOSS_SESSION | MOSS_SESSION | — |