Strata-T8
Strata text, structured prompts, vision and video analysis with managed local inference and GPU handoff.
Nodes (14)
64 prompts, one model load, one receipt
The boring node every other Strata node needs first
Load, unload and stop your local Strata server from the queue
Get one field out of JSON without a regex duct-tape job
Caption, reverse-prompt, OCR — or just ask the model about the picture
Caption eight images on one model load
One JSON field, one FLOAT, no hand-typing
Six presets, and the one that hands you positive *and* negative
Dialogue text and subtitles for your video, no Whisper install
Storyboard JSON that gets validated, not hoped for
A plain chat completion, except the model is sitting on your own card
A shot report that has to cite its frames
Stop feeding your clip to a vision model 64 frames at a time
Turn a clip into 64 frames and a manifest that admits what it skipped
Strata-T8 for ComfyUI
By T8star
将 Strata 的本地语言与视觉推理接入 ComfyUI:提示词生成、结构化分镜、图片描述、视频采样分析与批量工作流。Strata 使用独立进程;同卡模式在推理结束后确认引擎退出,再交给下游绘图节点。
节点与运行包独立发行。 本仓库不含模型、Python 或推理引擎;Strata-T8 整合包 提供 Python、依赖、CUDA/HIP 引擎,VisionReady 另含视觉权重与配置。
节点 1.3.1 配套 Strata-T8 0.1.45-t8.1(上游 0.1.45),14 个节点 ID 与协议 1 保持兼容,节点和运行包可分别更新。424 项 CPU/HTTP 回归及 Windows NVIDIA 上的真实文本、结构化 JSON、图片、12 秒视频、语音对白融合和进度恢复已通过验证;不同硬件和新模型的范围以运行包验收记录为准。
安装
Registry 版本审核通过后,在 ComfyUI-Manager 搜索 Strata-T8,节点 ID strata-t8,Publisher t8star。尚未显示时可使用 Release ZIP,或在 ComfyUI/custom_nodes 中执行:
git clone https://github.com/T8mars/Comfyui-Strata-T8.git
使用 ComfyUI 的 Python 安装本目录 requirements.txt,然后重启。仅增加 jsonschema;图像与视频处理使用 ComfyUI 已有的 PyTorch、NumPy、Pillow 与 PyAV。无需把 Strata 的 CUDA/Python 依赖装入 ComfyUI。
Release ZIP 解压到 custom_nodes/Comfyui-Strata-T8,确保该目录直接包含 __init__.py。升级旧节点时保留一个安装目录,移除旧 comfyui-strata-t8 副本,避免重复注册。
模型与路径
- 下载 Strata-T8 VisionReady,解压为例如
D:/Strata-T8。 - 双击整合包的 Strata-T8.exe,在模型设置页选择收到的完整
Strata-data目录,例如D:/Strata-data;模型可放在其他磁盘。IMPORT-MODEL.bat继续可用。 - 自行准备时可在模型设置页主动下载并准备官方 IQ3_S,或运行
PREPARE-MODEL.bat,按 ModelScope → 国内镜像 → Hugging Face 获取缺失文件并核对 SHA256;同时准备专家包、分词器和 MTP。仅复制 GGUF 不能替代完整数据目录。
D:/Strata-T8/ # 独立运行包
runtime/python/python.exe
vision/weights/mmproj-Qwen3.8-Flash-Next-BF16.gguf
D:/Strata-data/ # 主模型数据,可单独分发
portable-model.json
models/IQ3_S/ # 两个完整 GGUF 分片
packs/iq3_s/ # 已准备的专家包与分词器
mtp/rt/ # experts.bin、dense.bin、dense.txt
ComfyUI/custom_nodes/Comfyui-Strata-T8/
模型放在 Strata-data,连接档案指向该目录。 ComfyUI 的 models/checkpoints 用于下游绘图模型。
| 来源 | 下载 | | --- | --- | | ModelScope,优先 | IQ3_S 与视觉权重 · MTP 来源 | | 国内镜像 | IQ3_S 分片 | | Hugging Face | IQ3_S 分片 · MTP 来源 |
IQ3_S 主模型约 83.62GB,MTP 所需张量约 5.22GB,另需预处理空间。VisionReady 内置 BF16 视觉编码器 907,543,008 字节,SHA256 b1a82259702816a5330d7bd7607cd9676b11780e79ff7348c21103ff3ce49bd0。固定版本、分片哈希和许可证见运行包的 主模型清单 与 视觉清单。节点和 Manager 更新不下载模型。
连接与使用
Full Video Analyze 提供可选自适应采样、跨段末帧参考和进度保存。开启 save_progress 后,相同视频与参数的重跑复用已校验的阶段结果;progress_key 留空自动选择任务,clear_progress 可清除。默认关闭,已有工作流与节点 ID 保持兼容。进度保存在本机档案目录 video-progress,24 小时后到期;原片仍需保留。保存进度要求 Strata-T8 0.1.42-t8.9 或更新版本。使用与验证范围
打开 ComfyUI 侧栏 Strata-T8,保存托管档案,刷新后在 Connection 节点选择名称:
{
"mode": "managed",
"runtime": "D:/Strata-T8",
"data_dir": "D:/Strata-data",
"port": 8082,
"vision": "gpu",
"context": 32768,
"same_gpu": true,
"min_free_vram_mib": 12288,
"min_free_ram_gib": 60,
"timeout_s": 1800,
"cleanup_timeout_s": 90
}
托管模式使用 Windows 整合包;Linux ComfyUI 使用 external 连接已部署的 Strata 服务。托管档案自动生成本机 API key。连接已启动服务可使用 mode:external、url:http://127.0.0.1:8080;默认 allow_lifecycle:false、same_gpu:false。本机同卡外部服务需要显式启用这两项,并使用 Strata-T8 协议 1、单请求配置。远程连接保持 same_gpu:false。
档案保存在 %LOCALAPPDATA%/Strata-T8-ComfyUI;Linux 默认 ~/.config/Strata-T8-ComfyUI,可用 STRATA_COMFY_HOME 指定。工作流只保存档案名称,API key 使用面板密码框填写;留空保留,勾选“清除已保存 API key”时 external 清空、managed 重新生成。模型安装和运行包配置独立于节点目录。
| 功能 | 节点 | | --- | --- | | 文本与提示词 | Text、Prompt:扩写、翻译、改写、正负提示词、历史对话 | | 结构化工作流 | Structured、Extract、Number:分镜 JSON、Schema 校验、字段提取、STRING 列表 | | 图片与批量 | Vision、Batch、Image Batch:描述、反推、OCR、问答、顺序批处理 | | 视频 | Video Sample、Video Analyze:有界采样、概述、时间轴、分镜观察、问答和视频提示词 | | 全程视频 | Full Video Analyze:直接接收 VIDEO / IMAGE,按秒数与帧率自动规划,逐段采样分析后汇总,总帧数可超过 64 | | 语音与对白 | Speech Transcribe:VIDEO / AUDIO 转文字、时标 JSON 与 SRT;Video Analyze / Full Video Analyze 可选结合对白证据 | | 服务控制 | Connection、Control:状态、加载、卸载、停止自有服务及依赖透传 |
Structured 和 Vision 的 JSON Schema 根须显式写 "type":"object";支持声明 Draft 4、7、2019-09 或 2020-12,仅允许本地引用。Vision 的 Schema 留空表示普通图片分析;重复 JSON 字段会报错。旧草案混合 dependencies 的 anchor 组合请改用 JSON Pointer 引用。
导入 examples 中三个 API 工作流,替换档案名与 SD1.5 绘图模型;看图示例先把附带 PNG 放入 ComfyUI/input。文本 → 绘图、图片反推 → 绘图、两镜头分镜 → 批量绘图均有示例。详细配置与限制见 使用说明。
视频分析
高密度分析使用 Strata 全程视频分析 / Full Video Analyze,直接接 VIDEO 或原始 IMAGE 批次,不先经过旧采样节点。填 duration_s:10、sampling_fps:24 自动规划约 240 帧,duration_s:0 分析整个剩余视频;IMAGE 的 fps 填原始批次帧率。frames 每段 2–8 帧、native 每段 2–16 帧,一次最多 256 段,全部共用一次服务租约。输出报告、JSON、证据、覆盖和用量,coverage 记录实际帧数与最大间隔。旧 64 帧工作流继续可用。
sampling_fps 只控制采样密度;IMAGE 的 fps 决定输入时长,例如 144 帧在 12 FPS 是 12 秒,在 24 FPS 是 6 秒。官方 VIDEO 读取其原时间轴。低帧率或变帧率素材的空时间窗会计入 completed_windows / empty_segments,不会复用上一帧;有时标对白时仅分析该段对白,禁止添加该段画面、动作或镜头事实。
示例:全程分段分析。节点 1.3.0 共提供 14 个节点,保留原有 ID;更新后重启 ComfyUI 加载。
连接 Load Video → Strata Video Sample → Strata Video Analyze,并把采样节点的 frames、manifest_json 两个输出都接入分析节点。示例为 video-analysis.api.json,将 YOUR_VIDEO.mp4 替换为 ComfyUI/input 内的文件。已有视频帧批次可连接 IMAGE,填写原始 fps;变帧率素材可提供每帧时间戳 JSON。
默认使用 frames 模式,按时间顺序将图片发给已有 Strata 视觉 API;每段最多 8 帧,所有分段与最终汇总共享一次模型加载及卸载。输出报告、结构化分析、证据帧与采样覆盖信息,可连接 Extract 获取具体字段。默认采样 1fps、最多 64 帧、每帧 589824 像素;超过帧数预算时均匀覆盖选定时间窗,并记录采样间隔。单个时间窗最多 3600 秒,VIDEO 输入文件或内存流上限 256MiB,原始单帧最多 16Mi 像素;较大素材先导出较小文件或接入已有 IMAGE 帧批次。
采样在 CPU 上直接解码原始视频,保留容器 PTS,并按官方 VIDEO 的截取范围、显示旋转和裁切顺序处理。支持已验证的官方 VideoFromFile 两种对象布局(旧版仅文件、当前文件+截取+裁切)、VideoFromComponents 及当前 VideoFromList。适配器读取已审阅的固定截取、裁切字段,并从有界元数据获取时长;未知对象、布局或缺少时长元数据的文件会明确报错,可改用 IMAGE 输入。旋转、裁切、截取组合及拼接已通过合成视频 CPU 对照测试。
manifest 分开记录片段时间、输入位置与源 PTS;拼接使用合成时间轴并额外保留各组成片段的源 PTS。IMAGE 仅有 fps 时使用估算时间;提供每帧时间戳后保留实际输入时间。采样间隔内的动作可能遗漏,报告不承诺逐帧识别、精确切点或连续运动还原。
透明文件帧和 Components 的分离 alpha 在白背景合成,PQ/HLG HDR 文件和非 sRGB Components 需先转换为 SDR/sRGB。修正 MKV 非零 PTS 起点的时长、尾部截取与拼接时间轴。不同尺寸的采样帧保留比例、白色留边,并在 manifest 记录原尺寸、内容位置与实际张量宽高。支持原片后续短时间窗(位置 0–86400 秒,窗口最多 3600 秒);task:prompt 的最终提示词为空或仅含空白时明确失败,避免把分析报告当作生成提示词。
native 模式仅在服务明确声明视频协议能力后可用;未声明能力时直接报错。旧节点支持 1–64 个实际采样帧,Full Video Analyze 按前述段数限制处理更长窗口;原生模式每段 2–16 帧。奇数帧由服务内部复制该段末帧完成时序配对,节点保留真实帧数、时间戳和证据 ID;单帧无法提供运动方向证据。选择 task:prompt 可反推英文视频生成提示词,结果同时保留采样限制。模型名称和官方模型卡不能代替本地能力检查。节点不额外下载模型;默认不自动转录音轨,可选 transcript 仍为用户提供的无时标文字,报告会与视觉证据区分。
视频采样核心固定复制自 Strata-T8 的 tools/strata_video.py,来源与 SHA256 记录在 video-shared-source.json。节点运行不依赖本地源码目录,也不启动 ffmpeg 子进程。
自动转录与音画联合分析
在 Strata 整合包的模型设置页单独配置语音模型目录,目录直接包含 Confucius4-R2T2-Q4_K_M.gguf 和 mmproj-Confucius4-R2T2-Q8_0.gguf,两份合计约 1.46 GB;VAD、Python 与原生运行组件由 Strata runtime 管理,节点不安装 vLLM、不下载权重,也不在 ComfyUI 的 Python 内加载 ASR 原生库。模型来源优先 官方 ModelScope,也可从 官方 Hugging Face 获取。语音 projector 与 Strata 的视觉 mmproj 是不同文件,不能互换。设备、语言、音轨和声道在 runtime 设置页配置,不将私人路径写入工作流。
Full Video Analyze 的 enable_asr 默认关闭。勾选后对整个选中范围执行一次转录任务,再将具有原时间戳的完整对白与视觉片段对应;跨片段对白使用同一 cue ID,最终汇总去重,保留原始转录表。默认关闭不加载 ASR;用户显式提供 timed_transcript 时即使关闭也可直接融合,无需再转录。原 transcript 入口保持无时标辅助文字的旧行为。
| 接法 | 输入与示例 |
| --- | --- |
| 直接分析视频音轨 | LoadVideo → Full Video Analyze,设置 enable_asr:true;自动音画分析 |
| 转录一次后复用 | LoadVideo → Speech Transcribe → Full Video Analyze.timed_transcript;同一个 VIDEO 接分析节点,分析节点保持 enable_asr:false;独立转录与复用 |
| 已有字幕 | 在分析节点的 timed_transcript 粘贴 SRT/VTT、参考 Confucius 节点的 result_json 或契约 JSON;无需 ASR 的字幕融合 |
| 已有 IMAGE 帧 | 显式连接匹配的 AUDIO 并启用 ASR,或提供时标字幕;IMAGE 自身没有声音。旧 Video Analyze 接收采样帧时需另外接 AUDIO |
示例中的 YOUR_VIDEO.mp4 应替换成 ComfyUI/input 内的文件,Connection 档案名替换为本机设置。ASR 需要 Strata-T8 0.1.42-t8.8 或更新版本提供 /v1/asr/settings 与 /v1/audio/transcribe。1.2.0 新增 Speech Transcribe,保留原 13 个节点 ID 与原分析节点五项输出顺序;关闭 ASR 时既有文本/视觉功能保持兼容。
SRT/VTT 默认时间对应输入 VIDEO 的时间轴。提供裁切后的字幕可使用 JSON 的 timeline:"selected_window",其时间从本次选择范围的 0 开始;timeline:"input" 使用输入时间。显式 AUDIO 的 audio_offset_s 表示音频第一个样本位于 VIDEO 输入时间的哪一秒:正值补前置静音,负值裁掉提前部分。官方 VIDEO 的截取、拼接和容器 PTS 独立处理,避免重复加偏移;VideoFromList 有 complete_audio 时优先使用其最终音轨。
运行设置中的 ASR offset_ms 是转录时标校正,节点在 VIDEO 输入时间轴上应用一次。它与 AUDIO 输入的 audio_offset_s 分别用于字幕校时和音轨位置;裁切窗口不会把提前的对白错误裁到临时上传音频的 0 秒。
时标是 VAD 段级近似时间,不是字词强制对齐。联合报告引用对白 ID 与帧 ID,区分画面观察、对白文字和推断;不凭转录认定说话人身份、口型同步、背景音乐或音效。低声、配乐、重叠多人语音可能误识别,截断/强制边界保留复核标记。实际 Q4、CPU/CUDA 与真实视频质量以 runtime 的实机验收记录为准,不以 CPU 模拟节点测试代替。
CPU ASR 不主动卸载驻留的 Strata 模型;CUDA 模式要求空闲、单请求服务及 allow_lifecycle:true,同卡使用 same_gpu:true。托管模式核对自有服务实例;external 档案已有 instance_id 时也会核对。节点先交接 ComfyUI 分配,runtime 在自己的服务租约内释放主模型与视觉进程后转录,不能抢占 DSH 的正在生成任务。主模型的 RAM/VRAM 门槛只用于主推理,不用于提前拒绝小型 ASR。视频范围最多 3600 秒,但单次节点上传还受 64 MiB JSON/base64 请求预算限制,Float32 PCM 约最多 48 MiB(16k mono 约 13 分钟,高采样率或多声道更短);超限明确要求缩短范围。转换只复制选中 AUDIO 切片到 CPU;Stop/取消不发后续视觉请求,服务负责终止其自己的 ASR worker。
ASR 实现复用 T8mars/comfyui-confucius-r2t2-t8,感谢 网易有道 Confucius4-R2T2、llama.cpp 与 FireRedVAD。ASR 代码、原生运行库、模型及 VAD 分别适用 Apache/MIT/网易有道模型许可,详见 runtime 的来源与许可清单。
环境与更新
当前节点 1.3.0 配套 Strata-T8 0.1.42-t8.9,提供 14 个节点与协议 1。新增默认关闭的自适应采样、跨段参考和阶段进度复用;语音转录与时标对白融合继续可用。CPU/HTTP 回归及官方 VIDEO / torch CPU 检查覆盖 12 秒素材、裁切时钟和末段覆盖;进度复用使用受控响应验证,不代表真实长片理解质量提升。视频进度与验证范围
RTX 4060 Ti 16GB、128GB RAM、SC117 IQ3_S、32K 上下文另完成 2 秒、24 FPS、48 帧合成视频的实际推理:frames 六段、native 三段都正确汇总约 1 秒处红→蓝及白圆向右、垂直位置不变。首次测试曾出现颜色和方向误判;为均匀背景增加可选 CPU 像素统计后,该案例通过。复杂动作、真实长片及 240/360 帧的 GPU 内容质量尚未验收,采样与文字汇总不能保证连续运动全部识别。
2026-10-12 在 RTX 4060 Ti 16GB、128GB RAM、SC117 IQ3_S、32K 上下文上,通过真实 V3 节点验证两种模式的 8 秒合成视频:8 帧、两个 4 帧分段和一次汇总,均正确识别红→绿→蓝与白圆左→右;各流程只使用一组模型进程,结束后双进程退出。文字、单图和推理中取消清理也通过。
真实 ComfyUI 队列另验证了原生视频分析→字段提取→报告保存及 8 张图片输出,同卡模式卸载官方 ModelPatcher 注册的 4MiB CUDA 模型,模型回到 CPU、ComfyUI 显存分配归零,Strata 完成后双进程退出。此为 external 服务验收;未重测完整扩散绘图、其他后端或真实长视频的识别质量。
节点 1.0.7 继续使用协议 1,最低运行包版本为 0.1.39-t8.14。修复 Release ZIP 和 Registry 安装后托管服务无法读取最低运行版本的问题;兼容信息集中在随包提供的 version.json,打包前核对三个版本文件与运行包兼容字段。239 项节点与 HTTP 回归通过,无跳过;第八组 20 轮记录区分实际 HTTP、安装产物和资源替身验证。主模型、MTP 和视觉权重无需重新下载。
此前节点 1.0.7 与 Strata-T8 0.1.42-t8.1(上游 v0.1.42,原生引擎 0.1.42)完成文本提示词、图片反推、结构化分镜与顺序批量的实际 384×384 绘图验收,确认语言和视觉进程退出后再采样。此前验证范围、测量条件与资源限制。已有节点 ID 保持兼容,新增视频节点使用 1.1.0。
Python 3.10+;此前以运行包 0.1.39-t8.14 完成 ComfyUI 0.38.0 / 前端 1.53.10 / RTX 4060 Ti 16GB / 128GB RAM 的三类实际绘图验收。Windows 整合包需要 Windows 10 1903+/11 x64、AVX2 CPU、兼容显卡驱动,IQ3_S 建议 96GB 以上 RAM。默认同卡门槛为 12GiB 空闲显存、60GiB 空闲 RAM;其他后台进程仍会占用资源。AMD 文本以 Strata 上游支持列表为准,Windows AMD 视觉尚不支持,AMD 档案使用 vision:no。
节点使用独立语义版本,通过 Manager 更新后重启 ComfyUI;Git 安装可退出 ComfyUI 后运行 git pull --ff-only。运行包启动时自动检查版本,模型设置页提供一键更新,也可使用自己的 UPDATE-PORTABLE.bat,上游同步由 Strata-T8 维护。节点 ID 保持兼容;本机档案保留在安装目录外。
第七组 20 轮检查与回归记录;第八组 20 轮检查与回归记录。节点支持当前 ComfyUI V3 API,并保留 V1 适配。
来源与致谢
感谢 Niko1221/Strata 的推理引擎与服务、Qwen 的模型、ISTA-DASLab 的 GSQ-RCO/GGUF 权重,以及 ComfyUI 和 ComfyUI-Manager 的节点与分发平台。本项目由 T8 维护,采用 MIT;模型与第三方组件遵循各自许可证。
T8star 与资源
By T8star · 整合包仓库 · ComfyUI 节点仓库
| 链接 | 地址 | | --- | --- | | B站 | B站 | | YouTube | YouTube | | API | API | | 免费画廊 | 免费画廊 | | 在线 AI 应用 | 在线 AI 应用 | | ComfyUI 整合包 | ComfyUI 整合包 | | Hugging Face | Hugging Face |