Extensions/ComfyUI-Falcon-Perception
ComfyUI Extension

ComfyUI-Falcon-Perception

An elegant, robust, and highly-optimized ComfyUI custom node package for the tiiuae/Falcon-Perception vision-language model for open-vocabulary grounding and instance segmentation.

By 222222222l·Created 8 months ago·Updated 15 days ago· 0
222222222l/ComfyUI-Falcon-Perception
Nodes2
On cloudLocal install
CategoryFalconPerception
Stars0
Updated15 days ago
Readme

ComfyUI Falcon Perception

中文 · English

TII Falcon-Perception 的社区 ComfyUI 集成。输入图像和自然语言查询,输出实例遮罩、合并遮罩及实例信息。底层视觉模型来自 TII;本仓库提供本地加载、节点接口与注意力兼容适配。

实现范围

  • falcon_core/ 包含本地模型实现,避免运行时下载远端 Python 模块;本地捆绑代码仍需审阅和版本维护。
  • model_loader.py 从 safetensors 加载模型,并对部分 PyTorch 注意力接口作兼容处理。
  • nodes.py 提供模型加载和分割节点;编译与注意力后端取决于实际 PyTorch、CUDA、Triton 和操作系统。

仓库未提供覆盖所有 PyTorch/Windows 组合的测试矩阵、匹配基线的显存基准或独立分割评测。因此不承诺无错误、跨版本完全兼容或固定内存收益。

安装与使用

使用 ComfyUI 自身的 Python 环境;代码依赖 torch.nn.attention.flex_attention,现有说明要求 PyTorch ≥2.5,具体组合仍需验证。

cd ComfyUI/custom_nodes
git clone https://github.com/222222222l/ComfyUI-Falcon-Perception.git
cd ComfyUI-Falcon-Perception
python -m pip install -r requirements.txt

从官方模型仓库获取匹配的 model.safetensors,放入 ComfyUI/models/falcon_perception/。重启后加载 example-workflow.json,或连接 Load Falcon Perception Model → Falcon Perception Generate。

生成节点接收 query、解码长度与图像尺寸边界,返回 combined_mask、individual_masks 和 info。先用一张小图验证;compile_model 是可选优化,不是正确性要求。遮罩边界与目标识别仍可能出错。

验证与来源

报告问题时附代码提交、ComfyUI/PyTorch/CUDA/Triton 版本、设备、查询、尺寸与可分享的失败样例。编译回退不能替代真实推理验证,局部注意力修改需与上游输出进行数值和遮罩对照。

模型与原始架构归 Technology Innovation Institute 所有。本快照尚未提供仓库级 LICENSE 和完整第三方来源清单;不能据公开可读状态推定新增再分发或商用授权。补齐捆绑文件的来源提交、版权声明和适用许可后再作为可再分发组件使用。