ComfyUI-Falcon-Perception
An elegant, robust, and highly-optimized ComfyUI custom node package for the tiiuae/Falcon-Perception vision-language model for open-vocabulary grounding and instance segmentation.
Nodes (2)
ComfyUI Falcon Perception
TII Falcon-Perception 的社区 ComfyUI 集成。输入图像和自然语言查询,输出实例遮罩、合并遮罩及实例信息。底层视觉模型来自 TII;本仓库提供本地加载、节点接口与注意力兼容适配。
实现范围
falcon_core/包含本地模型实现,避免运行时下载远端 Python 模块;本地捆绑代码仍需审阅和版本维护。model_loader.py从 safetensors 加载模型,并对部分 PyTorch 注意力接口作兼容处理。nodes.py提供模型加载和分割节点;编译与注意力后端取决于实际 PyTorch、CUDA、Triton 和操作系统。
仓库未提供覆盖所有 PyTorch/Windows 组合的测试矩阵、匹配基线的显存基准或独立分割评测。因此不承诺无错误、跨版本完全兼容或固定内存收益。
安装与使用
使用 ComfyUI 自身的 Python 环境;代码依赖 torch.nn.attention.flex_attention,现有说明要求 PyTorch ≥2.5,具体组合仍需验证。
cd ComfyUI/custom_nodes
git clone https://github.com/222222222l/ComfyUI-Falcon-Perception.git
cd ComfyUI-Falcon-Perception
python -m pip install -r requirements.txt
从官方模型仓库获取匹配的 model.safetensors,放入 ComfyUI/models/falcon_perception/。重启后加载 example-workflow.json,或连接 Load Falcon Perception Model → Falcon Perception Generate。
生成节点接收 query、解码长度与图像尺寸边界,返回 combined_mask、individual_masks 和 info。先用一张小图验证;compile_model 是可选优化,不是正确性要求。遮罩边界与目标识别仍可能出错。
验证与来源
报告问题时附代码提交、ComfyUI/PyTorch/CUDA/Triton 版本、设备、查询、尺寸与可分享的失败样例。编译回退不能替代真实推理验证,局部注意力修改需与上游输出进行数值和遮罩对照。
模型与原始架构归 Technology Innovation Institute 所有。本快照尚未提供仓库级 LICENSE 和完整第三方来源清单;不能据公开可读状态推定新增再分发或商用授权。补齐捆绑文件的来源提交、版权声明和适用许可后再作为可再分发组件使用。