dsh-qwen-paint
v1.2.3
Published
DSH 插件 / DeepSeek Harness:视频 / 生图 / TTS / PPT 全能 · 本机运行(QQ 交流群 454707710)。BSL 1.1(BUSL-1.1,非 OSI 开源许可;0.32.1 及更早仍 MIT、不追溯),2030-11-15 转 Apache-2.0。★ 1.2.3:修复三件真 Bug——宿主升级工具契约后面板 404 大面积报错(extras 整组未注册的真根因:缺 render 自动兜底 + 契约锁,真机验证全 200)、ComfyUI 启动识别 46 秒蒸发
Maintainers
Readme
dsh-qwen-paint · (绘图)千问(优化版)
DSH 插件 / DeepSeek Harness:视频 / 生图 / TTS / PPT 全能 · 本机运行(QQ 交流群 454707710)。BSL 1.1(BUSL-1.1,非 OSI 开源许可;0.32.1 及更早仍 MIT、不追溯),2030-11-15 转 Apache-2.0。★ 1.2.3:修复三件真 Bug——宿主升级工具契约后面板 404 大面积报错(extras 整组未注册的真根因:缺 render 自动兜底 + 契约锁,真机验证全 200)、ComfyUI 启动识别 46 秒蒸发(常量漂移)、音色样本重启全丢(index.json 写了从不读回,启动读回 + 逐条校验);GSV.CPP 外接 TTS 全链路打通——backend=gsv_cpp 直调本机 9880 服务(A 卡 Vulkan 实测全句 2.95 秒 ≈23× 实时速率、221 字长文 4.23 秒;参考音频+转写必填、面板下拉可选、音色样本登记带参考转写、服务挂死 abort 收口);多音色对话链第一步(本机已装 RoleBank/DialogueInference 节点实锤,buildDialogueWorkflow 纯函数就绪);slim-comments 修复 $ 替换模式陷阱并把设计注释外置,体积余量回升至 25KB+;不改生成链契约与工具名,全量 113 套回归全绿。★ 1.2.1:许可仍为 BSL 1.1(BUSL-1.1),本版是质量与可诊断性收口补丁——历史库搜索升级 SQLite FTS5 全文索引(1 万条实测 0.023ms vs LIKE 1.012ms,约 44×;短词自动回落 / 旧库自动回填 / 查询注入防护)、doctor 8 项自诊断补齐 4 项真探针(未验证一律标未检测、不谎报 pass)、OOM 建议跟上 ComfyUI v0.37 动态显存与社区 8G 抄作业档、构建期作用域检查升级为零依赖 JS 词法分析器;不改生成链契约与工具名,全量 113 套回归全绿。★ 1.2.0:UI 全折叠 + 双拖拽上传、人物替换(Rust 纯 CPU 底座 + 身份节点发现 / 缺件降级引导)、PPT 讲解图片真写进 OOXML;不捆绑模型、不谎称换脸。★ 0.33.0 起许可改为 BSL 1.1(BUSL-1.1,非 OSI 开源许可):除托管/代管服务与直接竞品捆绑两类「竞争性使用」外免费生产使用,2030-11-15 转 Apache-2.0;0.32.1 及更早仍 MIT、不追溯。★ 1.1.2:全量审计整改——安全围栏与出站守卫收口(矢量化端点补本机围栏、ASR 端点回环校验、路径防链接越界复验),长任务超时透传、队列生命周期加固,媒体路由流式化+Range 拖动,探测结果缓存提速分镜合成;API 与工具名零变更。★ 1.1.0:全面提速——内置 resvg 光栅 7.02× / 静态帧去重+VFR 合成 6.58× / 分镜缓存 34.2× / 草稿档 2.10×,TE-Speed 生图链真机 −17.3%,编码择优纠错(x264 排 AMF 前)、BGM 三缓存、Qwen3-TTS attention 可选 + 低延迟分块;未实测的一律不吹倍率。★ 1.0.0:选模型「假成功」根治(拒绝时如实回未生效 + 原因,不再无条件报已选)、优化面板与素材库白条同源修复(持久化缓存 + 占位 + 错误态)、历史筛选分页与重复请求收口、所有写参数拒绝统一 choiceResult。★ 0.35.0:口语入口别名(「风格卡」「批量出图」…)解析成真实工具、参考图色调取样写进提示词、建议时间轴 / 资源需求声明 / 数据流摘要 / 「刚才那张」产出短引用全部接进主链路。★ 0.34.0:SageAttention / Comfy-WaveSpeed 并入加速链并按真实 /object_info 探测、卡片常驻显示;GPT-SoVITS v5 / IndexTTS2 可选 TTS、拖音频零样本克隆、ACE-Step 1.5 / YuE2 音乐 BGM、手动超分、Worker 热温冷保活。0.33.0 新增媒体格式转换(图片 JPG/PNG/WebP、视频 MP4/MKV/MOV/WebM、音频 MP3/AAC/WAV/FLAC,生成物可指定输出格式、动图转视频、自有素材转换,Agent 可直接调用 convert_media)与加速链全景(生图/视频缓存后端 + TTS 加速 + 显存预算 + 配置裁决 + 结构化日志,只列探测到的、未实测不写倍率)、本机能力功能区内嵌进 Comfy 控制面板(展开页恒在悬浮球正上方、边框对齐 DSH 右边框、四事件点按兜底)、GIF 转换 / 运行期自诊断 / 优先级任务队列 / 单图迭代优化 / 自适应 DAG 编排 / 生成历史可删改与冷热分离等本机工具与端点;0.32.1 两轮审计加固:ASR 音频路径围栏(只认出图目录内文件)、按包名安装也能执行引导脚本、草图台四事件点按、错误响应消毒收口;视频链清单化 + 生图/TTS 契约对账(改图自动报差异);生图/视频/混合三模式界面各不同;批量出图带幂等保护(重试不重出);Qwen3-TTS 语音克隆与可接 ASR 自动字幕;本机实测秒数;会话级模型驻留、显存建议、参数来源表、预设绑定、加载器盘点等本机端点。文生视频 / 图生视频(Wan 2.2 / XT-5B)与图→音→视频混合、导入音频直接合进成片(音轨合成),文生图与 1–16 张参考图编辑、圈选重绘(羽化 / 边缘融合 / 外扩 / 反选 / 重绘强度可调)/ 元素移除 / 四向扩图 / 高清放大,Qwen3-TTS 语音合成(独立 generate_speech,参考音频可复刻音色),模型无关角色参考;GSV.CPP 外接引擎可选(backend=gsv_cpp 直调本机 9880 服务,A 卡 Vulkan 实测 ≈23× 实时速率);PPT 生成(make_pptx:纯 JS 零依赖零 GPU,大纲级 PPTX 草稿,生成的讲解图片可真写进 PPTX,永远可执行无降级);草图台手绘参考;生成记录可检索(菜单最上面「历史」,SQLite 索引、软删除不动磁盘文件)。CPU 也能跑:自动识别 AVX2 / AVX512 / AVX512-BF16 指令集并给五档加速(含 --cpu 强制纯 CPU)、按物理核钉线程,任务结束可选自动卸载模型内存;安装入口是常驻的图形化引导面板。对外提供脱敏状态快照与端点目录供外部集成。提供可选、默认关闭的模型自动下载包:视频模型 --video-models、核显档位 --igpu-download、生图主模型 --tier,按服务器权威 size + sha256 双校验;音频权重不自动下载,缺件给明确清单。经本机 ComfyUI 调用,数据仅走 127.0.0.1 回环(联网参考图检索默认拒绝、须逐次同意),无需 API 密钥、零调用费用。Windows / Linux,NVIDIA / Intel Arc / AMD / 核显共享内存,含 8 GB 低内存档位。
Features
| 能力 | 工具 | 说明 |
| --- | --- | --- |
| 文生图 | draw_image | 按提示词出图,成品落盘并直接显示在会话里 |
| 图生图 / 多参考图编辑 | draw_image | 1–16 张参考图(0.19.0 起),按序号接入 images.image_N |
| 局部重绘 | inpaint_image | 蒙版内重绘,裁剪回贴 |
| 元素移除 | remove_image | 移除蒙版内物体并补全背景 |
| 四向扩图 | outpaint_image | 上 / 下 / 左 / 右按百分比外扩 |
| 高清放大 | upscale_image | 与内置放大共用同一套节点图 |
| 角色参考(模型无关) | draw_image / generate_video | 可选 referenceStrategy:按后端 /object_info 真实能力协商,协商不到专属适配器自动回落通用兜底 |
| 文生视频 / 图生视频 | generate_video | 经本机 ComfyUI 调用 Wan 2.2 / XT-5B 系列视频模型,成品落盘并显示在会话里;支持首帧 I2V(startImage)与尾帧参考(endImage,仅当本机节点契约有 end_image 槽,0.39.0 无 → 如实报错) |
| 语音合成(TTS) | generate_speech(独立) / generate_hybrid(三段中的一段) | 本机 ComfyUI-Qwen-TTS + Qwen3-TTS 权重,产出 mp3 / flac(按 ComfyUI 返回的真实扩展名);两条路共用同一条 TTS 段,只想配音不必跑完三段,插件不自动下载音频模型 |
| 图→音→视频混合 | generate_hybrid | 一张图配一段语音再合成视频,适合做带旁白的短片 |
| PPT 生成(大纲草稿) | make_pptx | 纯 JS 零依赖零 GPU,标题 + 要点列表的大纲级 PPTX;讲解图片可真写进文件(1.2.0 起能力),永远可执行、无降级 |
| 生成历史(可搜索) | list_generated_images | 本机 SQLite 记录每次生成的提示词 / 参数 / 时间 / 路径,支持关键词、类型、日期筛选与分页;界面里可看大图、复制路径、从历史移除(只划掉记录,不删磁盘文件) |
- 模型自动下载包(可选):
node scripts/setup.mjs --video-models提供视频模型自动下载包 —— 默认不装、需你显式执行,官方仓库文件清单运行时动态列举、由你选档位,多源轮询 + 断点续传 + 服务器权威 size + sha256 双校验,不合格删除;核显档位另有--igpu-download(同样默认关闭)。音频模型权重不自动下载,缺件只给清单。 - 本地、免 API:出图数据(提示词与图片)只发往本机
127.0.0.1/localhost/::1的 ComfyUI,由lib/net-guard.js在代码层强制;无需任何 API 密钥,不产生调用费用。 - 模型与运行:经本机 ComfyUI 调用 Qwen-Image 2.1 / 官方 Turbo(图)、Wan 2.2 / XT-5B 系列(视频)与 Qwen3-TTS(语音),无需云端模型服务。
- 平台:Windows / Linux,自动适配 NVIDIA / Intel Arc / AMD 显卡,也支持 Intel / AMD 核显共享内存(含 8 GB 低内存档位)。
- CPU 加速档(可选,默认关):按 CPU 指令集给五档
cpuAccel(off/safe/balanced/max/force-cpu),安装引导面板里逐档显示「这台机器上真实会挂什么参数」;默认off= 一个参数都不加。详见 0.2.0 更新说明。 - 生成历史(0.3.0):每次出图 / 视频 / 配音都会写一条到
<outputDir>/.qwen-paint-history.db(SQLite,用 Node 内置node:sqlite,零外部依赖)。菜单最上面「历史 → 生成历史」可按关键词 / 类型 / 日期翻旧账、看大图、复制路径;「移除」只从列表划掉,不动磁盘文件。Agent 侧对应工具list_generated_images,可以「把上周那只柴犬找出来再改」。⚠ 持久化需要 Node >= 22.5;更低版本不假装有历史,如实降级为「只读本次会话记忆日志」。 - DSH 兼容:
>=0.2.0-rc.2(见package.json的dsh.compatibility)。
Installation
不想碰命令行:双击仓库根目录的
一键安装.cmd—— 它会先自报版本与setup.mjs指纹,检测后问一句再装。
命令行安装(dsh plugin add 的本地目录形式):
dsh plugin --profile desktop add link:<本插件目录的绝对路径>使用
desktopprofile 时须先完全退出 DSH。本包在 npm 的包名为dsh-qwen-paint(仓库当前1.2.3),可直接dsh plugin add dsh-qwen-paint按包名安装;本地目录 / 本地包形式仅用于开发或试用未发布改动。完整步骤、profile 选择与排错见下文「安装」及INSTALL.md。
Usage
在对话里直接说需求即可,助手会调用对应工具:
画一张雨夜的赛博城市,16:9
把这张图左边扩出去 30%
擦掉画面里的路人快速上手 · 功能在哪点(不用记工具名)
装完重启 DSH 后,输入框右下角的状态点是总入口;生成的每张图片下方也直接摆了按钮。
| 想做的事 | 在哪点 |
| --- | --- |
| 出图 / 图生视频 | 直接说话:「画一只橘猫」「把这张图做成 5 秒视频」 |
| 圈选重绘:手动涂出要改的地方 | 结果图下方「圈选重绘」,或直接点图片 → 用画笔把要改的地方涂白 → 写一句要改成什么(也可点常用说法) |
| 移除物体 | 结果图下方「更多编辑」→「移除物体」→ 涂出要去掉的东西 → 点「移除并补全」,不用写提示词 |
| 四向扩图 / 高清放大 | 「更多编辑」→ 点预设(四周各 20%、左右各 30%、2/4/8 倍…),不用填参数 |
| 选一张以前的图来编辑 | 菜单最上面「常用(点开就能用)」→「图片编辑台」列出最近生成的图;或「圈选重绘最近一张图」懒人直达 |
| 翻旧账:找上周生成的那张图 | 菜单最上面「历史」→「生成历史」 | 按关键词 / 类型 / 日期筛,点缩略图看大图,可复制路径贴到别处;「移除」只从列表划掉,不会删你的文件 |
| 视频选帧去修:只改中间某一帧 | 菜单「视频(选帧改 → 截一段)」→ 拖进度条或 ← → 逐帧 →「抽这一帧去修」→ 直接进圈选重绘(不需要 ffmpeg) |
| 截取视频的一段 | 同一个浮层:按帧数(起始/结束帧)或按时间(0:01.5)选 →「截取这一段」;也可「按间隔抽帧」批量取关键帧(这两项需要 ffmpeg) |
| 缩略图轨道 / 把改稿贴回视频 | 同一个浮层:加载后自动生成 10 张缩略图,点一下跳到该处;改完图点「把改好的图贴回这一帧」→ 选最近改好的图 → 产出新 mp4(缩略图零依赖;贴回需要 ffmpeg,没装会明确提示) |
| 画幅 / 速度 / 负面词 / CFG / 角色参考 | 「Comfy 控制」浮标面板(可拖动) |
圈选重绘一直是"点结果图"触发的,但以前只有一个鼠标悬停提示,很多人以为没这功能 —— 现在每张结果图下面都有可见按钮。「就绪清单自检」(菜单「自检与修复」组)是环境体检,不是使用教学;图形化的安装引导是另一个独立入口,两者不再共用「向导」这个名字。
完整的 30 秒验证步骤、功能速查表、第一次上手走法和「没反应怎么自查」,见 INSTALL.md 第五节;
把安装交给 DSH 时用 给DSH安装的话.md,里面也补了「装完之后」那段引导。
也可显式调用工具:draw_image(prompt / references)、generate_video、generate_speech(text)、generate_hybrid、inpaint_image(image / mask / prompt)、remove_image、outpaint_image、upscale_image。完整参数与出图路径见下文「用法」「出图落在哪」。
网络边界(请以本节为准)
插件的网络出口有三类,边界不同。
① 出图数据流(提示词、参考图)—— 只发往 comfyUrl(ComfyUI)与 hipfireUrl(hipfire serve)。
默认仅本机回环(127.0.0.1 / localhost / ::1),且这一约束由代码层强制(lib/net-guard.js):
任一地址被配成本机以外时,插件会拒绝启动而不是照发请求。所有出站请求统一走 guardedFetch,
强制 redirect: 'error'(不跟随任何 HTTP 重定向)。因此出图全程不依赖外部网络,无需任何 API 密钥,亦不产生调用费用。
② 加速包下载(可选,默认开启)—— accelAutoInstall(默认 true)时,插件会从 pip 源与 GitHub
下载厂商专用加速包(pip install --upgrade / git clone)。这会访问外部地址,
但不发送任何提示词或图片。设为 accelAutoInstall: false 即可完全关闭,出图功能不受影响。
详见下文「权限与已知风险」。
③ 联网参考图检索(可选,默认拒绝)—— 配置项 referenceSearchEndpoint 默认是占位符
<API_ENDPOINT>,未替换时任何检索请求都被同意门直接拒绝,插件保持纯离线。替换成你自己指定的
外部 https 端点后,仍必须每次检索单独显式同意(consent: true;面板上是「仅本次同意并检索」
按钮,点一次只管一次,没有"记住同意"的常开开关)。出站载荷由白名单重新构造,只有
query / limit / media 三个字段,不含提示词、seed、本机路径或凭据;端点与候选 URL
都拒绝回环 / 内网 / 云元数据地址(含 IPv6 形态)以防 SSRF,且不跟随重定向。
插件只返回候选图片 URL,不自动下载远程字节;你选定后自行保存,再走既有的本地参考图上传流程。
详见下文「角色参考(模型无关)与联网参考图检索」。
⚠ 为如实披露能力:插件提供了
allowRemoteComfy开关(默认false)。用户显式设为true后, 才可把comfyUrl/hipfireUrl指向局域网(如192.168.1.100)或远程主机——此时插件会向你指定的地址发送提示词与图片数据。 这是用户主动选择的行为,不是默认状态。
QQ 交流群:
454707710| 反馈 / 提问 / 提需求都走这里,issue 也欢迎:https://github.com/yanfei0725/dsh-qwen-paint/issues
原作者:@奇迹与你 | 优化版作者:@yanfei0725 | 许可协议:BSL 1.1(BUSL-1.1) | 当前版本:
1.2.3| 仓库:https://github.com/yanfei0725/dsh-qwen-paint
角色参考(模型无关)与联网参考图检索
它解决什么
同一个角色跨多张图 / 多段视频保持形象一致。这里没有绑定任何具体模型:不要求本机装 Qwen、 Wan、ControlNet 或 IP-Adapter,也不要求额外权重。新增模型只需往策略表里加一条数据, 不需要写模型专用分支。
三层机制(按运行时能力协商)
| 层 | 机制 | 前提 |
| --- | --- | --- |
| 参数层 | 固定 seed / 锚定关键帧 / 段间 overlap | 无 |
| 节点层 | 按后端 /object_info 的真实节点集合选策略(requires 取 AND、requiresAny 取 OR,按优先级排) | 后端在线且装了对应节点 |
| 通用兜底 | 只用任何扩散模型都有的基础节点:生图找带 latent_image 输入的节点并接 VAEEncode;视频找带 start_image 输入的节点接首帧 | 无 |
协商不到专属适配器时自动回落通用兜底,并在 notes 里如实写明回落,不假装启用了点名的策略。
找节点靠 /object_info 自报的输入槽而不是靠类名猜:需要补可选槽时,后端没自报该槽就不落地
(applied: false + 说明),绝不提交一个 ComfyUI 必拒的节点、也不给节点凭空加输入来假装"通用"。
VAE 优先复用解码节点已有的 vae 接线,denoise 只改本来就有该输入的节点。
零漂移保证
不启用 = 逐字节不变。只有同时满足「显式给了 referenceStrategy(或面板选了策略)」、
「确实有参考图」、「计划能落地」三个条件时才会改工作流;否则 adaptReference() 返回
原工作流对象引用,连 structuredClone 都不做,__plan / __effective / __cnet
等不可枚举元信息完整保留。真正注入节点后会用 workflow-meta 重建这些元信息。
视频侧未启用策略时,参考图不上传、工作流不改动,纯文生视频行为不变。
参数与本机端点
draw_image/generate_video新增可选参数referenceStrategy('auto'或具体策略 id; 不在 required 里)。优先级:显式工具入参 > 面板选择 > 未启用。 面板选择只存进程内存,不写配置、不写记忆,重启回默认。GET /api/comfy-pipeline/reference?mode=image|video:能力快照(节点数、可用策略清单、 当前选中策略、视频分段计划、联网同意要求)。POST /api/comfy-pipeline/reference/prefer:写入面板选中的策略 id(''= 关闭)。POST /api/comfy-pipeline/reference/adapt:纯工作流变换,只返回结果供检视, 不提交 ComfyUI、不下载任何字节。POST /api/comfy-pipeline/reference/search:联网候选检索,见下。- 四个端点都只允许本机请求;三个写端点另过
guardWriteRequest(POST +application/json)。
联网检索:默认拒绝,逐次同意
referenceSearchEndpoint 默认为占位符,不替换就一律拒绝。即使替换了合法 https 端点,
也必须在每一次请求里显式给 consent: true;面板上的「仅本次同意并检索」按钮点一次只管一次,
没有常开开关。只返回候选 URL,插件不下载远程图片字节,面板也只以文本方式列出 URL
(渲染 <img> 会让浏览器自动下载,等于绕过同意门)。
诚实边界
- 视频角色一致性目前只产出分段计划(固定 seed / 锚定首帧 / 段间 overlap), 未自动接入 RIFE 或时序平滑节点,计划里会明确标注,不谎称已平滑。
- 专属适配器需要对应权重;没装就回落通用兜底,约束强度取决于后端能力,不承诺跨模型同等效果。
/object_info不可达时能力清单查不到,但通用兜底仍可用于任何扩散模型。
生成历史:翻旧账与复用(0.3.1)
每次生成(图 / 视频 / 音频)都会在出图目录下留一条记录,存在 <outputDir>/.qwen-paint-history.db:
| 项 | 说明 |
| --- | --- |
| 存什么 | 提示词、工具名、模型、步数 / CFG / seed、尺寸、时间、文件路径。只存相对 outputDir 的路径 —— 整体搬目录也不会失效,也不把本机绝对路径写进库 |
| 怎么查 | 菜单最上面「历史」→「生成历史」:关键词(提示词 / 文件名 / 模型)、类型(图 / 视频 / 音频 / 其它)、日期范围、分页 |
| 怎么用 | 点缩略图看大图;「复制路径」把绝对路径贴到别处(比如再交给 draw_image 的 references) |
| 怎么删 | 「移除」= 软删除(库里 deleted=1),绝不删磁盘上的文件;真想删自己去文件夹删 |
| Agent 侧 | 工具 list_generated_images(keyword / kind / date_from / date_to / limit / offset),纯本地只读、不调 ComfyUI |
| 端点 | GET /api/qwen-paint/history、GET /api/qwen-paint/history/stats、POST /api/qwen-paint/history/delete —— 均仅本机请求;写操作 POST + application/json |
Node 版本与降级口径
package.json 的 engines 仍是 >=18.0.0 —— 插件本体(出图 / 视频 / 语音 / 编辑)在 Node 18 上照常工作。
只有历史持久化依赖 Node 内置的 node:sqlite(Node >= 22.5 才有):
| 你的 Node | 历史行为 |
| --- | --- |
| >= 22.5 | 全量:SQLite 持久化,可搜索 / 分页 / 软删除;available: true、persistent: true |
| < 22.5 | 降级:available: false、persistent: false,只能读既有 .qwen-paint-memory.jsonl 做内存过滤;界面与工具都会明说「未持久化」,不假装有数据 |
刻意不把 engines 提到 >=22.5:那会把一批能正常出图的用户直接挡在门外,代价只是少一个可搜索的历史库。
1.2.3 更新说明
本版主线:三件真 Bug 修复 + GSV.CPP 外接 TTS 全链路 + 稳定性收口。凌晨场 30 棒接力审计的产出,全部离线可回归、真机验证过的不写「应该」。
修复(用户可直接感知)
- 面板 404 大面积报错(真根因):DSH 宿主升级了工具注册契约(每个工具
output必须含schema + render),convert_to_gif缺render导致 extras 整组(44 条端点 + 全部 extras 工具)在每次启动时从未注册——表现为 doctor / tts / media / jobs 等大面积 404/401。修复:withDeclaredOutput对缺render的工具自动合成兜底(自带 render 的引用原样保留),4 个高频工具手写 render,新增「extras 全部工具满足宿主 output 契约」回归锁(曾一次揪出 26 个漏网)。真机验证register.extras OK+ 全部端点 200。 - ComfyUI 启动识别「46 秒蒸发」:启动监视器收摊上限硬编码 46 次,与 120 秒常量漂移——慢加载场景 46 秒后监视静默退出、永远卡 starting。改为按常量推导的快/慢双速(先 1s/次,120s 后降 5s/次一直探),绝不静默退出、绝不抢判超时;顺手修
Date.now()与performance.now()混钟。新增parseImportTimes解析 ComfyUI 自带 Import times 报告(实测 40+ 节点包 import 全部 <2s,慢在 torch/ROCm 初始化,报告写日志不猜)。 - 音色样本重启全丢(0.34.0 起的真遗漏):
index.json每次登记都写、却从不读回——DSH 重启后样本登记全部失效(cloneToken 失效、转写丢失),而音频文件本体一直在磁盘上。修复:启动读回 + 逐条校验(非法 id / 越界路径跳过、音频本体已不在的条目作废、索引损坏空库起步不阻塞)。测试 +4 锁。
GSV.CPP 外接 TTS(A 卡 Vulkan 实测)
generate_speech选backend=gsv_cpp时直调本机 9880 服务(回环围栏同 comfyUrl 口径),不拉 ComfyUI、不建工作流——全句 2.95 秒(≈23× 实时速率)、221 字长文 4.23 秒、热态 0.34 秒;6 小时 uptime 日志干净。- 按服务端白纸黑字的 V5 真契约实现(
text_lang / ref_audio_path / prompt_text / prompt_lang / streaming_mode;原版 GPT-SoVITS API 字段名不适用);参考音频 + 转写必填,缺件明确拒绝、绝不静默降级默认音色。 - 面板 TTS 下拉可选「★ GSV.CPP(在线/离线探活实测)」;lab 音色样本登记支持「参考转写」(契约的 prompt_text 源);选中前置提示必填语义;落盘扩展名按响应 content-type 定,文件名永远说真话。
- 稳定性:探活带 health 标记校验(GSV.CPP 与 AnifLive-TTS 默认端口同为 9880,根治互相误报在线);调用方取消 / 超时 / 服务挂死三条路收敛到同一 abort(不再永等);
instruct(VoiceDesign 专用)明确拒绝不静默吞掉。 - 9880 端口撞车防护与安装引导按本机实测定稿(解压即含全套模型;sidecar 需
GSV_G2PW_MODEL等环境变量,缺了 zh 前端会静默联网下载挂死)。
多角色对话链(第一步,为下版铺垫)
本机实锤已装 FB_Qwen3TTSRoleBank(8 角色槽位)+ FB_Qwen3TTSDialogueInference 节点;buildDialogueWorkflow 纯函数就绪(每角色一条 VoiceClonePrompt → RoleBank → DialogueInference → SaveAudioMP3),脚本行角色名插件侧提前对账(节点会静默跳过不匹配行,绝不让它糊脸)。刻意不入自动兜底链(必须先上传参考音频才能构造)。
其他
slim-comments工具修复$替换模式陷阱(注释里的 shell 语法$$/$!被当替换模式污染零漂移自检,comfy-launch 29 块注释因此被冤枉拒掉);设计注释外置docs/*-design-notes.md锚点,体积余量回升。- 外部 TTS 上游核实:Sunfish56 已删库(实测 404)、AnifLive-TTS 公开索引搜不到(疑似私有/删库/改名,如实标注「搜索不到≠实测 404」)——引导不再指向死仓库。
- 首页与两份 llms 的能力主线补上 PPT 生成(
make_pptx,1.2.0 起的能力)与 GSV.CPP 外接引擎——此前介绍完全没提。 - 反向核查:本轮所有改动均「改坏→精确变红→逐字节恢复」验证过护栏有效性;GSV.CPP 端到端为真机实测(含长文本 / 热态 / 6h 稳定),未实测项不写倍率。
★ 许可证:维持 BSL 1.1(BUSL-1.1),本版不改
- 自 0.33.0 起许可为 BSL 1.1(
BUSL-1.1,非 OSI 开源许可):除托管 / 代管服务与直接竞品捆绑两类「竞争性使用」外免费生产使用;Change Date 2030-11-15 自动转 Apache-2.0。0.32.1 及更早版本仍按 MIT 授权,永久、不可撤销、不追溯。本版没有改动许可文本,也没有新增任何限制。
★ 新工具与端点:本版零新增工具名,介绍口径补齐
- 本版没有新增 Agent 工具名或改动 API 语义。
generate_speech新增backend=gsv_cpp可选项;make_pptx是 1.2.0 起的既有能力——本版把它从「只写在更新说明里」提升到首页、两份 llms 与安装引导的主功能句和能力主线,明确 PPT 讲解图片可真写进文件,不冒充 1.2.3 新增。
★ 加速链全景:本版不改任何倍率结论
- 1.1.0 的插件层实测数字继续有效:内置 resvg 光栅 7.02×、静态帧去重 + VFR + libx264 6.58×、草稿档 2.10×、分镜缓存命中 34.2×;TE-Speed −17.3% 仍为唯一稳定正收益。1.2.1 的诊断补齐与本版 GSV.CPP 外接链只说实话,不宣称新倍率。
★ 工作流清单层:承接 1.2.1
chain-manifest与图结构指纹基准继续生效;本版不改生成链,默认路径逐字节不变。
★ 结构化运行日志:承接 1.2.1
event-log落盘 + 生成完成钩子不变;细分耗时口径不变(官方不提供的细分保持null,不编数字),单调时钟口径不变。
★ UI 与交互:位置口径不变,UI_BUILD 维持 2026-11-18.2
- 功能区仍然内嵌进 Comfy 控制面板(不新开浮层),展开页恒在悬浮球正上方、边框对齐 DSH 右边框、小屏不变形,四事件点按 +
pointerdown兜底。本版没有改 UI 资产,UI_BUILD不升;真机刷新后 hover 浮标仍显示UI 2026-11-18.2。1.2.0 的卡片折叠 / 双拖拽上传 / 人物替换 / PPT 图片继续有效。
★ 媒体格式转换:格式矩阵不变
- 图片 JPG/PNG/WebP、视频 MP4/MKV/MOV/WebM、音频 MP3/AAC/WAV/FLAC 互转不变;媒体路由流式化 + Range 与缓存头口径承接 1.1.2。
★ 联动护栏与回归
- 全量 113 套 / 7467 项断言全绿(新增对话链 4 锁、外接链 12 锁、样本库恢复 4 锁等)。
lib/index.js226,150 B / 余量 35,994 B(红线 262,144 B)。- 当前 139 个
lib/*.js/ 合计 2,071,159 B(按规范化 LF 字节计,与 git blob / CI checkout 同口径)。
文档
package.json(description + meta.description)/ README 首段 / 两份 llms 首段 /pyproject.toml/docs/index.html/给DSH安装的话.md全部同步到 1.2.3,并把 PPT 生成提升到主功能句;scripts/test-release-metadata.mjs的唯一真相源口径同步升级为含 PPT,一处改、多处一起校验。
1.2.1 更新说明
从 1.2.0 到 1.2.1:这是一个质量与可诊断性收口补丁版本——历史库搜索升级 SQLite FTS5、运行期自诊断补齐真探针、OOM 建议跟上 ComfyUI v0.37、构建期作用域检查换成零依赖 JS 词法分析器。本轮全量回归 113 套 / 0 失败 / 7,418 项断言全绿。不改三大能力的生成链契约,既有工具名与 API 语义不变;1.2.0 及此前全部能力、速度与许可边界继续有效。诚实边界不变:未经真机自证的能力仍标「未检测 / 待自证」,不把离线回归写成真机通过。
★ 许可证:维持 BSL 1.1(BUSL-1.1),本版不改
- 自 0.33.0 起许可为 BSL 1.1(
BUSL-1.1,非 OSI 开源许可):除托管 / 代管服务与直接竞品捆绑两类「竞争性使用」外免费生产使用;Change Date 2030-11-15 自动转 Apache-2.0。0.32.1 及更早版本仍按 MIT 授权,永久、不可撤销、不追溯。本版没有改动许可文本,也没有新增任何限制。 - 外部 TTS 服务的合规边界不变:GSV.CPP(MIT,只做适配器 + 引导、不捆绑不代下)、AnifLive-TTS(原创代码 PolyForm Noncommercial 1.0.0 禁商用,只抄公开工程思路、不复制代码与二进制,商用须作者书面授权)。
★ 新工具与端点:本版零新增工具名,补齐既有能力
- 历史库关键词检索从全表 LIKE 升到 FTS5 索引(详见「联动护栏与回归」),
list_generated_images的参数与返回结构不变;doctor 的 8 项检查项 ID 不变,只把空转探针接成真探针。Agent 与端点调用方式零变更。
★ 加速链全景:本版不改任何倍率结论
- 1.1.0 的插件层实测数字继续有效:内置 resvg 光栅 7.02×、静态帧去重 + VFR + libx264 6.58×、草稿档 2.10×、分镜缓存命中 34.2×;TE-Speed −17.3% 仍为唯一稳定正收益。1.1.2 的探测缓存与 1.2.1 的诊断补齐只省重复开销 / 只说实话,不宣称新倍率。
★ 工作流清单层:承接 1.2.0
chain-manifest与图结构指纹基准继续生效;本版不改生成链,默认路径逐字节不变。
★ 结构化运行日志:承接 1.2.0
event-log落盘 + 生成完成钩子不变;细分耗时口径不变(官方不提供的细分保持null,不编数字),单调时钟口径不变。
★ UI 与交互:位置口径不变,UI_BUILD 维持 2026-11-18.2
- 功能区仍然内嵌进 Comfy 控制面板(不新开浮层),展开页恒在悬浮球正上方、边框对齐 DSH 右边框、小屏不变形,四事件点按 +
pointerdown兜底。本版没有改 UI 资产,UI_BUILD不升;真机刷新后 hover 浮标仍显示UI 2026-11-18.2。1.2.0 的卡片折叠 / 双拖拽上传 / 人物替换 / PPT 图片继续有效,真机自证项见桌面验收清单。
★ 媒体格式转换:格式矩阵不变
- 图片 JPG/PNG/WebP、视频 MP4/MKV/MOV/WebM、音频 MP3/AAC/WAV/FLAC 互转不变;媒体路由流式化 + Range 与缓存头口径承接 1.1.2。
★ 联动护栏与回归
- 全量回归 113 套 / 0 失败 / 7,418 项断言全绿(31.5s);发布护栏
test-release-metadata.mjs70/0。 - 历史库 FTS5:
history-store.js以外部内容表 + trigram tokenizer + AFTER INSERT 触发器实现全文索引,关键词走 MATCH(1 万条实测 0.023ms vs LIKE 1.012ms,约 44×);短词(<3 字符)与 FTS 不可用时自动回落 LIKE,旧库首次打开 rebuild 回填,phrase 包裹防查询语法注入。test-history.mjs195/0。 - doctor 真探针:
tool-registry.js为 comfyOnline / accelPacks / ffmpeg / attentionBackend 接上真实探测;模型完整性与 TTS 权重仍如实标未检测,attention_backend只查到节点存在时不谎报 pass。test-accel-config.mjs79/0。 - OOM 建议:
diagnose-error.js补社区 8G 抄作业档(INT8 + nvfp4 + 低显存 / GGUF Q4_K_M + 768² 起步)与 ComfyUI v0.37 动态显存策略提示;15× 速度差标为社区量级、不承诺固定倍率。test-batch-guard.mjs119/0。 - 构建期词法分析:
_client_scope_test.mjs改用零依赖scripts/js-lexer.mjstoken 流,隔离字符串 / 注释 / 正则 / 模板;新增test-js-lexer.mjs22/0 并登记,仅构建期脚本、不进包、0 运行时依赖;反向核查注入${UNDEFINED_PROBE}精确变红、逐字节还原后复绿。 lib/index.js226,150 B / 上限 262,144 B,余量 35,994 B。- 反向核查:本轮所有改动均做过「改坏 → 精确变红 → 逐字节恢复」;未跑真机的项如实标注,不把离线回归写成真机通过。
文档
package.json/meta.description/ README 首段 / 两份 llms 首段 /pyproject.toml/docs/index.html/给DSH安装的话.md全部同步到 1.2.1,scripts/test-release-metadata.mjs一处改、多处一起校验。- 当前 139 个
lib/*.js/ 合计 2,071,170 B(按规范化 LF 字节计,与 git blob / CI checkout 同口径)。
1.2.0 更新说明
从 1.1.2 到 1.2.0:这是一个交互与本地能力扩展版本——UI 卡片全折叠、PPT / 人物替换双拖拽上传、Rust 纯 CPU 人物贴图底座与身份节点发现 / 缺件降级、PPT 讲解图片真写进 OOXML。新增 3 条本机端点与 1 套专项回归;不改三大能力的生成链契约,既有工具名与 API 语义不变,1.1.2 及此前全部能力、速度与许可边界继续有效。诚实边界先说清:人物替换的本地 CPU 合成是贴图预演,不是像素级换脸;真身份保持重绘依赖本机 ComfyUI 装好身份节点与几 GB 权重,插件不捆绑、不代下,只做发现 + 引导 + 降级。
★ 许可证:维持 BSL 1.1(BUSL-1.1),本版不改
- 自 0.33.0 起许可为 BSL 1.1(
BUSL-1.1,非 OSI 开源许可):除托管 / 代管服务与直接竞品捆绑两类「竞争性使用」外免费生产使用;Change Date 2030-11-15 自动转 Apache-2.0。0.32.1 及更早版本仍按 MIT 授权,永久、不可撤销、不追溯。本版没有改动许可文本,也没有新增任何限制。 - 外部 TTS 服务的合规边界不变:GSV.CPP(MIT,只做适配器 + 引导、不捆绑不代下)、AnifLive-TTS(原创代码 PolyForm Noncommercial 1.0.0 禁商用,只抄公开工程思路、不复制代码与二进制,商用须作者书面授权)。
★ 新工具与端点:不新增 Agent 工具名,新增 3 条本机人物替换端点
/api/qwen-paint/portrait/capabilities、/portrait/register、/portrait/compose三条本机端点已注册进lib/tool-registry.js与端点目录;make_pptx扩展slides[].images,工具名零新增,Agent 既有调用方式不变。- 身份节点发现覆盖 InstantID / PuLID / IP-Adapter FaceID / ReActor:
/object_info里发现即给「可跑」,缺件给「缺件 + 安装引导」,不谎称已具备真换脸能力。
★ 加速链全景:本版不改任何倍率结论
- 1.1.0 的插件层实测数字继续有效:内置 resvg 光栅 7.02×、静态帧去重 + VFR + libx264 6.58×、草稿档 2.10×、分镜缓存命中 34.2×;TE-Speed −17.3% 仍为唯一稳定正收益。1.1.2 的探测缓存只省重复开销,不宣称新倍率。本版未新增任何未经实测的倍率。
★ 工作流清单层:承接 1.1.2
chain-manifest与图结构指纹基准继续生效;本版不改生成链,默认路径逐字节不变。
★ 结构化运行日志:承接 1.1.2
event-log落盘 + 生成完成钩子不变;细分耗时口径不变(官方不提供的细分保持null,不编数字),单调时钟口径不变。
★ UI 与交互:UI_BUILD 升到 2026-11-18.2 供刷新自证
- 通用
foldCard()/dropZone():混合链、素材库、角色参考、hybrid 四段模型选择改为可折叠卡片;PPT 卡加「讲解图片」多图拖拽区,人物替换卡加「参考图 / 场景图」「选定人物图」双拖拽区。新按钮用独立类名cp-pptx-go/cp-swap-go,不与逐次同意检索按钮抢类名。 - 折叠
toggle后调用syncPanelPos(nodes.fab, nodes.panel),面板高度变化仍保持底缘贴浮标上缘。位置口径不变:功能区仍然内嵌进 Comfy 控制面板(不新开浮层),展开页恒在悬浮球正上方、边框对齐 DSH 右边框、小屏不变形,四事件点按 +pointerdown兜底。真机刷新后 hover 浮标应显示UI 2026-11-18.2。 - 诚实边界:真机侧(拖图生成带图 PPT、人物替换双拖拽区、身份节点发现)尚未自证,代码与离线回归已就绪。
★ 媒体格式转换:格式矩阵不变
- 图片 JPG/PNG/WebP、视频 MP4/MKV/MOV/WebM、音频 MP3/AAC/WAV/FLAC 互转不变;媒体路由流式化 + Range 与缓存头口径承接 1.1.2。PPT 输出新增图片类型,body 上限放宽到 48 MB。
★ 联动护栏与回归
- 本版新增
test-local-portrait.mjs(48/0)并登记进scripts/test-all.mjs;test-pptx-lite.mjs47/0、test-ui-perf.mjs81/0。全量回归 113 套,各套项全绿。 - 构建期静态检查升级:
_client_scope_test.mjs从「正则 replace 抹字符串」换成零依赖 JS 词法分析器(scripts/js-lexer.mjs,token 流隔离字符串/注释/正则/模板)。新增test-js-lexer.mjs22/0 并登记;仅构建期脚本,不进插件包、不破 0 运行时依赖。反向核查:注入${UNDEFINED_PROBE}精确变红、逐字节还原后复绿。 lib/index.js226,150 B / 上限 262,144 B,余量 35,994 B。- 反向核查:PPT media 写入、人物路径围栏 / 结果解析 / 节点发现、UI_BUILD 与折叠几何均做过「改坏 → 精确变红 → 逐字节恢复」;PPT / 人物替换按钮因误复用
.cp-ref-search触发真实回归,已改独立类名修好并复测,未改测试迁就。
文档
package.json/meta.description/ README 首段 / 两份 llms 首段 /pyproject.toml/docs/index.html/给DSH安装的话.md全部同步到 1.2.0,scripts/test-release-metadata.mjs一处改、多处一起校验。- 当前 138 个
lib/*.js/ 合计 2,077,512 B(按规范化 LF 字节计,与 git blob / CI checkout 同口径;Windows 工作树受core.autocrlf影响略高;设计注释外置到 docs 后维持健康余量)。 - Rust CPU 底座源码与锁文件在
tools-rust/dshqp-portrait/,产物assets/bin/dshqp-portrait.exe随assets/走打包分发;本机 cargo 路径已做等长中性化,不夹带真实用户目录。 - 历史库关键词搜索升级到 SQLite FTS5(零新依赖):
history-store.js用 FTS5 外部内容表 + trigram tokenizer + AFTER INSERT 触发器,关键词走 MATCH 索引(1 万条实测 0.023ms vs LIKE 全表 1.012ms,44×)。短词(<3 字符)与 FTS 不可用时自动回落 LIKE;旧库首次打开自动 rebuild 回填;phrase 包裹防查询语法注入。test-history.mjs补 16 项(索引同步/旧库迁移/软删除边界/降级)。 - 运行期自诊断与 OOM 建议补齐(社区调研 A 类):
doctor.js原有 8 项检查里 6 项探针空转,现用现有 deps 真接上 4 项(comfyOnline / accelPacks / ffmpeg / attentionBackend,后两者基于/object_info与mediaExec.probe),模型完整性与 TTS 权重仍如实标未检测;attention_backend只查到节点存在时不谎报 pass。diagnose-error.js的 OOM 建议补上社区 8G 抄作业档(INT8 + nvfp4 + 低显存 / GGUF Q4_K_M + 768²起步)与 ComfyUI v0.37 动态显存策略提示,15× 速度差标为社区量级、不承诺固定倍率。
1.1.2 更新说明
从 1.1.1 到 1.1.2:这是一个质量与安全收口版本——两轮全量代码审计(文件/进程执行面、网络出站面、端点与隐私面、UI 层、性能面)的全部确认项落地:安全围栏补齐、长任务误杀修复、队列生命周期加固、媒体路由流式化、探测缓存提速。不改三大能力的生成链契约,API 与工具名零变更,升级只需替换插件目录;1.1.1 及此前全部能力与加速数字继续有效。审计采用「刻意设计甄别」纪律:每一处改动都先核对作者注释与提交历史,确认是遗漏才修、是设计就留痕不动(共甄别 30+ 项刻意设计,见
docs/negative-results.md负结果清单)。
★ 许可证:维持 BSL 1.1(BUSL-1.1),本版不改
- 自 0.33.0 起许可为 BSL 1.1(
BUSL-1.1,非 OSI 开源许可):除托管 / 代管服务与直接竞品捆绑两类「竞争性使用」外免费生产使用;Change Date 2030-11-15 自动转 Apache-2.0。0.32.1 及更早版本仍按 MIT 授权,永久、不可撤销、不追溯。本版没有改动许可文本,也没有新增任何限制。 - 外部 TTS 服务的合规边界不变:GSV.CPP(MIT,只做适配器 + 引导、不捆绑不代下)、AnifLive-TTS(原创代码 PolyForm Noncommercial 1.0.0 禁商用,只抄公开工程思路、不复制代码与二进制,商用须作者书面授权)。
★ 新工具与端点:本版零新增工具,既有端点补齐安全围栏
- 矢量化端点补本机围栏:
/api/qwen-paint/vectorize*此前是同族路由中唯一缺「仅本机」闸的(同期整改模块均已补、本模块被遗漏),跨站请求可触发外部引擎执行;现 GET/POST 均要求本机来源,与缝合 / PPTX 端点同口径。 - ASR 端点接入统一出站守卫:
asrUrl是第三个出站端点(本机 faster-whisper 等 OpenAI 兼容服务),此前转写上传与状态探测绕过回环校验;现与 comfyUrl/hipfireUrl 同判据(默认仅回环、allowRemoteComfy显式放行 + 禁跟随重定向 + 启动时校验),「数据仅走 127.0.0.1 回环」的承诺在语音链路同样成立。 - 历史管理端点补媒体类型闸:写操作(更新 / 恢复 / 清理 / 归档 / 硬删)现要求
application/json,堵住旧浏览器跨站简单请求面;硬删端点不再转发请求体里的文件操作参数(默认绝不删磁盘文件的语义保持)。 - 路径防链接越界复验:媒体读取、音频转写输入、媒体转换输入、手动超分输入四类目录围栏全部增加 realpath 复验(实测可穿透文本比对的目录链接攻击被封堵);输出侧经评估属纵深分层(植入链接本就需要本机写权限),维持原判据并留痕。
★ 加速链全景:本版不改任何倍率结论,只修「误杀」与「重复探测」
- 1.1.0 的插件层实测数字继续有效:内置 resvg 光栅 7.02×、静态帧去重 + VFR + libx264 6.58×、草稿档 2.10×、分镜缓存命中 34.2×;TE-Speed −17.3% 仍为唯一稳定正收益。
- 长任务超时透传修复:媒体执行层此前丢弃调用方超时参数(恒 180 秒),5 分钟动画合成 / 30 分钟音频处理会被静默截断并误报「ffmpeg 执行失败」;现如实透传(下限 1 秒防呆)。
- 探测结果缓存:resvg 可用性此前每帧重探一次(N 帧分镜 = N 次子进程)、硬件编码择优每次合成都重跑(2–6 个探测进程);现成功结果进程内缓存、失败 30 秒重试——合成路径省 1–2 秒纯探测开销,分镜越多收益越大。诚实边界:这是消除重复开销,不宣称新的合成倍率。
★ 工作流清单层:承接 1.1.1
chain-manifest与图结构指纹基准继续生效;本版不改生成链,默认路径逐字节不变。
★ 结构化运行日志:承接 1.1.1
event-log落盘 + 生成完成钩子不变;细分耗时口径不变(官方不提供的细分保持null,不编数字)。另:全库超时 / 期限判断(批量等待、TTS 等音频、启动就绪等待、面板兜底计时)统一切换到单调时钟——系统校时回拨不再会造成「永不超时的挂起」或误判超时。
★ UI 与交互:UI_BUILD 升到 2026-11-18.1 供刷新自证
- 优化面板「假成功」根治补全:开关与档位切换此前被后端拒绝时静默弹回、不说明原因(同一修复此前只覆盖了生图面板半边);现如实显示「未生效:原因」。
- 面板自愈:状态刷新统一走已记住的端点路径,桌面端桥接不覆盖
/api/前缀时不再出现「点开关面板直接关闭」。 - 位置口径不变:功能区仍然内嵌进 Comfy 控制面板(不新开浮层),展开页恒在悬浮球正上方、边框对齐 DSH 右边框、小屏不变形,四事件点按 +
pointerdown兜底。真机刷新后 hover 浮标应显示UI 2026-11-18.1。 - 本段为 1.1.2 发布当时快照;后续 1.2.0 已把
UI_BUILD升到 2026-11-18.2 并新增卡片折叠 / 拖拽上传 / 人物替换 / PPT 图片,详见「1.2.0 更新说明」。
★ 媒体格式转换:格式矩阵不变,媒体路由流式化
- 图片 JPG/PNG/WebP、视频 MP4/MKV/MOV/WebM、音频 MP3/AAC/WAV/FLAC 互转不变。
- 媒体字节路由流式化 + Range:此前整文件读入内存再回传(上限内的视频也整体进进程内存)、且不支持字节段(拖进度条要等全量传输);现流式管道 + 单段 Range(206 / 416 语义完整),视频拖动只取所需字节段;已知媒体类型(生成文件名永不复用、内容不可变)改可缓存,历史面板重开不再逐图重传。
★ 联动护栏与回归
- 两轮审计全部发现按「确认遗漏才修、刻意设计留痕」处置;新增 / 扩展回归:目录链接穿透回归 4 项、队列生命周期(退避封顶 / 代次号防双执行 / 终态淘汰)6 项、端点围栏与媒体类型闸 8 项、客户端反馈一致性 3 项、媒体路由 Range / 缓存头 8 项等。
- 全量回归 113 套,各套项全绿;
lib/index.js226,150 B / 上限 262,144 B,余量 35,994 B。
文档
package.json/meta.description/ README 首段 / 两份 llms 首段 /pyproject.toml/docs/index.html/给DSH安装的话.md全部同步到 1.1.2,scripts/test-release-metadata.mjs一处改、多处一起校验。- 新增
docs/negative-results.md负结果清单:审计中「试过且被论证否定」的方向与外部工程教训逐条归档,防止重踩(与「未实测不吹倍率」同一条纪律的另一半)。 - 当前 138 个
lib/*.js/ 合计 2,060,037 B(按规范化 LF 字节计,与 git blob / CI checkout 同口径;Windows 工作树受core.autocrlf影响略高;设计注释外置到 docs 后维持健康余量)。
1.1.1 更新说明
从 1.1.0 到 1.1.1:这是一个只加不改的小版本——唯一功能变更是 TTS 首段早出声(悬浮面板两段式),默认关闭、对既有用户零行为漂移;1.1.0 及此前全部能力与加速数字继续有效,API 与工具名零变更,升级只需替换插件目录。更新说明按发布护栏要求逐节列全,便于 Agent 与用户核对。
★ 许可证:维持 BSL 1.1(BUSL-1.1),本版不改
- 自 0.33.0 起许可为 BSL 1.1(
BUSL-1.1,非 OSI 开源许可):除托管 / 代管服务与直接竞品捆绑两类「竞争性使用」外免费生产使用;Change Date 2030-11-15 自动转 Apache-2.0。0.32.1 及更早版本仍按 MIT 授权,永久、不可撤销、不追溯。本版没有改动许可文本,也没有新增任何限制。 - 外部 TTS 服务的合规边界不变:GSV.CPP(MIT,只做适配器 + 引导、不捆绑不代下)、AnifLive-TTS(原创代码 PolyForm Noncommercial 1.0.0 禁商用,只抄公开工程思路、不复制代码与二进制,商用须作者书面授权)。
★ 新工具与端点:本版零新增工具,给 generate_speech 的 lowLatencyChunks 换更优实现
lowLatencyChunks(默认 false)由「N 块逐段提交 + N 段拼接」改为两段式:首段短切先落盘并通过progress.ttsLive推给悬浮面板自动播一次,剩余整段一次提交,最后 ffmpeg concat 拼 m4a——省掉中间 N−2 次往返。诚实边界:非节点级流式、整段总时长不变,只是更早听到首段;块间语气可能断裂;缓存键区分 chunks/whole 防串味。- 首段事件存单例 TTL store,只在面板开着时播放,自动播被浏览器拦则静默不报错;回环围栏不变(只认本机 127.0.0.1)。
★ 加速链全景:承接 1.1.0,本版不改任何倍率结论
- 1.1.0 的插件层实测数字继续有效:内置 resvg 光栅 7.02×、静态帧去重 + VFR + libx264 6.58×、草稿档 2.10×、分镜缓存命中 34.2×;ComfyUI 生图链 TE-Speed −17.3% 仍为唯一稳定正收益。
- 本版 TTS 两段式不宣称倍率:目标是「首段更早落盘 + 更早听到」,整段总耗时的真实 A/B 需要模型常驻、固定单档、丢弃首轮后多轮测量,当前未做,不编数字。attention 真机样本离散与回退事实见 1.1.0 章节,不重复结论。
★ 工作流清单层:承接 1.1.0
chain-manifest与图结构指纹基准继续生效,后者只在回归里跑、不参与运行时构图。本版不改生成链,默认路径逐字节不变。
★ 结构化运行日志:承接 1.1.0
event-log落盘 + 生成完成钩子不变;细分耗时queue/total来自 ComfyUI/history真实时间戳,load/sample/decode官方不提供,保持null(不编数字)。
★ UI 与交互:UI_BUILD 升到 2026-11-17.2 供刷新自证
- 悬浮面板新增首段音频自动播放(按
path@at去重、一次事件只播一次);generate_speech面板开着才听得到首段。 - 位置口径不变:功能区仍然内嵌进 Comfy 控制面板(不新开浮层),展开页恒在悬浮球正上方、边框对齐 DSH 右边框、小屏不变形,四事件点按 +
pointerdown兜底。真机刷新后 hover 浮标应显示UI 2026-11-17.2。
★ 媒体格式转换:承接 1.1.0
- 图片 JPG/PNG/WebP、视频 MP4/MKV/MOV/WebM、音频 MP3/AAC/WAV/FLAC 互转不变;
file路由补.m4a/.aac/.ogg/.opusMIME 以便面板播放首段音频,转码路径不变。
★ 联动护栏与回归
test-tts-lowlatency.mjs扩展两段式规划、首段回调时序、progress.ttsLive、面板播放与 file MIME 断言,并做「改坏三处 → 精确变红 → 逐字恢复 md5 一致」反向核查;test-ui-perf.mjs同步 build 断言。- 全量回归 110 套,各套项全绿;
lib/index.js226,150 B / 上限 262,144 B,余量 35,994 B;体积曾因本版超 2,645 B,按纪律外置 4 个文件头注释到docs/tts-early-audio-design-notes.md(逐字留锚点)后守卫恢复通过。2026-11-17 全量审计整改(安全修复 + 测试扩展)后按真实值回填。
文档
package.json/meta.description/ README 首段 / 两份 llms 首段 /pyproject.toml/docs/index.html/给DSH安装的话.md全部同步到 1.1.1,scripts/test-release-metadata.mjs一处改、多处一起校验。- 两份 llms 以代码字体点名全部工具与端点;
TOOL_SUMMARIES/agent-guide/ 端点目录保持同步。 - 当前 136 个
lib/*.js/ 合计 2,038,715 B(按规范化 LF 字节计,与 git blob / CI checkout 同口径;Windows 工作树受core.autocrlf影响略高。2026-11-17 全量审计:config.js / client.js 纯设计注释外置到 docs,余量 550 B → 76 KB;2026-11-18 第二轮整改后余量 57.1 KB)。 - 真机自证清单(如实列为未完成):DSH 宿主启动后刷新页面 hover 自证
UI 2026-11-17.2、开面板跑lowLatencyChunks:true听首段是否先播、PPT 加速链档位按钮显示、smoke.mjs --submit真出图、layout 中文可见性、8 GB 核显速度。
1.1.0 更新说明
从 1.0.0 到 1.1.0:这一版不改三大能力的生成链契约,专治两件事——① 1.0.0 之后积压的全部工作树改动一次性收口(补缺模块 / hyperframes §13 四项 / UI 整改 / 体积根治);② 把「说快了却没实测」的加速说法变成可复核的真机数字与诚实边界。1.0.0 及此前全部能力继续有效,API 与工具名零变更,升级只需替换插件目录。
★ 许可证:维持 BSL 1.1(BUSL-1.1),本版不改
- 自 0.33.0 起许可为 BSL 1.1(
BUSL-1.1,非 OSI 开源许可):除托管 / 代管服务与直接竞品捆绑两类「竞争性使用」外免费生产使用;Change Date 2030-11-15 自动转 Apache-2.0。0.32.1 及更早版本仍按 MIT 授权,永久、不可撤销、不追溯。本版没有改动许可文本,也没有新增任何限制。 - 外部 TTS 服务的合规边界写死在清单里:GSV.CPP(MIT,一键包 3.16 GB / g2pw 前端 608 MB,只做适配器 + 引导、不捆绑不代下);AnifLive-TTS(原创代码 PolyForm Noncommercial 1.0.0 禁商用,只抄公开工程思路、不复制代码与二进制,商用须作者书面授权)。第三方截图里的 74.6 ms / 2–3× 是作者特定硬件的历史宣称,本插件未复测、不写进结论。
★ 新工具与端点:承接 1.0.0,本版给已有工具补真实能力
- 四个纯 JS 新工具(
plan_storyboard/render_frame/compose_video/layout_frame)与补缺模块(队列端点、ControlNet 预处理纯逻辑、段级续跑账本、WS 渐进预览、外部工作流导入)全部接进生产链,非孤儿。 generate_speech新增attention(auto / sage_attn / flash_attn / sdpa / eager,默认不写 = 节点自身 auto 零漂移)与lowLatencyChunks(默认 false:两段式——首段短切先落盘并推给悬浮面板自动播一次、剩余整段一次提交、ffmpeg concat 拼 m4a;非节点级流式,整段时长不变,首段先听而已,块间语气可能断裂,缓存键区分 chunks/whole 防串味)。首段事件走progress.ttsLive(单例 TTL 有界),面板开着才播、自动播被浏览器拦则静默不报错。list_tts_backends与/api/qwen-paint/tts/backends新增external_services:对 127.0.0.1 上的外部 TTS 服务真实探活并回传在线状态、失败原因、许可证与引导,只许回环地址、不放行任意 host。
★ 加速链全景:从「列节点」升级到「有真机数字与诚实边界」
- 本机实测的插件层优化:内置 resvg 光栅 7.02×(600.50 ms → 85.51 ms)、静态帧去重 + VFR + libx264 6.58×(870.49 ms → 132.20 ms)、草稿档合成 2.10×、分镜缓存命中 34.2×、下拉增量回填 DOM 操作 −99.7%、TTS 旁白缓存命中 0.21 ms。
- 编码择优纠错:
ENCODE_PRIORITY由 NVENC→QSV→AMF→libx264 改为 NVENC→QSV→libx264→AMF,消除本机「AMF 可用但慢 12.9%–38.3%」的误选;这是「可用性 + 保守顺序」择优,不是速度基准择优。 - ComfyUI 加速节点真机对照(官方 8 步 turbo 链,1024²,每轮换 seed 防 prompt 缓存):baseline 9,910 ms、TE-Speed 8,197 ms(−17.3%,唯一稳定正收益)、TE-Speed+sage 8,687 ms(−12.3%)、Speedup +1.1%、BlockCache T8 +8.9%(更慢)、FBCache 与该链不兼容。历史 turbo8 −86% / BlockCache +22.7% 来自不同模型 / 分辨率 / 版本,不可比,不冒充当前值。
- TTS attention 真机只确认「参数可控、auto 实际选 sage_attn、flash_attn 静默回退 eager、每次切换清缓存重载模型 10–40 s」;样本离散过大,不宣称任何 attention 更快。
★ 工作流清单层:承接 1.0.0
chain-manifest(运行时清单目录)与图结构指纹基准(回归期逐槽位对账)继续生效,后者只在回归里跑、不参与运行时构图。本版不改生成链,默认路径逐字节不变。
★ 结构化运行日志:承接 1.0.0
event-log落盘 + 生成完成钩子不变;细分耗时queue/total来自 ComfyUI/history真实时间戳,load/sample/decode官方不提供,保持null(不编数字)。
★ UI 与交互:档位可见 + 错误可诊断 + build 自证
- 「本机能力 / 加速链」面板并入 Comfy 控制面板:SageAttention / WaveSpeed / 恢复默认三档按钮真存在;实验室独立浮层已删除,只挂
cp-panel的插槽,找不到就不挂。 - 「本机请求失败」一类笼统报错拆成「连不上本机服务:ComfyUI 可能未启动」与「本机服务返回异常(HTTP n)」两种可诊断文案;真宿主未启动导致的 404 由用户侧启动解决,插件不假装已连通。
- 位置口径不变:功能区仍然内嵌进 Comfy 控制面板(不新开浮层),展开页恒在悬浮球正上方、边框对齐 DSH 右边框、小屏不变形,四事件点按 +
pointerdown兜底。UI_BUILD升到2026-11-17.2(TTS 首段早出声)供刷新自证。
★ 媒体格式转换:承接 1.0.0
- 图片 JPG/PNG/WebP、视频 MP4/MKV/MOV/WebM、音频 MP3/AAC/WAV/FLAC 互转不变;本版不改转码路径。新增 ffmpeg concat 用于低延迟分块的音频顺序拼接。
★ 联动护栏与回归
- 新增
test-bgm-opt.mjs(30 项,含假 ffmpeg 真链路:首次执行 / 二次跳过 / 关缓存强制重跑)、test-tts-lowlatency.mjs(48 项,含回环围栏反向核查)、test-tts-workflow.mjsattention 契约 7 条、test-ui-perf.mjs3 条错误文案与 build 断言,全部登记 SUITES。 - BGM 三块优化接进生产链:音乐计划缓存(
generate_music)、ducking 缝合缓存(mix_narration/av-stitch,stitchCache:false可关)、§7 装配计划(/music/models,模型 / 权重项标 blocked 不谎称)。 - 全量回归 110 套,各套项全绿(断言总数刻意不写死;103 套 + 补缺批
test-gap-fill.mjs+ 动画三件套test-animation-kit.mjs+ 动画四项优化test-anim-opt.mjs+ 渲染后端test-render-backends.mjs+ 版式/VFR/TTS 缓存test-layout-vfr-ttscache.mjs+ BGM 优化test-bgm-opt.mjs+ 外部 TTS 低延迟编排test-tts-lowlatency.mjs);lib/index.js224,521 B / 上限 262,144 B,余量 37,623 B;lib/client.js217,489 B。
文档
package.json/meta.description/ README 首段 / 两份 llms 首段 /pyproject.toml/docs/index.html/给DSH安装的话.md全部同步到 1.1.0,scripts/test-release-metadata.mjs一处改、多处一起校验。- 两份 llms 以代码字体点名全部工具与端点;
TOOL_SUMMARIES/agent-guide/ 端点目录保持同步。 - 当前 136 个
lib/*.js/ 合计 2,095,867 B(按规范化 LF 字节计,与 git blob / CI checkout 同口径;Windows 工作树受core.autocrlf影响略高)。体积根治靠「新功能走独立模块 + 零 index 增长注册 + 纯说明性文件头注释逐字外置到 docs」,逐字可逆;内置assets/bin/resvg.exe(v0.50.0,双许可证随包分发)为默认光栅后端、stdin 送 SVG 收 PNG,探测不到一律降级保留 SVG,中文渲染依赖系统字体、缺字时自检判为不安全并降级。 - 真机自证清单(本版如实列为未完成):DSH 宿主启动后刷新页面 hover 自证
UI 2026-11-17.1、layout 中文可见性、混合四段回显、TTS 后端 / 音色在混合链真生效、ASR 真转写、编辑台 picker 点按、PPT 加速链档位按钮显示、smoke.mjs --submit真出图、8 GB 核显速度。
1.0.0 更新说明
从 0.35.0 到 1.0.0:这一版不改生成链、不加新工具,专治「界面说生效、实际没生效」这一类静默谎言。0.35.0 及此前全部能力继续有效。API 与工具名零变更,升级只需替换插件目录。
★ 许可证:维持 BSL 1.1(BUSL-1.1),本版不改
- 自 0.33.0 起许可为 BSL 1.1(
BUSL-1.1,非 OSI 开源许可):除托管 / 代管服务与直接竞品捆绑两类「竞争性使用」外免费生产使用;Change Date 2030-11-15 自动转 Apache-2.0。0.32.1 及更早版本仍按 MIT 授权,永久、不可撤销、不追溯。本版没有改动许可文本,也没有新增任何限制。
★ 新工具与端点:本版零新增,全部写参数诚实回传
- 工具与端点清单与 0.35.0 逐字一致(5 个外置工具 + 3 条端点,合计 29 个工具 / 78 条端点),没有影子工具、没有幽灵端点。
- 但
POST /status.json的响应新增choiceResult: { ok, rejections[] }:任何写操作被拒都回传 label / value / reason,顶层ok仍只表示端点自身健康(三处状态轮询依赖它,没有被拖下水)。
★ 加速链全景:承接 0.35.0,本版只补可观测性
- SageAttention / Comfy-WaveSpeed 的探测、工作流补丁、卡片常驻显示全部不变;真机节点名
ApplyFBCacheOnModel与residual_diff_threshold=0.08的保守默认值不变。 - 新增只读
objectInfoCacheStatus(),暴露failed/ageMs/info—— 探测不到节点时,终于能看出「是没装、还是失败冷却里」。/object_info失败也写时间戳,1 分钟冷却(成功仍走 10 分钟 TTL),ComfyUI 忙时不再每轮白等 30 秒。
★ 工作流清单层:承接 0.35.0
chain-manifest(运行时清单目录)与图结构指纹基准(回归期逐槽位对账,workflow-fingerprint.js+scripts/workflow-fingerprints.json)继续生效,后者只在回归里跑、不参与运行时构图。本版不改生成链,默认路径逐字节不变。
★ 结构化运行日志:承接 0.35.0
event-log落盘 + 生成完成钩子不变;细分耗时queue/total来自 ComfyUI/history真实时间戳,load/sample/decode官方不提供,保持null(不编数字)。
★ UI 与交互:白条同源 + 假成功根治
- 选模型假成功:后端白名单拒绝不再只写日志;前端按
choiceResult显示「未生效:<真实原因>」,并按 label 认领自己的拒绝原因,不张冠李戴。区分「清单此刻不可用」与「候选是缓存里的旧模型,已删或改名」——后一种是持久化缓存叠加后的隐藏复现路径。 - 两处白条同源:优化面板权重下拉(主 / LoRA / ControlNet)复用主模型那套持久化缓存 + 禁用占位,命中即同步回填、后台静默刷新,保留
fileLabels干净名与「已失效」标注;素材库设计风格下拉创建时就有禁用占位,失败落错误态,空catch已删。 - 假就绪 / 首帧空白:面板候选未到时显示「(候选清单加载中…)」,
Promise.allSettled全部落地后再收口;历史面板首帧给读取中占位。 - 位置口径不变:功能区仍然内嵌进 Comfy 控制面板(不新开浮层),展开页恒在悬浮球正上方、边框对齐 DSH 右边框、小屏不变形,四事件点按 +
pointerdown兜底。
★ 媒体格式转换:承接 0.35.0
- 图片 JPG/PNG/WebP、视频 MP4/MKV/MOV/WebM、音频 MP3/AAC/WAV/FLAC 互转不变;本版不改转码路径。
★ 联动护栏与回归
- 新增
scripts/test-white-bar.mjs(48 项):缓存纯函数与失败冷却是真调用(vm 拿 client factory / 真跑 mock fetchFn),其余锁关键分支;反向核查「改坏失败时间戳 → 2 项红」「改坏 total 拆分 → 1 项红」,恢复后 md5 一致。 - 历史分页:
store.query()的筛选后总数与store.stats()的全量总数拆成total/allTotal,stats 绝不碰分页基数 —— 修掉「筛选 3 条却显示 100 条、翻页全空白」的竞态。 - 全量回归 110 套,各套项全绿(断言总数刻意不写死;103 套 + 补缺批
test-gap-fill.mjs+ 动画三件套test-animation-kit.mjs+ 动画四项优化test-anim-opt.mjs+ 渲染后端test-render-backends.mjs+ 版式/VFR/TTS 缓存test-layout-vfr-ttscache.mjs+ BGM 优化test-bgm-opt.mjs+ 外部 TTS 低延迟编排test-tts-lowlatency.mjs);lib/index.js224,521 B / 上限 262,144 B,余量 37,623 B(1.0.0 发布时 206,499 B / 余 55,645 B;本轮补缺后经 slim-comments 外置长设计说明,仍走外置注册层);lib/client.js217,489 B。 - 全项目假绿双向扫描:99 个套件的断言函数签名 vs 调用方式全查,两个方向均无参数颠倒;工作树新增行经隐私预检零命中。
文档
package.json/meta.description/ README 首段 / 两份 llms 首段 /pyproject.toml/docs/index.html/给DSH安装的话.md全部同步到 1.0.0,scripts/test-release-metadata.mjs一处改、多处一起校验。- 两份 llms 以代码字体点名全部工具与端点;
TOOL_SUMMARIES/agent-guide/ 端点目录保持同步。 - 当前 136 个
lib/*.js/ 合计 2,095,867 B(按规范化 LF 字节计,与 git blob / CI checkout 同口径;Windows 工作树受core.autocrlf影响略高)。新增lib/anim-opt.js(动画四项纯 JS 优化:静态帧去重 / 分镜级缓存 / 草稿定稿档 / 时序校验前置,hyperframes 清单 §13 可映射项)、lib/render-backends.js(硬件编码择优 + resvg 光栅探测,内置优先、未启用绝不谎称)、lib/anim-cache.js(静态瓦片缓存 + 可插拔渲染后端接口);并把 1.0.0 后新增模块的纯设计注释外置到docs/added-modules-design-notes.md与docs/backend-headers-design-notes.md(逐字可逆自检),根治了 40 改动造成的 lib 合计超 2 MB 红线问题。★ 内置 resvg 光栅后端:assets/bin/resvg.exe(官方 v0.50.0 Windows x86_64,zip 权威 1,717,055 B 校验、解压 3,994,624 B,随包分发,Apache-2.0 OR MIT 双许可证在assets/bin/LICENSE-resvg-*.txt)为默认光栅后端,render_frame经 stdin 送 SVG/收 PNG(绕开路径编码问题),探测不到或渲染异常一律降级保留 SVG;非 Windows 平台由RESVG_PATH/PATH发现模式兜底。中文渲染依赖系统字体,缺字时自检会判为不安全并降级(不谎称已启用)。本轮(1.0.0 后、未发布)补缺新增lib/job-endpoints.js(队列前台端点)、lib/cnet-preprocess.js(ControlNet 预处理纯逻辑)、lib/resume-store.js(视频段级续跑账本)、lib/ws-preview.js(WS 渐进预览)、lib/workflow-import.js+lib/workflow-import-endpoints.js(外部工作流导入)、lib/animation-kit.js(自研轻量动画三件套)。为腾出体积,schema-defaults.js里 10 段纯设计注释外置到docs/schema-design-notes.md(逐字可逆自检,scripts/extract-design-notes.mjs,脚本幂等可重跑),功能零改动。
2026-11-17 补缺批次(1.0.0 后工作树,未发布)
本批次三件新功能(诚实边界写在代码里)
lib/layout-lite.js+layout_frame工具:声明式版式页(title / bullets / split / compare)→ 纯 JS flex 子集算绝对坐标 → SVG。不是 CSS 或 Taffy 级引擎:单层 row/column、不做 flex-wrap/CSS 解析,文本按字符宽度估算换行(CJK 1em / 其余 0.55em),只保证不溢出;落盘走目录围栏,宿主注入光栅后端(内置 resvg)才顺带出 PNG。compose_video新增fpsMode=vfr:走 concat 清单按 duration 精确控时,不把去重后的静态段补帧回恒定帧率(实测 4 帧/0.52s/2,505 B vs CFR 7 帧/0.583s/3,145 B);无writeFile写不了清单时如实退回 CFR 并写进 reason,不假装是 VFR。注意它只省「补出来的重复帧」,动态段仍是一帧一图,不是内容感知抽帧。generate_speech旁白内容缓存:文本 + 后端/音色 + seed + 参考音频身份做 sha256 指纹,命中直接复用(连 ComfyUI 探活都省),产物字节数与登记不符/元数据损坏/文件缺失一律按未命中;缓存是增强,写失败绝不影响真实合成。
对照 GitHub Issues 草稿,先补上六项(M1–M5 / H3),随后把五项架构级缺口一并完成:
- M1 历史 LoRA 落库 + 筛选:draw 记录
extra增加实际接线的loras(名+强度)/unet/cfg(取自构建出的工作流本体,不是面板"当前选择");/history增加lora筛选(SQLite LIKE 带 ESCAPE 防通配注入 + JSONL 降级路径同语义)。 - M2 参数包导出 / 一键重画:
GET /api/qwen-paint/history/export?id=(draw_args可直接交 Agent 重放;reference/controlImage 刻意不入包);POST /api/qwen-paint/history/redraw(走与draw_image同一条runDraw内部链路,与批量工具同接法);历史面板新增「重画」「复制参数」按钮。 - M3 队列前台操作:
GET|POST /api/qwen-paint/jobs(列表/统计 +cancel|pause|resume),交给前台的是manage_jobs工具同一份队列实例;lab 队列区从只读升级为可查看/逐条取消/暂停/恢复派发。 - M4 ControlNet 预处理:
POST /api/qwen-paint/cnet-preprocess(Canny/Depth/Pose 候选节点按本机/object_info探测,0.39.0 核心只有 Canny,缺了如实 409 + 安装提示);产物按「原图 sha256+类型+参数」缓存到.qwen-paint-cnet-previews/,可直接填controlImage;lab 新增区块带预览。 - M5 落盘目录模板:
cfg.filePrefixTemplate支持{date}/{model}(ComfyUI 前缀/即子目录);未配置 = 行为逐字节不变;模板白名单 + 穿越/盘符拒绝。 - H3 视频尾帧:
generate_video新增endImage;双轨构图(清单 patches + 硬编码)对称接线,双轨逐字节一致测试锁定;契约门禁:本机Wan22ImageToVideoLatent无end_image槽(0.39.0)→ 如实报错不假装支持;README/llms 同步补写此前缺失的startImage文档。
2026-11-17 架构级补缺批次(1.0.0 后工作树,未发布)
前一批留下的五项架构级缺口也已全部完成:
- H1 多 ControlNet 链式叠加:
buildWorkflow接controlStack(最多 4 路),每路 LoadImage → ControlNetLoader → ControlNetApplyAdvanced,positive/negative 串成 condition 链;单路旧路径逐字节不变(additive 设计,不动默认夹具图指纹)。 - H2 参考图独立权重 + mask:
reference-strategy.js的planReferenceControls/applyReferencePlan,用LatentComposite.feather表达软权重、mask 走VAEEncodeForInpaint;不用SetLatentNoiseMask(0.18 局部重绘架构锁);无 per-reference 时序门控节点时如实零漂移并记 notes。 - H4 视频段级续推:
resume-store.js账本,按「index/帧数/seed/prompt/首帧」键缓存已完成段;改任一参数、产物被删、超 2 小时都整条重跑,只复用连续已完成段(不从中间续)。generate_hybrid.resumeVideo默认开启。 - L1 WebSocket 渐进预览:
ws-preview.js解析 ComfyUIprogress+ 4 字节头二进制预览帧;GET /api/qwen-paint/preview?enable=1按需连本机 WS,Node 20 无全局 WebSocket 时如实unavailable+ reason;预览是增强层,没有帧不伪造、不拖累出图。 - L2 外部工作流 JSON 导入:
workflow-import.js+ 端点,只接受 ComfyUI API 格式(UI 格式明确提示用 Export (API));校验节点/引用 → 对照本机/object_info报覆盖 → 识别可绑定槽位 → 生成$param./$asset.模板进进程内注册表(重启失效,不写包内workflows/清单,不触契约指纹)。 - 原生 2K(无需先生成再放大):本就是默认路径 ——
forceOptimizedSize:false尊重调用方尺寸、upscaleAfter:0不事后放大;draw_image传width:2048,height:2048(或megapixels:2)直达EmptyLatentImage,没有 2048 硬上限(taskMaxCanvasEdge只约束局部重绘的裁剪预缩放)。刻意不新增冗余的native_resolution开关:它只是这两项的别名,反而会引入优先级歧义。
2026-11-17 动画四项优化(hyperframes 清单 §13 映射,1.0.0 后工作树,未发布)
hyperframes-底层加速整合总清单.md 主体针对无头 Chrome 渲染系统,与本插件无关(插件是纯 JS SVG 帧 + ffmpeg argv,无 Chrome/GSAP/Lottie/WebGL 对象;§0 的 BGM 模型/权重未定全线阻塞、所有加速倍数未实测不可写成承诺,§11 明确延后 7 项)。只落地其 §13 列出的 4 项纯 JS 可映射项,全部在新模块 lib/anim-opt.js、animation-kit.js 消费,零外部依赖、零新端点、index.js 零增长:
- ① 静态帧去重:
collapseRepeatedFrames把相邻同路径帧折叠为一帧,buildComposeCommand用repeats把每帧-t延长为repeat/fps、concat 帧数随之减少 —— 静态画面不再重复落盘。compose_video的dedupe默认关(旧行为逐字不变)。 - ② 分镜级缓存:
createFrameCache以{type,hint,尺寸}的 sha256 为 key、sidecar JSON 持久化、FIFO 淘汰 64 条;render_frame命中即逐字复用 SVG 与落盘路径,改一镜只重渲那一镜。file/path 由宿主注入,未注入则不启用(旧测试零影响)。 - ③ 草稿/定稿档:
ANIM_QUALITY_PRESETS(draft 480×270/12fps、final 960×540/24fps),显式 width/height/fps 优先于档位;render_frame/compose_video新增可选quality参数。 - ④ 时序校验前置:
checkTimelineAlignment在合成前比对字幕 cue 数 / 末端、配音时长与分镜from/to时间轴;不齐默认只告警不拒绝(reason带 ⚠),strictTiming:true才拒绝;缺数据如实跳过,不编造对齐时间戳(脚本字幕本就aligned:false)。
公共底座体检(清单 §2 的插件适用项):DAG 调度(dag-planner.js/accel-chain.js/run_dag)、全局去重与容量淘汰(idempotency.js/prompt-cache.js/新分镜缓存)、显存探测与档位(config.js 的 VRAM 探测 + MODEL_TIERS + assessLowEndReadiness)均已存在;「零拷贝流式编码 sink」因插件无 Chrome 截图 readback 链路而不适用,如实记录、不强行造对象。
2026-11-17 BGM 链路优化(1.0.0 后工作树,未发布)
新增 lib/bgm-opt.js(设计注释逐字外置 docs/bgm-opt-design-notes.md),三块都是插件层可离线跑、可实测、有生产消费点的优化,非孤儿:
- ① 音乐计划缓存:
generate_music按model+prompt+neg+bpm+seed+时长+segment/loop/quality+探测节点集合的 sha256 指纹缓存参数计划,命中直接复用、省掉重复buildMusicPlan;信封 JSON 带字节自校验,篡改/截断按未命中,读写失败一律降级真实规划。deps.musicPlanCache===false可关(验证真链路用)。 - ② ducking 缝合缓存:
mix_narration/runAvStitch按BGM+旁白条目(路径|大小|mtime)+duck 参数+target指纹缓存成品,命中跳过整次 ffmpeg 混流编码;产物存在且字节一致才算命中,stitchCache:false可关。真链路回归用假 ffmpeg 计数验证「首次执行 / 二次跳过 / 关缓存强制真跑」。 - ③ hyperframes §7 装配计划:
/api/qwen-paint/music/models新增assembly字段,透出缓存键七字段、已有 ducking、断点续推(只复用完整段)、embedding 缓存计划;需模型/权重的 candle FP8、预并行、Rust worker 一律标blocked+ 原因,不谎称已实现或实测倍率。
诚实边界:音乐真生成仍依赖外部 ComfyUI 节点(本机实测
YuE2GenerateMusic/SaveAudio*可探测)与用户自备权重,本优化不下载、不提交、不生成音频;缓存只加速插件自身的规划与 ffmpeg 缝合。为守 lib 2 MB 红线,另把reference-web/workflow-manifest/vectorize/style-library/vram-budget五个模块的文件头说明逐字外置到docs/bgm-opt-design-notes.md(可逆、语义零改)。专项回归scripts/test-bgm-opt.mjs(30 项)已登记 SUITES。
- 外部 TTS 低延迟编排(1.0.0 后、未发布):按用户「抄思路不抄代码」定调,新增
lib/tts-lowlatency.js(纯编排:语义分块降首音延迟 + 本机回环服务探活 + gsv/openai 两种 API 请求适配 + 诚实引导),不复制任何项目代码、不捆绑二进制/权重。/api/qwen-paint/tts/backends与list_tts_backends工具新增external_services字段(真实探测 127.0.0.1 上的服务在不在);lab「语音后端」卡可查看。两个外部服务的合规边界写死在清单里:GSV.CPP(真实仓库KakaruHayate/GSV.CPP,MIT,一键包 3.16 GB、g2pw 前端 608 MB,只做适配器+引导、不下载不捆绑)、AnifLive-TTS(真实仓库Hiruynk/AnifLive-TTS,原创代码 PolyForm Noncommercial 1.0.0 禁商用,商用要作者书面授权,本插件只给引导、不复制其代码)。截图里的 74.6 ms / 2–3× 都是作者在特定硬件的历史宣称,本插件未复测、不写进结论。为守 2 MB 红线,comfy-catalog/cpu-endpoints/media-convert-tool/job-tool四个模块的纯说明头注释逐字外置到docs/tts-lowlatency-design-notes.md(可逆、语义零改)。专项回归scripts/test-tts-lowlatency.mjs(含回环围栏反向核查)已登记 SUITES。 - Qwen3-TTS 注意力后端可选 + 低延迟分块(1.0.0 后、未发布):真机
/object_info实测FB_Qwen3TTSCustomVoice/VoiceClone/VoiceDesign都声明attention = auto/sage_attn/flash_attn/sdpa/eager,但原先generate_speech写死不传。现新增attention参数(默认auto零漂移,仅显式合法枚举才写入生成节点,非法值不污染工作流),透传三条链;sage_attn/flash_attn多为 N 卡优化,本插件未实测哪个更快,换值需自行 A/B。lowLatencyChunks(默认 false):按语义切块逐段真提交 ComfyUI、逐块落盘再用 ffmpeg concat 顺序拼成一个音频;这不是流式播放,块间语气可能不连贯、整段总耗时可能增加,需本机 ffmpeg、缺件明确报错;缓存键区分分块/整段防串味。为守体积,另把tool-registry/blockswap/model-options/accel-profiles四个模块头注释逐字外置。test-tts-workflow.mjs加 attention 透传/默认零漂移/非法值防污染断言(含反向核查)。
红线根治:接手时发现 1.0.0 后的 40 个未提交改动已把 lib/*.js 合计推到 2,100,604 B(超 2,097,152 上限 8,452 B),数据库「105 套全绿」是改动前的假绿。把 7 个新模块 + describe.js 的纯设计注释外置到 docs/added-modules-design-notes.md(逐字可逆自检,含 GPU_PROFILES 语义注释保护——曾误外置导致 apple 档案损坏,已回滚重做),合计降到 2,093,241 B(护栏 LF 口径)/ 余 3,911 B。全量回归见上(106 套)。
- Alpha / 透明背景(诚实边界,未做):没有加
alpha:true假开关。本机 Qwen-Image 2.1 的 latent 格式是 64 通道(comfy/latent_formats.py::QwenImage21),VAE 解码是 RGB;没有zz_rgba2rgb节点,也没有 Qwen-Image-Layered 权重。"四通道 VAE 可直接出透明底"在本链路/本机版本上不成立。要做真透明底需另装分层模型与对应节点,或走已有的cutout_image后处理(纯色底、复杂主体不可靠)——不是原生 alpha,不混为一谈。 - 分块重绘
tile_inpaint(默认关):本机核心节点SplitImageToTileList/ImageMergeTileList(正弦羽化)/GetImageSize齐备;打开tileInpaintEnabled后,裁剪图被切成tileInpaintSize(默认 1024)方块、重叠tileInpaintOverlap(默认 128,夹到半块以内),逐块走同一条采样链,合并后再 ColorMatch + 回贴。缺任一节点就不接;默认图逐字节不变。⚠ 块间语义连续性未真机 A/B,多块=多份采样开销,先小图验接缝再长期开。 - EasyCache 步级复用(默认关):按本机
comfy_extras/nodes_easycache.py的真实签名接入核心实验节点EasyCache,参数easyCacheEnabled/easyCacheReuseThreshold/easyCacheStartPercent/easyCacheEndPercent/easyCacheVerbose(默认false / 0.2 / 0.15 / 0.95 / false);面板开关 keyeasycache。节点号 42(20–22/30–41 属 ControlNet),接在模型链末端、注意力后端之前;探测不到节点或不开开关则整段删除,默认图指纹零漂移。⚠ 实验节点、本机未做 A/B,与 TE-Speed 互补但不承诺倍率,开前请单张对比画质。
新增回归 scripts/test-gap-fill.mjs(172 项,已登记 SUITES;含原生 2K 4 项 + EasyCache 12 项 + 分块重绘 11 项);全量 105 套 / 各套项全绿(断言总数刻意不写死,避免随环境漂移;含新增 test-animation-kit.mjs);契约 167/0、manifest 118/0、运行时指纹 168/0;发布护栏与端点目录(integration-state.js 新增 /preview、/workflow-import 共 6 条新路由 + 两份 llms)同步。
2026-11-17 自研轻量动画三件套(1.0.0 后工作树,未发布)
评估了 manim-mcp / Remotion 等完整引擎后,按用户要求不接整套重项目,改为自研三个可独立编排的原子工具(lib/animation-kit.js,零新增重依赖):
plan_storyboard:解说脚本 → 分镜 JSON(按句切分,逐镜给时长/字幕/配音词/画面类型与提示),复用subtitle-plan切句,时间戳均分未对齐语音。render_frame:分镜 → SVG 示意图(formula/flow/chart/stick/diagram 纯 JS 生成,示意非 LaTeX 级);image镜次如实提示改用已有的draw_image出真实画面。compose_video:帧序列 + 字幕 + 配音 → ffmpeg argv(concat + SRT 烧录 + 配音混流,H.264);探测到 ffmpeg 才真出片,否则只回 argv 预览不谎称。
与插件已有的 subtitle-plan(字幕)、generate_speech(配音)、draw_image(真实画面)、convert_media(后处理)拼成完整流水线。专项回归 scripts/test-animation-kit.mjs(43 项全绿,已登记 SUITES);无 HTTP 端点(纯工具,Agent 直接调用)。依赖清单见桌面交付文档,只出清单不安装。
0.35.0 更新说明
本版把三个「写了但没接进主链路」的模块接上:
entry-alias(口语入口别名)、color-tone(参考图色调)、creative-chain(编排四件)。它们此前只有单测引用、生产链路零入口 —— 用户根本用不到,而当时全部测试是绿的。0.34.0 的全部变更仍然有效。
★ 内置最小实现批次(生成之后的处理,纯 ffmpeg 零模型零下载)
- 新增
lib/media-fx.js(共享执行器 + 目录围栏,index.js 零增长),三个工具全部接进工具清单 //agent-guide/ 内嵌功能区 / selftest:enhance_audio:去静音 / 无模型降噪(afftdn)/ 三频段 EQ / 去齿音(deesser,改善 TTS 合成感)/ 压缩 / 响度归一化(语音用 speechnorm、音乐用 loudnorm EBU R128)。cutout_image:无模型抠图(chromakey/colorkey 纯色键控 + 可选画笔蒙版 alphamerge),输出保留 alpha 的 PNG/WebP。只对纯色背景有效,人物头发 / 半透明需 SAM,如实标注。split_audio:声源分离可用部分,ffmpegpan中置相消得近似人声 + 近似伴奏。仅对居中人声立体声近似有效,不是 BS-RoFormer 级,绝不夸大。
- 端点:
GET /api/qwen-paint/media-fx/capabilities+POST /api/qwen-paint/enhance/audio、/cutout/image、/split/audio;ffmpeg 未探测到时只回参数预览 + 降级原因,不谎称已生成。 - 音频转文字:
transcribe_audio把出图目录内音频经用户自配的 OpenAI 兼容/v1/audio/transcriptions(faster-whisper 等)转成文字 + 时间戳字幕(json/srt/vtt)。插件不内置、不代装 ASR 运行时;没配 / 连不上就返回缺件清单和自检步骤,不返回空文字冒充成功,API key 只回「配没配」。端点GET /api/qwen-paint/audio/transcribe/capabilities、POST /api/qwen-paint/audio/transcribe,已接进工具清单 / Agent 剧本 / 内嵌功能区 / selftest。 - 混合模式三段各自可选(报障修复):主模型下拉不再把 hybrid 折叠成生图、也不再用不存在的
selected.hybrid导致回显恒空。生图 UNET(mainmodel)/ TTS 后端(ttsbackend)/ 音色样本(ttsvoice)/ 视频 UNET(unetvideo)四段独立选择、独立回显、独立落盘;TTS 后端与音色真正传进混合链speechRunner(旧代码一个都不传,是假控件)。未知后端 / 路径形态音色令牌一律拒绝。 - 节点级耗时:
cache-report.js新增timingsFromHistory(),从 ComfyUI/history真实存在的三个时间戳算出queue_ms/total_ms;load/sample/decode官方历史不提供,保持null(Execution Profiler 属外部节点,不内置)。补报的 timings 会落进结构化日志。 - Qwen Image Edit 多图参考:现有
qwen-edit-plus策略增强为多图编辑口径,节点名严格按本机/object_info协商,不写死未核实的版本号 / 步数。
★ 许可证:维持 BSL 1.1(BUSL-1.1),本版不改
- 自 0.33.0 起许可为 BSL 1.1(
BUSL-1.1,非 OSI 开源许可):除托管 / 代管服务与直接竞品捆绑两类「竞争性使用」外免费生产使用;Change Date 2030-11-15 自动转 Apache-2.0。0.32.1 及更早版本仍按 MIT 授权,永久、不可撤销、不追溯。 - 本版没有改动许可文本,也没有新增任何限制。
★ 新工具与端点:5 个工具 + 3 条端点,全部真接进注册层
resolve_entry:口语入口别名 → 真实工具名 + 预置参数(「风格卡」「批量出图」「历史」「配音」「放大」「有哪些模型」)。别名只能指向已注册工具,指错直接报错,不新增影子工具。plan_timeline:按目标时长切建议时间轴(默认 2 秒一段 / 上限 12 段),给出可拼进视频提示词的前缀;有配音时必须改用真实音频时长排轴,两者不可混用。describe_resource_needs:提交前资源声明(相对档位 / 是否独占模型);没有本机同类实测就est_seconds=null,绝不编秒数。privacy_summary:本轮数据流摘要;external_network按真实 URL 清单算出来,不写死 false。resolve_produce_ref:「刚才那张」/#2/last/ 文件名后缀 → 某条产出;#1恒为最新,同名后缀多命中报歧义,不替用户挑。- 端点:
GET /api/qwen-paint/entry/aliases、POST /api/qwen-paint/tone/extract、GET /api/qwen-paint/run/resources。
★ 加速链全景:承接 0.34.0,本版不改判定
- 承接 0.34.0:
accel_chain.attention段继续列 SageAttention / Comfy-WaveSpeed 的探测状态与工作流补丁,来源写在probe;本版没有改动探测逻辑与节点模式。
★ 工作流清单层:承接 0.34.0
- 承接 0.34.0:
chain-manifest(运行时清单目录)与图结构指纹基准(回归期逐槽位对账,workflow-fingerprint.js+scripts/workflow-fingerprints.json)继续生效,后者只在回归里跑、不参与运行时构图。本版新增的工具都不改生成链,默认路径逐字节不变。
★ 结构化运行日志:承接 0.34.0
- 承接 0.34.0:
event-log落盘 + 生成完成钩子不变;本版把privacy_summary的核对口径与它对齐(都指向/history/<prompt_id>),仍不含倍率与未实测耗时。
★ UI 与交互:实验室新增「参考图色调」功能区
- 实验室面板加一节「参考图色调 · 取主色写进提示词」:选图 → 浏览器 canvas 缩到 32×32 采样 →
POST /tone/extract→ 回显主色名 / 冷暖 / 饱和 / 明度 + 一句可直接拼进提示词的话,并用返回的 hex 染色块。 - 位置口径不变:功能区仍然内嵌进 Comfy 控制面板(不新开浮层),展开页恒在悬浮球正上方、边框对齐 DSH 右边框、小屏不变形,四事件点按 +
pointerdown兜底。 - 只做色调,不猜构图 / 光影 / 材质 —— 那些要靠视觉模型或 IP-Adapter,本插件不引额外权重,也不假装能看懂画面。
★ UI 假成功与白条同源修复(P0 / P1 / P2)
- P0 · 选模型「假成功」(用户直接报障):后端在白名单拒绝时不再只写日志,改为把拒绝原因收进
choiceResult.rejections,顶层ok仍表示端点本身正常(三处状态轮询依赖它);视频主模型persistVideoModelChoice()返回的false不再被丢弃。前端按j.choiceResult显示「未生效:<真实原因>」,不再无条件报「已选 XXX(下次生成生效)」。原因区分「清单此刻不可用」与「候选是缓存里的旧模型,已删或改名」——后一种正是持久化缓存叠加后的隐藏复现路径。 - P1 · 两处同源白条:优化面板权重下拉(主 / LoRA / ControlNet)复用主模型那套持久化缓存 + 禁用占位 —— 命中缓存同步回填、后台静默刷新,保留
fileLabels干净名与「已失效」标注;请求失败改为「本机清单暂时取不到(稍后会自动重试);仍可手动指定模型文件名」,不再误导成「没探测到文件」。素材库设计风格下拉创建时就有禁用占位,请求失败落错误态,空catch已删。 - P2 · 四处体验:
comfy-catalog的/object_info失败也写时间戳(1 分钟冷却,成功仍走 10 分钟 TTL),ComfyUI 忙时不再每轮白等 30 秒;lab的 health 只在成功时锁定,失败显示错误态并延迟重试一次;history首帧给读取中占位,stats 加 60 秒缓存;面板候选未到时不再宣告「就绪」,改为「(候选清单加载中…)」,全部落地后再收口。 - 经核实未做:清单里的「重复拉取合并」与「三份
/object_info缓存统一」实测后判定为跨功能按需触发,不是同一时刻重复请求;要做共享缓存得引入全局请求层、改 4 个以上文件,风险大于收益,本版不动。 - 新增
scripts/test-white-bar.mjs(48 项),其中缓存纯函数与失败冷却是真调用,其余锁关键分支;已做「改坏失败时间戳 → 2 项变红 → 逐字恢复」反向核查。 - 审计补丁(同日续):①
history的 stats 返回全量条数、list 返回筛选后条数,旧代码用前者覆盖分页基数(且 stats 晚于 list 返回时触发竞态)⇒ 拆成total(筛选后,分页用)与allTotal(全量,只进顶栏文案);②status.json里所有写参数的静默拒绝(idleminutes/flowstyle/preset/drawtrigger/aipickbest/ VAE 分块 / SageAttention 未安装 / MPS 非 Mac / 三条档位)全部接入choiceResult,前端按 label 认领自己的拒绝原因;③ 过期 localStorage 缓存当场清除,不长期残留;comfy-catalog新增只读objectInfoCacheStatus(),failed/ageMs可观测。 - 全项目假绿双向扫描:99 个套件的断言函数签名 vs 调用方式全查,两个方向均无参数颠倒;工作树 2,720 行新增经隐私预检零命中。
★ 媒体格式转换:承接 0.34.0
- 承接 0.34.0:图片 JPG/PNG/WebP、视频 MP4/MKV/MOV/WebM、音频 MP3/AAC/WAV/FLAC 互转不变;本版不改转码路径。
★ 联动护栏与回归
- 新增
scripts/test-orphan-wiring.mjs(120 项):一律从createExtras()拿真实工具与真实端点断言,不接受"函数本身对"当作"接上了";含像素上限、写守卫、异常不外泄、undocumented为空、UI 入口存在等判据。 - 全量审计补上的两道真护栏:
- lib 全量可达性扫描(替代原来手写的
NEW_MODULES白名单):从lib/index.js出发做真实 import 图遍历,任何lib/*.js要么可达、要么进白名单并写明理由;白名单还有「已接上却忘了删」「指向已改名的文件」两条反向断言。旧写法列表外的模块永远不被检查 ——workflow-fingerprint.js就是这样一路没人发现只被测试 import。 - 9 套从未进过回归的历史测试重新登记(
_abort_fix_test/_adapt_test/_init_abort_test/_wrapper_policy_test/_vram_patch_test/_toggle_field_check/_draw_smoke_test/_intent_test/_cordis_proxy_test):全部纯 JS、零联网、零子进程,各自锁着真实修过的 bug。它们一直绿、但从没被npm test跑到过 —— 即用户说的"不在回归清单里的测试 = 等于没有测试"。
- lib 全量可达性扫描(替代原来手写的
- 发布护栏的展开常量解析改成通用:
lib/里任何X_TOOL_NAMES = Object.freeze([...])都能解析,解不出来直接判红 —— 否则新模块会重演 0.34.0 那个「展开常量绕过清单检查」的盲区。 - 三处「新增入口必须显式登记」的白名单(selftest 工具集 / lab.js 端点 / 外置端点表)同步登记 5 个工具与 3 条端点。
- 全量回归 103 套,各套项全绿(断言总数刻意不在此写死,避免每加一条测试就要改文档);
lib/index.js已用scripts/slim-comments.mjs把长设计注释外置到docs/index-design-notes.md(84 个锚点可逐字追溯),从 261,907 B 降到 206,591 B / 上限 262,144 B,余量 55,645 B(批次 2 权重校验缓存复用,以及 P0「拒绝原因回传」新增约 1.4 KB)。含功能语义/测试依赖的注释(如「看不到用户消息」)自动保留在源码。以后余量偏紧时跑node scripts/slim-comments.mjs --plan预览、--apply执行(跑完必须全量回归),不必再人工守 256 B 红线。lib/client.js的设计注释同样外置到docs/client-design-notes.md(73 个锚点可逐字追溯),从 261,467 B 降到 217,246 B(批次 4/5 编辑台统一入口、P1 权重下拉持久化缓存后小幅回升),仍腾出约 44 KB;原「冻结 261467 B」的哨兵已升级为「未爆 262144 红线 + 关键功能符号仍在 + 锚点可追溯」的语义护栏。
文档
package.json/meta.description/ README 首段 / 两份 llms 首段 /pyproject.toml/docs/index.html/给DSH安装的话.md全部同步到 0.35.0,scripts/test-release-metadata.mjs一处改、多处一起校验。- 两份 llms 以代码字体点名全部 5 个新工具与 3 条新端点;
TOOL_SUMMARIES/agent-guide/ 端点目录同步补齐。 - 当前 123 个
lib/*.js/ 合计 2,001,577 B(含内置最小实现的media-fx.js与音频转文字的transcribe-tool.js;减压脚本slim-comments.mjs在scripts/,不计入 lib;client.js 设计注释外置 50 KB 到docs/client-design-notes.md后 lib 合计相应下降)。 - 极限低显存 Block 交换(UniBlockSwap,MIT,发现层接入):检测 ComfyUI 里的 UniBlockSwap 节点(用户显式 git clone 安装,插件不代装),
accel/chain的blockswap段给出机制口径(num block:-1 单块卸载 / 0 关闭 / >0 预缓存 / ≥总块数关闭)与低显存安装提示;ComfyUI ≥0.35 需节点自关 dynamic(已自带处理);工作流补丁待真机核实槽位(needsSlotMapping 诚实边界)。 - 加速链硬件感知路由(unverified):
accel/chain的hw_route段按显卡型号判定架构(Blackwell / Ada / Ampere / Turing / Pascal / RDNA 系 / Intel Arc)并给 SageAttention 内核变体建议(新卡 FP8 / 老卡 INT8 / A 卡与核显 unsupported——CUDA 内核不适用);量化档「真提速 vs 仅省显存」保守提示(A 卡按 memory-only,N 卡 unverified);stable-fast 明确不集成(停更 / 低显存失效 / 被 Comfy-WaveSpeed 取代)。reset 语义:图内节点按生成插拔(非全局 Monkey Patch),启动级回退由 comfy-launch 处理。 - 本机 ASR + 轻量缝合(纯 ffmpeg,显存 0):faster-whisper(MIT,CPU INT8 显存 0;GPU 档 NVIDIA 专属)等 OpenAI 兼容 server 填进
asrUrl即接通既有字幕链路(GET /api/qwen-paint/asr/status探测);mix_narration把旁白条目铺时间轴 + BGM sidechaincompress 自动压低 + SRT 直出(GET|POST /api/qwen-paint/av/stitch*)。 - 轻量档 PPTX(纯 JS 零依赖零 GPU,永远可执行):
make_pptx生成标题 + 要点列表的大纲级草稿(POST /api/qwen-paint/pptx);Office/WPS 兼容性 unverified;标准/质量档(Presenton / PPTAgent+GGUF)单独立项未做。 - 口型同步(lip sync)暂不支持:上游轻量方案 Wav2Lip 为非商用研究许可,许可干净替代(SadTalker Apache-2.0 ~8GB / MuseTalk MIT ~12GB)显存超低配档——待用户拍板,未集成。
- 位图 → SVG 矢量化(两步法,内置执行路径):
vectorize_image工具 +GET|POST /api/qwen-paint/vectorize*端点。引擎vtracer(MIT,visioncortex/vtracer 官方 Release 单源,win 包 965,231 B,默认不装:setup--vectorize或node scripts/vectorize-catalog.mjs --download)做彩色矢量化;引擎potrace(GPL-2.0+,黑白线稿专用)为用户自备 exe(SourceForge 无权威直链 ⇒ 不代下载,填potracePath即用)。输入限出图目录、SVG 落出图目录内;未安装引擎如实降级,绝不谎称已矢量化。 - 手动超分新增 Vulkan 直跑引擎(内置执行路径,不经 ComfyUI):
realesrgan-ncnn-vulkan(MIT,windows 包 2,159,606 B)/realcugan-ncnn-vulkan(MIT,45,977,449 B,动漫向);AMD / NVIDIA / Intel 核显 Vulkan 通吃。引擎二进制默认不装:node scripts/vulkan-upscale-catalog.mjs --list查看、setup--vulkan-upscale显式下载(GitHub Releases 官方源、权威字节数校验、系统 tar 解压;Release 无 sha256 ⇒ 只比大小并如实说明;可执行文件不加第三方加速镜像——供应链红线),装好后把目录填进vulkanUpscalePath配置,manual_upscale(engine=引擎 id)即真实执行;未安装时如实降级回草案,绝不谎称已放大。
0.34.0 更新说明
本版是 0.33.0 之后的累积版:把上一批未发布的语音 / 音乐 / Worker / 下载脚本能力,与本轮「加速后端真接线 + 溢出修复」一起发布。0.33.0 的全部变更仍然有效,下面按主题汇总。
许可证
- 自 0.33.0 起许可为 BSL 1.1(
BUSL-1.1,非 OSI 开源许可):除托管 / 代管服务与直接竞品捆绑两类「竞争性使用」外免费生产使用;Change Date 2030-11-15 自动转 Apache-2.0。0.32.1 及更早版本仍按 MIT 授权,永久、不可撤销、不追溯。
新工具与端点
- 语音:
list_tts_backends(Qwen3-TTS / GPT-SoVITS v5 原版 dev / 蒸馏版 turbo / IndexTTS2);generate_speech新增backend与voice_sample(拖入音频做零样本音色克隆,不训练、不微调、不产出权重)。 - 音乐:
generate_music(ACE-Step 1.5 / YuE2);图像:manual_upscale(4 引擎 / 6 档倍率 / 降噪锐化分块);进程:manage_workers(热 / 温 / 冷分级保活、LRU 驱逐、显存预算准入、优雅终止)。 - 新增 9 条本机端点:
/tts/backends、/audio/samples、/music/models、/music/generate、/upscale/manual[/capabilities]、/workers[/vram]、/accel/backends(GET, POST)。首次安装引导里只问一次是否下载音频模型,只展示 / 复制命令,网页绝不触发下载。
加速链全景
- SageAttention(8-bit 注意力)与 Comfy-WaveSpeed(First Block Cache + torch.compile)正式并入加速链:
accel_chain新增attention段,all为缓存 / TTS / 注意力三段拼接;check_acceleration报告新增attentionBackends。 - 真接线:
config.js与turbo-workflow.js两条真实工作流构造路径都会把探测到的节点接到模型链末端(节点 id 40);默认不启用时生成链逐字节不变。 - 真实探测:节点类名只来自本机回环
/object_info全量节点表(60s 缓存 / 2s 超时 / 禁重定向),不再拿插件内部能力名冒充;失败如实标probe.source=unavailable并降级。真机 1686 节点实测:SageAttention 命中QwenImage21SageAttentionT8,WaveSpeed 无 First Block Cache 节点。 - 防误报:通用
TorchCompileModel*与 Wavespeed 超分节点不算 WaveSpeed;候选按专用节点优先排序。节点输入槽位仍未核实(needsSlotMapping),启用后若节点拒收需按/object_info补映射。
工作流清单层
- 承接 0.33.0:视频链清单化 + 生图 / TTS 契约对账,改图自动报差异;
chain-manifest(运行时清单目录)与图结构指纹基准(回归期逐槽位对账,不参与运行时)继续生效。
结构化运行日志
- 承接 0.33.0:
event-log落盘 + 生成完成钩子;本版把加速链快照与attention段一并记入,仍不含倍率与未实测耗时。
UI 与交互
- 承接 0.33.0:本机能力功能区内嵌进 Comfy 控制面板(展开页恒在悬浮球正上方、边框对齐 DSH 右边框、小屏不变形、四事件点按 +
pointerdown兜底)。 - 本版:加速链卡片新增常驻状态行(两个后端 + 当前启用项 + 节点表探测来源)与「启用 SageAttention / 启用 WaveSpeed / 恢复默认」三个按钮。
- 本版修复横向溢出:面板 / 滑块 / 进度条 / 卡片统一
box-sizing+min-width:0+max-width:100%,面板收掉overflow-x。
媒体格式转换
- 承接 0.33.0:图片 JPG/PNG/WebP、视频 MP4/MKV/MOV/WebM、音频 MP3/AAC/WAV/FLAC 互转,动图转视频,生成物可按预设自动后转码,Agent 可调
convert_media。
联动护栏与回归
- 全量 81 套 / 0 失败 / 逐项断言全绿(6,046 项);发布护栏 68/0;体积守卫 112 个
lib/*.js/ 1,935,128 B;lib/index.js258,398 B,余量 3,746 B。 - 新增
test-overflow.mjs(28 项)与test-attention-wiring.mjs(50 项),均登记SUITES,都带「改坏变红」反向核查。 - 诚实边界:音频权重不自动下载、缺件给清单;插件不
pip install、不建 venv / conda / Docker、不拉镜像;第三方节点类名与槽位未核实一律降级。
文档
- README / 两份
llms.txt/docs/index.html/INSTALL.md/pyproject.toml同步本版变更;端点目录写明accel/backends为GET, POST且已并入加速链。
0.33.0 更新说明
这一版把 0.32.1 之后的能力扩展批次、媒体格式转换、四轮 UI 纠正、许可证更换一次性收口,并按「单个功能完成 ≠ 最终完成」的纪律做了全面联动审查与孤儿扫描。本版为本地完成、尚未推送到 npm / GitHub 的开发版本,线上 latest 目前仍是 0.32.1。
★ 许可证:0.33.0 起改用 BSL 1.1(BUSL-1.1)
- 不是 OSI 核准的开源许可证。Licensor 为单一主体
@yanfei0725;Additional Use Grant允许用户中文原文所述的授权:除托管 / 代管服务、直接竞品捆绑这两类「竞争性使用」外,任何个人 / 团队 / 企业可免费在生产环境使用;中文原文 governing、英译 non-binding。 - Change Date 2030-11-15 起转为 Apache License, Version 2.0;转版后「竞争性使用」限制自动消失(BSL 机制使然,不是额外承诺)。
- 0.32.1 及更早版本仍按 MIT 授权,永久、不可撤销、不追溯;
LICENSE与 README / 两份 llms / 落地页均已写明。 - Covenants 第 4 条「不得改写条款」⇒
LICENSE条款正文与 SPDX 官方BUSL-1.1.txt逐字一致(SHA-25620092e66…2293),参数区与正文严格分离;package.json→BUSL-1.1、pyproject.tomlclassifier →Other/Proprietary License。 - 第三方许可一律未动:frakd 节点 MIT 描述、Qwen Research License「禁止商用」提示、落地页 license URL、
dist/pkg/旧快照。 - 专项护栏
scripts/test-license-bsl.mjs(83 项):锁官方正文逐字 + SHA-256 双保险、五个参数、中文 AUG 逐字、只放宽不收窄、四年日期、旧版本边界、文档一致、第三方不误改、脱敏。
新工具与端点(全部走外置注册层,lib/index.js 零增长)
- 新增 6 个工具:
convert_to_gif(图片序列 / 视频转 GIF)、manage_jobs(优先级任务队列管理)、iterate_image(单图多轮迭代优化)、query_history(生成历史可删改 / 冷热分离 / 参数化查询)、doctor(运行期自诊断)、run_dag(自适应 DAG 编排,默认dry_run);本轮再补第 7 个convert_media(见下一节)。 - 0.33.0 新增模块全部独立落在
lib/与assets/(当前 112 个lib/*.js/ 合计 1,935,128 B,含 0.33 之后未发布的语音 / 音乐 / Worker / 加速后端批次;0.33.0 发布时为 103 个 / 1,829,983 B),经lib/tool-registry.js::createExtras()/registerExtras()注册;lib/index.js只留一行接线。注释外置到docs/index-design-notes.md后,体积余量由 105 B 放宽到 3,746 B(258,398 B / 上限 262,144 B)。 - 新增端点含
/api/qwen-paint/accel/chain、/media/gif、/doctor、/history/query、/events、/vram-budget、/config/conflicts、/contracts、/eta;lib/integration-state.js端点目录同步登记。
媒体格式转换(生成物指定格式 / 自有素材 / 动图转视频)
- 新增
convert_media工具与 5 个独立模块,覆盖用户点名的常用格式:图片 JPG / PNG / WebP、视频 MP4 / MKV / MOV / WebM、音频 MP3 / AAC / WAV / FLAC;格式表lib/media-formats.js是唯一真相源,同类互转、跨类明确拒绝。 - 生成物指定输出格式:ComfyUI 保存节点格式是固定的(PNG / mp4 / mp3),所以诚实实现是「落盘完成后由生成完成钩子自动补转一份、原产物保留」,不是谎称节点能直接吐 WebP。
POST /api/qwen-paint/media/formats设{kind, format}预设(进程内存、重启即清空),也可在单次生成条目里给output_format。 - 自有素材:
source走输入目录围栏(默认出图目录,宿主可注入sourceDirs),不把任意本机路径喂给 ffmpeg;输出同样落在出图目录内,拒绝..穿越与越界。 - 动图转视频:GIF / APNG / 动图 WebP → 四种视频容器,统一帧率 + 偶数尺寸 +
yuv420p,显式-an(动图无音轨),loop_count/duration/fps可控;诚实说明 GIF 循环次数不会自动变成视频时长。 - 真执行而非只给参数:
lib/media-exec.js用execFileargv 数组探测FFMPEG_PATH/ PATH 并真跑 ffmpeg;探测不到、执行器未注入、编码器缺失都返回ok:false+ 明确原因 + 完整参数预览,绝不假装已生成文件。 - Agent 可调用:
convert_media已注册进工具清单、/agent-guide的TOOL_HINTS与format_output编排剧本、/media/convert(POST)与/media/formats(GET/POST)两条端点、内嵌 Comfy 控制面板的功能区,以及scripts/test-media-convert.mjs专项回归;5 个新模块全部通过孤儿扫描。 - 编码器标识(libx264 / libvpx-vp9 / libwebp / libmp3lame / libopus / flac)是 ffmpeg 标准名,不承诺本机一定编入;实际是否可用由真实执行结果决定。
加速链全景(TTS 加速进链)
lib/accel-chain.js把cache-backends(生图 / 视频缓存后端)、tts-accel(TTS 加速)、vram-budget、config-consistency、structured-log汇成image/tts/all三段;check_acceleration报告透出ttsAccel,TTS 加速不再是孤儿模块。- 诚实边界:CUDA Graph / Triton / GGUF / 流式 / 声码器 fp16 只列探测到的后端与方向性建议,未实测不写倍率、RTF 或毫秒数;
TeaCache标needs-external-node,mrfow标term-unverified(候选 MrFlow / arXiv 2607.01642 待用户确认),永不自动启用。
工作流清单层与契约对账
lib/chain-manifest.js统一声明式总账登记 4 条链,/workflows吐chains/chain_summary/chain_errors;authoritative=runtime恰好 1 条(video-wan22),其余 3 条为contract。- 生图 / TTS 链契约清单化,运行时仍由代码构图 —— 这是为避免 JS/JSON 双轨半迁移的有意设计,不是未完成;图结构指纹
scripts/workflow-fingerprints.json锁 5 组夹具,构建后逐槽位对账。 - 预设去掉
pending:true,preset_unverified现为[],并做契约存在性真校验。
结构化运行日志
- 每次真实生成由
history-store.js钩子自动落一条generation_complete(本机实测total_ms+ 尺寸,prompt 只留 hash、路径不进日志),零index.js改动。 - 诚实边界:
queue_ms/load_ms/sample_ms/decode_ms主链路未打点,日志里为null,需要时由宿主在生成完成时 POST 补报。
UI 与交互(四轮纠正后的最终口径)
- 删除实验室独立浮层(
.dshqp-lab-fab/ mask /findHost()/tryRehost()),功能改为mountInto()直接内嵌进cp-panel的插槽;找不到插槽就不挂,绝不降级挂body。 - 展开面板恒在悬浮球正上方,不是左侧 / 右侧 / 下方:面板右缘 = 浮标右缘 = DSH 窗口右边框(边框对齐边框),底缘 = 浮标上缘、零空隙;上方放不下只压缩面板高度。
- 浮标贴边不变形:圆角 / 内边距 / 最小高度保持 0.32.1 原样,只用
width:max-content; white-space:nowrap锁死内容宽度;EDGE_GAP = 0消除「提前留空」。 - 点按链路(第五次报障的根因):DSH 宿主在
pointerdown上preventDefault⇒click不派发,兜底是靠target.click()合成 click。因此所有按钮自己绑click+pointerup/mouseup/touchend四事件与手势级冷却;会被render()/rebuild()重建的按钮(如×)必须在 render 里重绑;冷却只去同一手势多个抬起事件的重、由pointerdown重置,不是全局 300 ms 时间窗;拖动开始 / 结束 / 取消都设抑制。 - 浮标带
UI_BUILD='2026-11-15.5'自证标记。真机验证须刷新 DSH 页面 ——client.js按脚本 id 去重,同一页面不会重拉(asset-route.js是no-store,缓存不是原因);hover 应见Comfy 控制 · UI 2026-11-15.5。
联动护栏与回归
scripts/test-accel-chain.mjs锁「TTS 加速进链 / 5 个原孤儿模块真实参与 / 端点·工具报告·UI 三处消费 / 16 模块孤儿扫描」;scripts/test-capability-audit.mjs锁 3 个新端点在注册层→端点目录→Agent 指引→UI→回归五处联动。- 新增登记
test-chain-manifest.mjs(31) /test-generation-log.mjs(29) /test-draft-pointer.mjs(30) /test-license-bsl.mjs(83) /test-ui-tap.mjs(39);test-fab-clamp.mjs71 项锁 UI 几何,test-fab-drag.mjs30 项真 DOM 仿真锁点按与 rebuild。 - 全量回归 81 套 / 0 失败 / 逐项断言全绿(连跑 3 轮一致);发布护栏
test-release-metadata.mjs全项通过;体积守卫 112 个lib/*.js/ 1,935,128 B。回归套数、lib/文件数与体积均由真实值推导/校验,不写死「过一天就过期」的断言数,避免每加一套测试或一个模块就要改文档。关键护栏都做过「故意改坏 → 确认变红 → 逐字恢复」的反向核查。 - 修掉两个真 bug:显存预算 MB→GB 档位错配(
budgetCapFromVramMb)、/agent-guide端点目录恒空(deps.routes || INTEGRATION_ROUTES)。
文档
package.json/meta.description/ README 首段 / 两份 llms 首段 /pyproject.toml/docs/index.html/给DSH安装的话.md全部同步到 0.33.0,scripts/test-release-metadata.mjs一处改、多处一起校验。
0.32.1 更新说明
这一版不加新功能,只把 0.32.0 发布后两轮审计查出来的问题一次性收干净(详见桌面《体检报告》第二十七节)。
- 安全:
/api/qwen-paint/config/subtitle?source=asr&audio=原先可越出出图目录读任意媒体文件并 POST 到自配 ASR 端点;现在asr-client.js::resolveAudioPath()做与文件字节路由同源的resolve+ 目录前缀包含检查,拒绝时连 POST 都不发。 - 消毒:清单 / 契约读取失败的
errors[]与audit_skipped原会把含本机路径的error.message塞进ok:true响应(顶层消毒够不到嵌套字段);现在细节只进插件日志,响应改固定文案 +sanitizeReason()。 - 安装:npm 发布物补进
scripts/setup.mjs与scripts/video-model-catalog.mjs—— 图形化引导里那些「复制就能跑」的命令,按包名安装的用户现在真的能跑。 - 交互:新增草图台
assets/draft.js改回与历史浮层同口径的四事件源点按(click / pointerup / mouseup / touchend+ 300ms 冷却),遮罩关闭一并覆盖,杜绝「点不动 / 关不掉」重演。 - 发布一致性:
llms.txt/docs/llms.txt的旧版本号、docs/index.html与pyproject.toml的旧功能口径全部同步;版本护栏扩到两份 llms。 - 测试纪律:工作流指纹基准改为只读(缺失 / 损坏直接报红,不再用当前代码自动重建并算通过);
selftest的形状检查从 1 个工具扩到全部 13 个;TOOL_SUMMARIES补齐 3 个新工具;删掉loading.gif死路由;Markdown 导出转义提示词中的](;_client_scope_test补逐条断言标记。 - 体积:
lib/index.js只剩 19 B 余量,新增scripts/check-size.mjs并挂到prepack,打包前就拦越界;lib/client.js字节基线冻结在 261467 B。 - 端点目录补上根别名
/qwen-paint/status.json,守卫正则同步放宽;对不存在的contract-audit.mjs提示改指真实脚本。
经复核不硬改(改了会坏功能或撑爆体积红线):PREF_FILE 双硬编码与第三份端点清单的合并(要给 index.js 加 import,但只剩 19 B)、三份 stable-hash helper 合并(会改指纹值、破坏既有基准)、26 个模块的顶层静态 import(无模块级 I/O,只是解析编译)、client.js 挂载清单外置(改用字节基线冻结)、preview_url / /draft 的绝对路径(前端契约)。
0.32.0 更新说明
这一版把「生图 / 视频 / 语音」三条链的可验证性和界面差异化补齐,并补了一大批顺手能力。
工作流:清单化 + 契约对账(A1)
- 视频链已接管生产:
workflows/video-wan22.json用通用加载器 + 条件补丁(add加节点 /set改槽位)声明 10 个节点;generate_video/generate_hybrid/ 面板预览三处都改走清单,损坏时自动回落硬编码构建。 - 生图 / TTS 链契约对账:
lib/graph-audit.js+workflows/contracts/三份契约,构建后逐槽位核对,diff 点名到具体字段(如8.steps);turbo 蒸馏链 8 步走alternates合规分支不误报。图仍由代码构建,契约是构建后核对。 - 端点:
GET /api/qwen-paint/workflows(清单总览)、/contracts?id=&build=1(真机对账)。
三模式界面各不同(用户点名要差异化)
MODE_PLANS(schema v2)驱动:生图模式隐藏视频组(7 项、零 disabled)、视频模式启用帧数/帧率(10 项)、混合模式新增「生图→TTS→视频」三段链说明卡(11 项);每模式专属标语 + 强调色。旧 schema 回退全显。
批量与幂等(C11/C12/C16)
batch_draw:种子×尺寸笛卡尔积、单张失败不中断整批、失败后队列轻量复位、错误可操作化诊断。- 幂等保护:同参数 2 分钟内重复提交复用结果,并发请求合并成一次;失败不记账。
语音:克隆 + 转写真通路(D21/D19)
- 语音克隆:
FB_Qwen3TTSVoiceClone链,参考音频复刻音色(reference_audio可选)。 - 字幕:
source=script出 SRT/VTT(时间戳均分、aligned:false);source=asr配了cfg.asrUrl(OpenAI 兼容端点)就真转写,segments 时间戳对齐;无 segments 按句均分并标aligned:false。未配置只给缺件清单。
本机实测秒数(E27)
lib/eta-calibrate.js从 ComfyUI/history的真实执行时间戳按「类型+像素档+步数档」取中位数,≥3 样本去首跑;没样本仍null、绝不跨档借用。端点GET /api/qwen-paint/eta。
模型驻留与显存(B5/B4)
- **会话级模型驻留全覆盖
