dsh-memory-dba
v0.3.0
Published
File-based, git-portable long-term memory for DeepSeek Harness: core/stream/workspace layers, BM25 retrieval with CJK bigrams, core as a system-prompt section plus per-turn recall as trailing runtime context
Maintainers
Readme
dsh-memory-dba:功能范围
English README · 记忆操作与数据格式 · 版本 0.3.0
本包是 DBA(Dual-Brain Architecture,双脑架构)的文件记忆与检索插件,不是完整双脑运行时。安装它不会同时安装 RWKV 小脑、连续状态后端或原 Python DBA 的可靠事件处理链。
0.3.0:新增完整脱敏文本事件、可恢复流水发布、主题导航卡和带证据的事实纠正关系;Python 查询前按内容摘要检查索引新鲜度。向量仍默认关闭。详见 MEMORY.md。
0.2.2:core 改为按会话快照(coreRefresh 默认 session,always 可恢复逐次读盘);召回块按会话 id 隔离;空命中时给一行「全量历史去 Python 索引查」的冷提示(coldHint 可覆盖/关闭);语义召回默认关闭(vector.enabled: false,理由见下)。0.2.1 让 core.md 退出召回语料:它仍每轮全量注入,但不再被检索索引,同一份内容不会既注入又召回(与 Python 侧一致)。0.2.0 是检索行为改动:工作区册在一级索引里只有文件名 + 首行标题,命中只渲染 - [ws/<区>.md];要看正文必须用 Python DBA 的 nb_search.py --file <区名> 显式二次检索。0.1.2–0.1.5 是说明文档修订版;0.1.6 把召回块从系统提示词中段移到会话尾部,命中率不再被它拖垮。下列尚未实现的能力不受影响。
本 npm 包已实现
| 能力 | 实际行为 |
| --- | --- |
| 三层文件记忆 | core.md、stream.md、ws/*.md;可直接阅读和迁移 |
| 分段提示词注入 | 核心记忆是系统提示词的一段(默认 order -50,可缓存的前缀);本轮召回是运行时上下文(默认 order 300),被宿主渲染成会话尾部的用户快照。召回若放进系统提示词,每轮都会改掉请求的头,把它后面的整段对话全部作废。默认预算分别为 15 KiB 和 6 KiB。core 与召回都按 context.agent.id 分会话:core 首次装配时快照、召回按会话取;拿不到 id 时退回逐次读盘/单槽 |
| BM25 关键词检索 | 支持中英文混合、中文单字和双字;预算溢出时可按时间重排。一级 0 命中时给一行冷提示,指向 Python 全量索引(coldHint 可覆盖/关闭) |
| 工作区册两级检索 | 一级索引「文件名 + 首行标题 + 显式主题卡导航字段」,正文绝不进索引;命中渲染成 - [ws/<区>.md],并提示用 Python DBA 的 <home>/../scripts/nb_search.py "查询" --file <区名> 二次检索正文(整句可用 detailHint 覆盖)。语义通道同样只拿到文件名,不能绕过一级 |
| 可选语义召回 | 默认关闭(vector.enabled: false):一级已只剩短行/文件名,同步 worker 最长等 1500ms 且依赖 GPU,实测非 core 覆盖仅 0/143;需要时显式开启并手动建向量缓存。语义检索建议优先用 Python CLI 的全量语料 |
| DSH 会话接入 | 监听用户/助手消息,在轮次结束时追加记忆流 |
| 当前记忆流写法 | 首尾摘录保留用户 300/助手 600 字符,含 [event=ID];完整脱敏文本保存在 events-v1,可显式回读。明确标记的观察项仅作候选,不自动成为有效事实 |
| 主题卡与事实目录 | catalog.json 导航字段帮助选册;事实带事件来源、纠正关系和撤回状态,同键冲突明确标记 |
为什么工作区册默认不索引正文
这是召回边界,不是省空间:检索每轮都跑,而一本册的正文动辄几千字。全文入索引时,任何一次闲聊查询都可能把某段正文整段拉进 prompt —— DBA 仓库实测过 ws/角色卡.md 被无关查询召回。一级只回答「该看哪本册」,二级用 --file 显式指定文件才回答「正文说什么」。二级现场读文件、按 ## 切段、复用同一套 BM25,不再建第二份内容索引:两份内容索引早晚不同步,而「同一段记忆在两处内容不同」比没有索引更难查。
core.md 不进召回语料,只作全量注入(与 Python 侧一致):同一份内容既每轮全量注入、又作为命中重复召回,等于白占注入预算;语义通道同样不索引它。
提示里的脚本路径从 home 推导(<home>/../scripts/nb_search.py),不是写死的绝对路径;记忆树搬走或换机器后提示仍指向实际位置。非 Windows / 其他 Python 启动器用配置项 detailHint 覆盖整句提示。
exclude 仍然保留(按文件名匹配,如某本角色设定册),但它只是额外护栏:按文件名匹配意味着改名后必须同步,否则排除会静默失效;DBA 的 nb_doctor 会抓「条目指向盘上不存在的文件」。真正的闸门是一级索引里根本没有正文。只靠排除表而全文入索引,任何没被列入的册子仍可被整段召回。
原 Python DBA 已有,但本包尚未迁入
| 能力 | 本包现状 |
| --- | --- |
| RWKV-7 会话连续状态、恢复与摘要后端 | 未接入 |
| 原 Python 事件向量召回 | 未迁入;本包已有独立的完整文本档案 events-v1,不自动迁移旧 .turns 档案 |
| 原 Python 多阶段 outbox/RWKV 重试 | 未迁入;本包已有独立的完成事件待发布队列,挂载时恢复流水发布 |
| 原 Python 消息恢复协议 | 本包已持久保存文本草稿;中断轮次不自动续跑或伪装成完成 |
| core/ws 受控写入接口 | 未迁入;CLI write 只写 stream,core/ws 依赖普通文件操作 |
| 原系统的关键词、记事本向量与事件向量维护链 | 未完整迁入;本包语义缓存须手动执行 index |
这些能力在原 Python 系统中有实现,不能把它们写成“原 DBA 从未实现”,也不能把安装本包说成已获得这些能力。两个系统可并存,但共享同一记忆目录时没有并发写入协调,应只保留一个写入者。
整体 DBA 仍在研究、未达验收标准
试过两种状态接口,两者互不构成证据:
- (A)记忆 Token 前缀:冻结的 RWKV-7 状态经适配器变成 k 个连续 token(宽度等于 LLM 隐层),直接拼在冻结 Qwen2.5 的指令嵌入前面;只训练适配器和输出头,用下游任务误差反传,中间不产生任何文本。这是架构判定实验验证的路线:50 个密封测试 episode 上最佳 0.5477,对直接 MLP 基线 0.6774;消融(正确 / 错误 episode / 置零 / 随机 token)证明 token 携带 episode 特异信息。它也还没验收:档位名次未定、64 Token 种子不全,而且小预算(192k 样本)下记忆 Token 仍落后 MLP,训够样本才反超。
- (B)状态解码为文本槽:把状态解成四个可读槽位再往下喂。六轮全部未达验收(最好 9/1773 全槽全对)。本页所有 0/1779 只属于(B),不能用来评价(A)。
DBA 运行时目前实际走的是第三条:文本摘要 + 检索,既不是(A)也不是(B)。
- RWKV 状态可靠解码为文本槽(路线 B):做过基于冻结 RWKV 特征的解码器训练实验。v4 完成 5000 步,验证集 1779 例里全槽精确命中 0/1779、内容槽准确率 1.6%,未通过验收,也未进入最终测试。但状态本身不是没用:真实状态 token loss 1.185 优于无状态 1.575、错配状态 1.260,同一池化特征上的逐标签线性探针 AUC 达 0.98 —— 信息在,失败的是联合多标签解码。这不等于 RWKV 主干微调已成功或已有可用状态接口。
- 跨模型状态消费:云端目前消费文本摘要与检索原文,不是直接接收 RWKV 状态张量或专用记忆码。
- 经验证的模型常驻服务:跨轮状态连续与进程/权重始终常驻是两回事,原系统也没有完成常驻部署验收。
旧五层架构的定期 consolidation/retire/dedupe 已列为 legacy,不属于当前三层架构已交付能力。
当前限制
- 按会话隔离,但拿不到 agent.id 时仍有共享槽:召回按
session.id存、按context.agent.id取;core 首次装配按 id 快照,并保留到session/disposed。快照内存随仍存活的会话数及 core 大小增长;会话释放时清理。拿不到 id 的装配(子代理、测试、非 agent 装配)只能退回:召回用最后一条单槽,core 每次重新读盘。两个带 id 的会话不会再互相覆盖。 - 旧流水可能搜不到:仅最近 1000 条、合计最多 128 KiB 的非空流水记录进入检索;更旧的内容仍在文件里,却不在候选集中。1000 条窗口有隔离测试依据;128 KiB 上限来自源码,未单独进行端到端边界测试。长期细节应放入 ws。
- 摘录不等于语义摘要:流水首尾摘录用于导航,完整脱敏文本在事件档案;旧流水被截掉的内容无法恢复。核心记忆仍只按预算裁切。
- 语义缓存不会自动更新,且默认不启用:先设
vector: { enabled: true },编辑记忆后还需执行 index。未建立缓存、模型不可用或超时,会降级为 BM25;运行时不会主动提示所有降级原因,可用 doctor 检查缓存。 - 归档成功是恢复前提:已归档的完成事件可重试发布流水;磁盘无法写入档案时仍无法保证持久化,会记录错误。脱敏沿用启发式规则。
- 默认目录与旧 DBA 不同:Windows 默认
%LOCALAPPDATA%/dsh-memory-dba,其他平台默认~/.dsh-memory-dba。要复用原库,须明确设置 home;仅安装插件不会自动找到旧 Python 仓库。 - 工作区册正文不在本包检索范围内:一级只给文件名,读正文要用 Python DBA 的
<home>/../scripts/nb_search.py --file(路径由home推导,detailHint可覆盖)。没装 DBA 树时插件仍能召回名字,但不能展开正文——这是设计边界,不是索引缺失。
安装与配置
安装到实际运行的 DSH profile 目录,再在其 cordis.patch.yml 中添加:
- insert:
- id: memory-dba
name: dsh-memory-dba
config:
home: '/absolute/path/to/existing/memory'完整安装步骤、配置字段、向量索引与 CLI 用法见 English README。新增插件后需重启宿主。本轮发布不会替换用户已运行的插件或移动既有记忆。
新增配置:coreRefresh: 'session' | 'always'(默认 session,按会话快照 core;always 恢复逐次读盘)、coldHint(默认空=自动生成冷提示;'off' 或显式空值关闭;其他字符串覆盖整句)、vector.enabled(默认 false,显式 true 才启用语义召回)。
