npm package discovery and stats viewer.

Discover Tips

  • General search

    [free text search, go nuts!]

  • Package details

    pkg:[package-name]

  • User packages

    @[username]

Sponsor

Optimize Toolset

I’ve always been into building performant and accessible sites, but lately I’ve been taking it extremely seriously. So much so that I’ve been building a tool to help me optimize and monitor the sites that I build to make sure that I’m making an attempt to offer the best experience to those who visit them. If you’re into performant, accessible and SEO friendly sites, you might like it too! You can check it out at Optimize Toolset.

About

Hi, 👋, I’m Ryan Hefner  and I built this site for me, and you! The goal of this site was to provide an easy way for me to check the stats on my npm packages, both for prioritizing issues and updates, and to give me a little kick in the pants to keep up on stuff.

As I was building it, I realized that I was actually using the tool to build the tool, and figured I might as well put this out there and hopefully others will find it to be a fast and useful way to search and browse npm packages as I have.

If you’re interested in other things I’m working on, follow me on Twitter or check out the open source projects I’ve been publishing on GitHub.

I am also working on a Twitter bot for this site to tweet the most popular, newest, random packages from npm. Please follow that account now and it will start sending out packages soon–ish.

Open Software & Tools

This site wouldn’t be possible without the immense generosity and tireless efforts from the people who make contributions to the world and share their work via open source initiatives. Thank you 🙏

© 2026 – Pkg Stats / Ryan Hefner

dsh-redteam-memory

v0.4.4

Published

DSH 红队记忆:本地知识库、Milvus 向量检索与 MinIO,提供统一红队设置页

Readme

红队记忆 · DSH 插件

给模型一个可检索的 AI 安全知识库:把 AI 安全知识与进攻技巧(OWASP LLM Top 10、提示词注入、 RAG 投毒、Agent / MCP 工具滥用、推理服务未授权与已知 CVE、证据与合规清单…)存进本地库, 模型在需要时用 memory_search 检索,人可以在面板上导入 / 删除 / 浏览。

本地库是权威数据,Milvus 只是它的派生索引 —— 没配向量模型也能记录与检索(自动退回本地关键词匹配), 网络故障、Key 过期都不会让「写不进去」。工作区对话里说到「写入记忆」这类触发词,内容会被自动收进本地库。

它不是「记目标上下文」那种对话记忆(那是另一条路),而是一本随取随查的作战手册: 判断某个手法能不能用、报告里该怎么写、某个风险点的标准做法是什么,让模型去查,而不是凭印象编。

架构

   会话事件(session/event)─┐           面板(导入 / 删除 / 列表 / 检索 / 捕获)
                            │                          │  RPC(宿主路由 /dsh-redteam-memory/rpc)
                            ▼                          ▼
        ┌──────────────────────────────────────────────────────┐
        │  Host 半边(本插件)                                   │
        │  · 对话捕获:命中触发词 → 收进本地库(不依赖任何外部服务) │
        │  · 本地库 .redteam-memory.json(权威数据,含设置与条目) │
        │  · 索引同步(尽力而为)→ Milvus REST v2:建集合/upsert/检索/删除/统计
        │  · 向量模型适配器  → 阿里百炼 tongyi-embedding-vision-flash / 智谱 Embedding-3 / OpenAI 兼容
        │  · 重排模型适配器  → jina / siliconflow / dashscope / cohere / bigmodel / 自定义
        │  · S3 关联        → Milvus 用的存储桶(例如 mimo):连通测试 / 列举 / 整库导出
        │  · 对外服务 redteamMemory(其它插件把成稿导入记忆)      │
        └──────────────────────────────────────────────────────┘
                     │  shell → curl(只在需要索引/重排/S3 时才发出去)
              Milvus / 向量服务 / 重排服务 / S3

HTTP 为什么走 shell + curl 而不是 fetch:动态半边屏蔽了 fetch(见 仓库开发约定),而本插件两种形态都要能跑;资产图谱调 Jina MCP 用的是同一套。顺带一个好处:curl 自带 --aws-sigv4,S3 的签名不用手写。

安装与报告集成

dsh plugin --profile web add dsh-redteam-memory
# 需要报告功能时,再安装报告包:
dsh plugin --profile web add dsh-redteam-report
# 重启 dsh web 使静态插件组合生效。

记忆插件可独立使用。安装报告插件后,两者的配置统一显示在 设置 → 红队设置: 上方为「记忆与向量存储」(按钮「保存记忆设置」),下方为报告插件提供的设置组件。 未启用报告插件时显示可读提示,不影响记忆功能。

客户端服务 redteamSettingsUI 提供以下协议,供报告插件接入:

  • current():当前报告 React 组件,未注册时为 null。
  • subscribe(fn):订阅变更,立即通知一次,返回幂等退订函数。
  • register(Component):注册唯一报告组件,返回幂等注销函数;重复注册需先注销旧组件。

报告客户端应声明 inject: ['redteamSettingsUI'],并通过 ctx.effect(() => ctx.redteamSettingsUI.register(Component)) 管理注册生命周期。 记忆插件退出时服务、组件引用与订阅均随 fiber 清理,报告依赖方可在记忆重载后自动重新注册。

配置(DSH 设置 → 红队设置)

配置不在记忆面板里:它是 DSH 设置里的一页「红队设置」(注册在 settings.section 插槽), 因为数据库地址、向量模型 Key 这些一年改两次,而「导入一份报告」「查一条技巧」每天都要用。 记忆面板只管用(知识库 / 检索 / 日志),设置页只管配。

四组,各自有独立的「测试」按钮,填错立刻能看到真实错误:

| 组 | 必填 | 说明 | |---|---|---| | Milvus | 地址 | 自建 http://127.0.0.1:19530;Zilliz 云 https://xxx.api.region.zillizcloud.com + Token。自建开了鉴权(authorizationEnabled)再选填「用户名」:填了认证头拼成 Bearer 用户名:密码,不填维持 Bearer Token 的旧行为 | | 向量模型 | 服务 / 模型 / Key / 维度 | 换模型必须换 collection 或删掉重建(维度不一致会明确报错,不会静默写坏) | | 重排模型 | 开关 / 服务 / 模型 / Key | 可选。默认列出 jina、硅基流动、百炼 gte-rerank、Cohere、智谱,也可以填自定义的 OpenAI 兼容 /v1/rerank | | MinIO | 端点 / 桶 / Region / AK / SK | 可选对象存储关联与备份;可填写 Milvus 使用的实际桶名。MinIO / 自建要开 path-style;兼容 S3 协议 | | 本地库 | 存储文件 / 默认返回条数 | 解析后的绝对路径会显示在这里。文件含 Key,已在 .gitignore 里 |

只有 Milvus / 向量模型是「想用向量检索才需要」的:不填也能记、也能按关键词查, 面板上的「同步索引」会在你填好之后再把这些条目补进索引。

填写后先点击 「保存记忆设置」 再测试。testMilvus / testEmbed / testRerank / testS3 的缺配置或连接失败都会返回 {ok:false,error},在面板内显示,不抛成 Handler 异常。 自定义 OpenAI 兼容向量端点仍允许不填写 API Key。

MinIO 只是界面命名变化:存储字段仍是 s3,RPC 仍使用 testS3、s3List、s3Backup, 已有配置无需迁移。只使用向量检索时可不启用 MinIO;Milvus 自己连接哪个对象存储,应在 Milvus 部署中配置, 这里不会更改 Milvus 的底层存储设置。

设置与条目同在一个文件里(storePath,默认 .redteam-memory.json;相对名由宿主按插件自己的工作区解析, 实测落点是 /home/kali/桌面/,见 开发约定 §5.1)。 写不进那个目录时面板会显示失败原因,把「存储文件」改成能写的绝对路径即可。

用法

给模型用的三个工具

| 工具 | 用途 | |---|---| | memory_search | 按自然语言检索知识库。命中返回标题、类型、标签、正文与分数(启用重排时同时给出召回分与重排分) | | memory_add | 写一条知识进去(正文 / 标题 / 类型 / 标签 / 来源) | | memory_delete | 按 id 删除(id 从检索结果里拿) |

对话捕获(不用调工具):会话里出现触发词(默认「写入记忆 / 记到记忆 / 存到记忆 / 记住这个 / remember this…」,面板可改)时,那条用户消息会被自动收进本地库,来源标成 对话捕获 · <会话标题>。 只认用户消息(模型回复里的「记忆」多半是在解释功能本身),同一个事件重放不会写第二条。

两个界面

红队记忆(侧栏面板,只用不管配)
┌ 顶栏:本地 N 条 · 索引 M 条(待同步 k)· 向量模型是否配好 + 指路「设置 → 红队设置」
├ 知识库:同步索引(待同步 k)· 导入内置知识包;不含查询框(查询在独立检索页)
│        导入文件:[绝对路径] [导入]           ← 支持 pdf / word(.docx) / md / txt
│        对话捕获:默认折叠成一行(开关 · 触发词 N 个 · 最近捕获 N 条),展开才配置
│        列表:勾选 / 标题(点开看全文)/ 类型 / 标签 / 索引(已索引 · 仅本地)/ 更新时间
│        底部:删除选中 · 删除向量索引
├ 检索:query + topK + 是否重排 → 命中(标注向量 / 本地关键词 / 混合,召回分与重排分并列)
└ 日志:最近操作与错误

红队设置(DSH 设置里的一页,只配不管用)
├ 记忆与向量存储:Milvus / 向量模型 / 重排模型 / MinIO / 本地库 + 四个测试按钮
│ + 保存记忆设置 · 同步索引 · 整库重建索引 · 删除向量索引 · 列举 MinIO 对象 · 导出到 MinIO
└ 报告设置组件(报告插件提供;未启用时显示提示)

导入方式

  1. 内置知识包:知识库操作栏上的「导入内置知识包」,16 条 AI 安全知识与进攻技巧 (OWASP LLM Top 10 全十条 + 间接注入链路、工具枚举、RAG 索引收集、未授权与默认口令、 模型管理接口滥用面、证据与合规清单)。先落本地库(一定成功),索引同步失败也不影响内容; 配好后点「同步索引」补齐。
  2. 文件:只认四类 —— pdf / word(.docx) / md / txt。别的格式会被直接拒绝并说明原因 (不猜、也不静默失败)。解析都不引依赖:md 与 txt 直接读;word 用 unzip -p … word/document.xml 抽正文并反转义;pdf 用 pdftotext -layout(poppler)。md 按 ## 分节,word / pdf 按段落 归拢成约 2000 字一条;长文入库时再自动切块(每块 1200 字符、重叠 120)。

删除:面板勾选删除、删除整个 collection(本地库不动,下次同步自动重建 collection), 或让模型用 memory_delete。删除先删本地,删索引是尽力而为 —— 连不上向量库不该让本地条目删不掉。

给别的插件用:本插件对外提供 redteamMemory 服务(add / search / stats), 报告插件就是靠它把成稿导入记忆的,不必各自去读写存储文件。

已知限制

  • 同一条内容重复导入是同 id 覆盖(条目 id 由 类型+标题+正文 哈希而来,索引行 id 由 条目 id+块号+内容指纹 而来),所以想更新一条知识,改完再导一次即可,不会堆重复。
  • 改过的条目会在索引里留下旧行的孤儿:id 是内容哈希,改正文等于换了 id,旧行不会被自动删掉。 在意的话按「整库重建索引」前先「删除 collection」。
  • 本地关键词检索是兜底,不是替代:中文按 2 字滑窗 + 英文按空白切词做打分(标题×3 / 标签×2 / 正文×1)。 同义词、跨语言、语义相近都指望不上,那些要靠向量检索。
  • 索引可能落后于本地库:面板顶栏的「待同步 N」就是差距;检索会把本地库里索引没有的条目并进结果 (命中上标了「本地」),topK 用满时它们排在向量命中之后。
  • 检索质量取决于向量模型与维度。默认维度取自模型预设;自己填错维度会在建集合时被拦住。
  • 重排失败不会拖垮检索:会记一条警告并退回原始召回顺序(reranked 标记为 false)。
  • pdf / word 导入依赖机器上的命令:pdftotext(poppler-utils)与 unzip。缺了会明确报错 并说明装什么,而不是抽出一堆乱码。老式 .doc 不支持(请先另存为 .docx)。
  • S3 只做了关联层面的能力(测连通、列举、整库导出),不负责 Milvus 自身的备份调度。
  • 自建 / 兼容实现的 Milvus,REST v2 建集合接口可能不认标准 schema:字段的 maxLength、 max_length、params 数组与对象四种写法都会被拒(code=1101 type param(max_length) should be specified for the field(id)),而「快速建表」(只给 collectionName / dimension / metricType) 能通过 —— 但它建出的是 Int64 主键 + 动态字段,与本插件的行结构不一致。 绕行办法:用官方 SDK(pymilvus,gRPC 19530)按本插件的 schema 把集合与索引建好, 插件检测到集合已存在会直接复用,无需改代码。schema 见 src/host.js 的 buildSchema(): id VarChar(64) 主键非自增、vector FloatVector(dim)、title/text/tags/kind/source VarChar、created_at/updated_at Int64,索引 vector_idx(AUTOINDEX / COSINE)。 注意:这种情况下不要点面板上的「删除向量索引」 —— 删掉后插件会用它自己的 REST 建表再建一次, 又会撞上同一个坑。 排查顺序:先 describe 看服务端自己返回的字段格式,不要靠猜。

版本

当前包版本以 package.json 为准。src/ 是权威源码,lib/ 由构建脚本生成; 发布前必须运行构建和同步检查。

0.4.0 起:

  • 统一红队设置页:记忆与报告的配置都在「设置 → 红队设置」。本插件在 settings.section 注册「红队设置」,并通过 ctx.provide('redteamSettingsUI', hub) 对外提供一个极小的注册契约, 报告插件据此把自己的设置组件挂到同一页;记忆自身保留「记忆与向量存储」与「保存记忆设置」。
  • 对象存储展示名改为 MinIO。存储字段仍是 s3,RPC 仍是 testS3 / s3List / s3Backup, 已有配置无需迁移。
  • 知识库操作栏:保留「同步索引」与「导入内置知识包」,查询框移除(查询在独立检索页)。
  • 连接测试返回业务错误:Milvus / 向量模型 / 重排 / MinIO 四个测试缺配置或传输失败时, HTTP 仍是 200,返回 {ok:false,error} 并给出下一步,不再抛成失败的 RPC 处理器。
  • 静态 Host 声明 tools 硬依赖:工具注册走 ctx.tools,不声明会被 Cordis 拒绝。

0.3.0 把架构改成本地优先、加上对话捕获,并按「只用 / 只配」拆开了界面:

  • 本地库成为权威数据,Milvus 降级为派生索引。原来「写入 = 先向量化再插 Milvus」, 没配 Key 时 memory_add 直接 401 失败、内容丢掉;现在先落本地(一定成功), 索引同步失败只记一条日志,配好后点「同步索引」补齐。
  • 检索加了本地关键词兜底:没配向量模型也能查,配了但索引落后时两条路的结果会合并, 命中上标注来源(向量 / 本地)。
  • 对话捕获:监听 session/event,命中触发词就把那条用户消息收进本地库(含干跑与最近捕获列表)。
  • 删除改成先删本地,索引删除尽力而为;列表、详情、S3 导出都改读本地库。
  • 版本号升级不再丢设置(按字段合并,只有条目结构变化时才需要重建)。
  • 对外提供 redteamMemory 服务,供报告插件导入成稿。
  • 界面重做:配置从记忆面板搬进 DSH 设置的一页「红队设置」(settings.section); 记忆面板只剩三件事(知识库 / 检索 / 日志),对话捕获默认折叠成一行。 颜色全部改用主题 token(--dsw-alias-bg-layer-1/2、--dsw-alias-label-secondary…)—— 之前几个变量名是猜的,猜错就掉回硬编码 rgba,深色主题下会脏。
  • 导入收窄成 pdf / word(.docx) / md / txt(原来还有 .json 与粘贴导入两块界面)。

0.2.0 是第一个可用版本:Milvus + 向量模型 + 重排 + S3 关联 + 导入/删除/列表/检索, 三件套模型工具与内置知识包。0.1.0 是只有目录与构建链路的骨架。

修复的骨架缺陷(都是从资产图谱复制骨架时带过来的):

  • 客户端 RPC 路径被写死成 /dsh-redteam-asset-graph/rpc —— 面板会去打资产图谱的路由, 请求全 404,两者同时安装还会读到对方的数据(与资产图谱 README 记的那次事故同一个根因)。 现在由生成器按包名填充,并把实际请求的 url 钉进渲染测试。
  • 静态 head 缺 JSON Schema → ParameterSchemaSpec 的转换,三个工具会在 apply 时全部注册失败。
  • 列表加载的 useEffect 依赖漏了 Milvus 地址:snapshot 是挂载之后才到的,依赖不变效果不重跑, 首屏列表永远是空的。
  • 模型下拉按「已保存的」服务商算候选项:界面上切服务商后,模型列表要保存一次才跟着变。

开发

npm run build:lib     # 生成 lib/
npm run check:lib     # 校验与 src/ 是否漂移(prepack 会跑)
npm test              # 主机侧 176 项 + 客户端/真实 Cordis 生命周期 120 项

主机侧测试不需要真 Milvus / 真向量服务:HTTP 全走 shell+curl,测试塞了一个假 shell 按 URL 返回构造好的响应,并断言我们发出去的请求长什么样(端点、鉴权头、body 结构、 维度、过滤器写法)—— 那是最容易写错、也最难在真实环境里定位的部分。

其中三组用例专门盯这次改动的要害:离线可用(没配任何外部服务时必须一个 HTTP 请求都不发)、 对话捕获(把监听器抓出来直接投一个 user/message 事件,验证真的落库、重放不写第二条、 只认用户消息、关掉开关就不再写)、对外服务(redteamMemory 的 add/search/stats)。

test:flow 需要解析 @deepseek-ai/dsh-tools;解析不到时会红并给出修复命令 (刻意不静默跳过:绿但没跑比红更糟)。

改之前请先读仓库的 ../../docs/DEVELOPMENT.md。

| 文件 | 说明 | |---|---| | src/host.js | applyHost 的函数体(函数头/垫片/收尾在 lib/parts/,不要重复写) | | src/client.js | 客户端半边,以 return { name, inject, apply } 结尾 | | lib/parts/ | 生成器模板:垫片与包装都在这里 | | tools/build-lib.mjs | 生成器 | | cordis.patch.yml | bundle patch,dsh plugin add 靠它自动挂载 |