dsh-frontier-repro

v0.3.1

Published

a month ago

Evidence-first frontier AI radar and reproducibility gate for DeepSeek Harness

0High
0Medium
0Low

jimcheng301415

deepseek-harness dsh-plugin ai-research reproducibility arxiv

给 DeepSeek Harness 用的“一手信源 → 复现证据档案”插件。

它不是另一个 AI 新闻阅读器，也不是另一个 arXiv 搜索/论文总结插件。它只做现有 DSH 插件尚未完整覆盖的一段链路：从经过身份约束的一手渠道发现前沿能力，把同一次模型/能力发布整理成可追溯版本的证据包，再进入 claim 级复现协议。每次尝试都会保留，包括失败和负结果；成功结论必须带命令、产物、逐项指标和 verifier 证据。

| 发现真正重要的信号 | 建证据，不追热点 | 复现，但绝不夸大 | |---|---|---| | 聚合 arXiv、实验室官网、GitHub、Hugging Face、硬件厂商、已核验博客和可选 X 信号。 | 跨来源发布证据包保留不可变版本、出处、缺失证据与实质变化历史。 | claim 级协议保留命令、产物、指标、资源、verifier、失败与负结果。 |

[!TIP] 如果它让一次前沿发布更容易被信任或复现，欢迎给仓库加一个 Star，让更多 DSH 用户发现它。

为什么不是重复项目

DSH 生态已经有很强的论文和资讯工具：dsh-ai4scholar、dsh-literature 负责检索、全文与引用，dsh-paper-workshop 负责精读、知识库和教学式复现清单，dsh-news 负责通用 RSS 阅读；更新的 dsh-research-plugins 负责科研主张审查，dsh-science-workbench 负责可回放实验执行。这个插件刻意不复制这些能力：

| 已有能力 | 本插件不做 | 本插件补上的环节 | |---|---|---| | arXiv / Semantic Scholar / dblp 检索 | 不做全库学术搜索、引用网络或 PDF 阅读 | 把 arXiv 与实验室发布放进同一条“能力信号”时间线 | | AI 新闻/RSS 面板 | 不做通用订阅、全文阅读 UI 或媒体聚合 | 只接一手源，展示身份依据、来源等级和可解释评分 | | 论文精读与学习笔记 | 不做七阶段教学、术语表或 Obsidian 管理 | 把文章/模型/代码线索转成模式化复现条件矩阵 | | 复现清单 | 不用口头打勾代表成功 | 条件准备度与运行结果分离；passed 必须附命令、产物和指标 |

详细去重审计见 docs/research.md。

默认一手来源

arXiv：cs.AI、cs.CL、cs.LG、cs.CV、cs.RO、cs.SE，使用官方 Atom API。
实验室官网：OpenAI News，Anthropic Newsroom / Research / Engineering，Google DeepMind News，MiniMax Research，Kimi Blog，DeepSeek API News / Transparency，以及 Z.ai 模型发布记录。
硬件与系统：NVIDIA Technical Blog、AMD ROCm Blog、经过类别与技术相关性过滤的 Intel Artificial Intelligence News，用于捕捉训练、推理、加速器、编译器和基准更新。
官方复现产物：DeepSeek、Moonshot AI、MiniMax 和 Z.ai 的已验证 Hugging Face 组织模型流，以及 DeepSeek 官方 GitHub 组织的新仓库、Release、Tag 与固定 commit。
核心人员博客：Sam Altman 个人博客、Anthropic 联合创始人 Jack Clark 的 Import AI。
核心人员 X：Sam Altman、Dario Amodei、Demis Hassabis。只走 X API v2；无凭证时明确报告缺失条件，绝不退化成网页抓取。

DeepSeek 创始人和 GLM 核心人员没有被硬塞进默认 X 清单：目前没有足够稳定、可由实验室官网交叉验证的公开个人流时，宁可留空，也不收录同名或搬运账号。可以通过受信任的本地 sourceFile 添加，并必须给出 identityEvidenceUrl。

工具

| 工具 | 用途 | |---|---| | frontier_repro_status | 查看来源、语料库状态和缺失凭证；不联网 | | frontier_repro_collect | 刷新指定一手源，去重、落盘并返回可解释排序 | | frontier_repro_events | 查看跨来源发布证据包与 watch 的实质变化 | | frontier_repro_bundle | 读取一个证据包、前序版本、原始记录、claims 和全部尝试 | | frontier_repro_watch | 添加、删除或确认基于实质摘要的 watch | | frontier_repro_search | 只搜索本地语料库，不联网 | | frontier_repro_revert_collection | 带冲突/依赖保护地回滚最近一次有效采集 | | frontier_repro_get | 读取完整来源、实现产物、准备度和运行记录 | | frontier_repro_assess | 对 exact / scaled / behavioral 模式执行条件门禁 | | frontier_repro_assess_claims | 对 execute / partial / from-scratch 和 exact / scaled / toy 做 claim 级门禁 | | frontier_repro_graph | 输出来源、产物、条件、证据与运行的确定性依赖图 | | frontier_repro_record_result | 记录实际命令、产物、指标、偏差和结果 | | frontier_repro_record_attempt | 追加一次 claim 级尝试、资源消耗、verifier 和真实结果 | | frontier_repro_manifest | 导出带 canonical SHA-256 的复现交接清单 | | frontier_repro_trackio_scaffold | 导出本地优先的 Trackio logbook 脚手架，不执行也不发布 |

采集阶段会先剔除实验室人事/商务公告、占位标题、要求日期却缺失日期的记录和人员生活动态；每个来源还可配置类别允许/拒绝清单和已知模板标题。排序也不是模型黑箱。返回值逐项显示：信源等级、时效、实现产物、复现关键词、前沿主题和查询相关性。Hugging Face 模型流会读取最近模型的 README，只提取论文、代码、数据和评测链接，不保存全文；arXiv 条目同时保留稳定论文 id 与实际观测到的 vN。GitHub 代码、公开 Hugging Face 模型和数据集会尽力钉到完整 SHA，stars 等可变指标仅作为参考。

每次采集还会持久化 source_health：最近尝试/成功时间、最新有效内容、数量突降、页面结构指纹变化、连续失败、陈旧状态和最近错误。它用于发现适配器或上游页面漂移，不代表对发布内容真实性作判断。

同一 Lab 内，带有明确模型家族/版本标识的官网、论文、GitHub、Hugging Face、评测和人员线索会被保守聚类成 Frontier Release Evidence Bundle。证据包记录缺失项、corroboration、许可证、可复现等级候选，以及 firstSeenAt、lastSeenAt、supersedesDigest。watch 只比较能力声明、评测、许可证和不可变产物；单纯再次抓取不会制造提醒。无法可靠识别模型实体的内容保持单记录证据包，不做模糊语义硬合并。

采集本身使用单一生命周期状态机，批次以原子事务写入并保存有界逆操作。只有最近的有效批次可以 LIFO 回滚；若新增记录已有 assessment/run 依赖，或记录后来发生冲突修改，回滚会明确拒绝。论文到实现的完整映射见 docs/architecture.md。

安装

要求 Node.js ^22.19 或 >=24，以及 DeepSeek Harness 0.1.0-rc.7 或同一 0.1.x 系列的更新版本。插件内 X 凭证配置卡片依赖 rc.7 新增的插件设置扩展。

dsh plugin --profile web add "https://github.com/JimchengChina/dsh-frontier-repro/releases/latest/download/dsh-frontier-repro.tgz"

如需参与源码开发，再克隆仓库、执行 pnpm install，并通过绝对路径安装；headless profile 可将同一发布包配合 --profile headless 安装。

重启对应 profile。默认数据保存在 $DSH_HOME/frontier-repro/index.json，文件和目录分别以 0600 / 0700 创建。

安装过程会提示：X API 是可选项。进入 DSH Web 的 设置 → 插件 → 插件配置 → Frontier Repro 即可保存 X API Bearer Token。不配置时，X 信源默认关闭并从常规采集队列中跳过；arXiv、实验室官网、GitHub、Hugging Face 等其他信源照常工作。

每个 tag release 会附带验证后的固定名安装包 dsh-frontier-repro.tgz 和 SHA-256 文件，插件市场可以直接使用 GitHub Release 包，无需现场源码构建。

典型工作流

先说：

收集最近 30 天关于 long-horizon coding agent 的一手前沿信息，优先找有代码、权重和评测的项目。

选中一条后：

我要复现它的长任务断点恢复能力。先给我 exact / scaled / behavioral 三档可行性，不够的信息继续查一手材料；条件满足后在独立目录做最小实现和对照评测。

插件会要求把条件写成如下矩阵。available 必须带证据；not_required 必须有理由：

{
  "specification": { "state": "available", "evidence": ["https://arxiv.org/abs/..."], "note": "固定到 v2" },
  "code": { "state": "available", "evidence": ["https://github.com/org/repo/tree/COMMIT"], "note": "固定 commit" },
  "model_access": { "state": "missing", "evidence": [], "note": "原始权重未发布" },
  "data": { "state": "unknown", "evidence": [], "note": "未找到训练集声明" },
  "compute": { "state": "available", "evidence": ["local:nvidia-smi 4xA100-80GB"], "note": "可用 48 小时" },
  "runtime": { "state": "available", "evidence": ["local:env-lock.json"], "note": "CUDA/依赖已锁定" },
  "license": { "state": "available", "evidence": ["https://github.com/org/repo/blob/COMMIT/LICENSE"], "note": "允许研究使用" },
  "evaluation": { "state": "available", "evidence": ["https://github.com/org/repo/tree/COMMIT/eval"], "note": "主指标容差 ±1" },
  "reference_access": { "state": "not_required", "evidence": [], "note": "exact 模式直接运行权重" },
  "safety_and_scope": { "state": "available", "evidence": ["local:SCOPE.md"], "note": "仅隔离测试数据" }
}

准备度只有三层含义：

ready_exact：原始实现所需条件已有证据，可以开始执行；不代表已复现。
ready_scaled：允许明确记录过的规模/替代品差异；不得宣传成 exact。
ready_behavioral：只比较可观察行为、接口和指标；不声称还原内部机制。
blocked / insufficient_evidence：列出缺失条件和下一步动作，不能开始成功叙述。

完成执行后，只有提供实际命令、结果文件/提交、测量指标时，frontier_repro_record_result 才接受 passed。

新工作建议使用 claim 级协议：

execute_existing：运行作者已有实现；
partial_reimplementation：保留可用实现并补写缺失部分；
from_scratch_replication：只依据规范、数据和评测重新实现；
等价层级分为 exact、scaled、toy。即使 toy 的全部指标通过，结果也只能是 toy_only，绝不会自动升级为 reproduced。

每次 frontier_repro_record_attempt 都记录 GPU/CPU、显存、时长、费用、数据规模、相对论文规模、Job URL、claim 结果和 verifier。failed、blocked、negative_result 与成功尝试一起保留。随后可导出 Trackio scaffold；它默认只写本地 Trackio，只有显式传入 Space 才会发布，而且不会执行实验或改变原判定。

此外，assessment 必须给出至少一条量化 rubric，例如：

[
  {
    "id": "accuracy",
    "description": "在官方测试集达到参考精度下限",
    "metric": "accuracy",
    "operator": "gte",
    "expected": 0.9,
    "weight": 3,
    "required": true
  }
]

operator 支持 gte、lte、equal、within。passed 还要求同模式 assessment 处于 ready_*，且所有 required criterion 通过。

X API 条件

优先在 DSH Web 的 设置 → 插件 → 插件配置 → Frontier Repro 中填写。也可以设置凭证引用 X_BEARER_TOKEN：

export X_BEARER_TOKEN='...'
dsh web

也可以通过 DSH 的 credentials 存储同名引用。插件每次采集重新解析凭证，不把值写进配置、语料库或工具输出。X 的访问和计费由 X API 账户决定；缺 token 时，默认采集直接跳过 X 信源，显式指定 X 信源时会列明缺失条件，其余来源继续工作。

配置

在 profile 的 patch 中覆盖插件行：

- id: frontier-repro
  config:
    defaultDays: 90
    defaultLimit: 20
    maxRecords: 1000
    maxCollections: 20
    requestTimeoutMs: 20000
    maxResponseBytes: 5242880
    pageConcurrency: 3
    githubEnrichLimit: 8
    huggingFaceEnrichLimit: 20
    githubTokenEnv: GITHUB_TOKEN
    xBearerTokenEnv: X_BEARER_TOKEN
    # storagePath: /absolute/path/index.json
    # sourceFile: /absolute/path/sources.json
    promptGuidance: true
    promptOrder: 145

sourceFile 是启动时读取的本地管理员配置，不接受模型在工具参数中传入任意 URL。支持 feed、page、official_index、dated_index、model_index、sitemap、arxiv、huggingface_models、github_org、x_user；GitHub 组织适配器可用 releaseRepoLimit / releasesPerRepo 限制额外请求。可选质量字段包括 allowCategories、denyCategories、requirePublishedAt、boilerplateTitles 和 healthStaleAfterDays。人员来源强制要求姓名、角色和官网身份依据。GITHUB_TOKEN 是可选的公开 API 限流增强，不会取代 X 来源必须具备的 X 凭证。参见 sources.example.json 与 docs/source-policy.md。

验证

pnpm run verify
node scripts/smoke.mjs
pnpm run smoke:plugin
# 指定来源
node scripts/smoke.mjs openai-news google-deepmind-news zai-release-notes

verify 包含语法、解析与增强、发布事件聚类/版本链、GitHub Org Release/Tag、watch 回滚保护、claim 评分、多次尝试/verifier、Trackio 导出、指纹、生命周期、事务回滚、证据图、manifest、存储和复现门禁测试，以及通过真实 DSH ToolRuntime 的装配与卸载测试。smoke.mjs 直接验证各来源，smoke:plugin 则通过真实工具调用验证“采集 → 落盘 → 排序”；两者都是只读网络冒烟，不会调用 X。

已知限制

官网结构会变化。各来源独立失败，成功结果仍会保存；失败和页面级警告会原样列出。
来源健康告警只表示抓取漂移、数量异常或内容陈旧，不等于上游项目失效或发布内容不可信。
OpenAI RSS 可以稳定获取，但正文页面可能拒绝自动客户端；插件保留 RSS 元数据，选中后可让 DSH 的浏览器/网页工具继续核验。
arXiv 条目只证明论文存在，不证明结论正确；官方博客也属于发布方自述。评分是发现优先级，不是可信度结论。
X API 需要用户自己的凭证、权限和预算；插件不绕过访问控制。
GitHub 匿名 API 限流较低；可配置可选 token 或降低 githubEnrichLimit，Hugging Face 固定数量可用 huggingFaceEnrichLimit 控制。钉住失败会报告，但不会删除原始来源记录。
发布聚类刻意保守且限定在同一 Lab 内；不认识的模型命名宁可不合并。
Trackio 是导出目标，不是成功证明；插件不会安装 Python 依赖、执行 Job 或自动上传 Space。
准备度基于 agent 提交的证据矩阵。插件检查完整性和一致性，不替代人工验证证据内容。
manifest 的 integrity 是确定性内容摘要，不是身份签名，也不等于远端大文件校验和。
当前没有后台定时器；可用 DSH 已有的 schedule/cron 能力定期调用 frontier_repro_collect，避免重复实现调度平台。

License

MIT

Published

Vulnerabilities

Links

Maintainers

Keywords

Readme