agent-insight
v0.3.1-beta
Published
Agent Skill 评估与观测平台 — 量化评估 Skills 在 Agent 上的实际运行效果
Readme
📖 什么是 Agent-Insight?
随着 Agent 在各行业的落地,开发者面临三大痛点:Agent 运行过程如同黑盒,难以定位问题根因;Skill 质量参差不齐,缺少体系化的评测与迭代手段;Agent 经验无法沉淀复用,每次优化都从零开始。
Agent-Insight 正是为解决这些问题而生 —— 它是一个框架无关的 Agent Insight 工程底座,让运行在 OpenCode、Claude Code、LangChain、OpenClaw 等任意框架上的 Agent 都能被持续观测、系统评测和自主优化。
与同类产品不同的是,Agent-Insight 把 Skills(Agent 能力) 作为一等公民,提供从生成、A/B 测试到优化的完整闭环。
✨ 核心能力
- 🔭 Agent 观测与自进化 · 围绕 运行数据采集 → 链路跟踪 → 评测分析 → 经验沉淀 → 辅助决策 构建 Agent 全生命周期的数据飞轮,支撑故障定位与质量监控,并将运行数据沉淀为迭代优化的原料,持续驱动优化。
- 🛠️ Skill 开发与自进化 · 围绕 Skill 生成 → 调试 → 观测 → 评估 → 优化 构建全生命周期能力闭环,将 Skill 打造为可持续进化的工程资产。
- 🆎 智能 A/B 测评 · Config → Execution → Decision 三步法结构化工作流,支持一键执行、自动对比与智能决策,让能力升级有据可依、省心高效。
- 🧠 智能诊断 · 基于链路与失败模式自动定位异常调用与根因。
- 🔌 框架无关 · 基于 OpenTelemetry 等业界标准协议,通过原生插件或日志旁路无缝兼容 OpenCode、Hermes、OpenClaw 等多种 Agent 运行时与平台。
- 🏠 完全自托管 · 一键安装,全栈本地化部署,数据完全自主可控,无外部依赖。
🏗️ 架构
🚀 快速开始
1. 安装服务端
环境要求
- Node.js >= 20.0.0
- 3000 端口未被占用
一键安装
npx agent-insight install源码安装
git clone https://gitcode.com/openeuler/agent-insight.git
cd agent-insight
npm install
# 开发模式
bash scripts/develop_start.sh
# 生产模式
bash scripts/start.sh
# 配置数据上报路径
curl -sSf "http://<IP>:<PORT>/api/setup?key=<API_KEY>" | bash启动服务
cd agent-insight
# 开发模式
bash scripts/develop_start.sh
# 生产模式
bash scripts/start.sh访问看板
浏览器打开 http://localhost:3000,使用任意邮箱登录即可,例如 [email protected]。
2. 安装客户端
以下以 Linux 系统 + OpenCode 运行时为例:
在看板的 安装指导 页面复制客户端安装命令。
在 Agent 所在服务器执行安装命令:
curl -sSf "http://172.29.209.207:3000/api/ingest/setup?key=<API_KEY>" | bash选择 Agent 运行时。
执行安装成功后提示的 Usage 命令,例如:
opencode run 'hello'在看板的 链路追踪 页面确认链路数据已生成,即表示客户端安装成功。
🧭 上手演练 — Skill 生成 → 评测 → 优化
完整体验在 Agent-Insight 看板中完成 Skill 生成 → 评测 → 优化 的闭环流程。
💡 零配置体验:新用户首次登录注册后,平台会自动注入一套内置示例(
messages 日志分析数据集 + 两条示例 Trace + 本地示例日志~/.agent-insight/example/messages),无需接入真实 Agent 即可照着 内置示例端到端走查 跑通「智能诊断 → Skill 生成 → 评测 → 优化」全流程。
注册模型
进入 模型注册,单击 注册首个模型。
选择模型供应商。
配置 API 密钥,单击 测试连接并保存。
生成 Skill
进入 Skills 生成,提交需求描述,例如:
创建一个 Skill,当用户请求查看系统信息时,自动执行 shell 脚本收集当前系统的关键信息(操作系统、CPU、内存、磁盘、网络等),以 Markdown 报告呈现给用户。
单击 保存并发布。
分析 Skill
进入 Skills 评测,单击 静态合规。
单击 重新扫描,查看分析结果。
优化 Skill
进入 Skills 优化,选择 Skill 并单击 优化。
选择可优化项并单击 开始优化,或直接输入优化需求后单击 发送。
优化完成后,单击 发布为 v1,系统将自动保存为新版本。
📚 文档
详细使用指南见 docs/user-guide 目录。新用户推荐从 内置示例端到端走查 开始 —— 用注册即得的内置示例零配置跑通完整闭环。
🤝 如何贡献
我们诚挚欢迎新贡献者加入项目,也会为新加入者提供全面的指导与帮助。
贡献代码前,请先签署 CLA,再参考 代码贡献指引 提交代码。
如有任何疑问、建议或讨论需求,欢迎通过以下方式联系我们:
- 提交 Issue
- 发送邮件至 [email protected]
📝 License
本项目采用 MIT 开源协议。
