@ericking-cyber/yolo3d-mcp-server

v1.2.1

Published

3 months ago

YOLO3D 3D Object Detection MCP Server - v1.2.1 stable with bug fixes for image upload and PyTorch compatibility

Downloads

🎯 YOLO3D MCP Server

🚀 专业的3D目标检测MCP服务器，基于YOLO3D模型 | v1.2.1 稳定版本

🆕 v1.2.1 稳定版更新

🔧 重要修复

🐛 图像上传修复: 解决"temp/item.jpg未找到"错误
🔧 PyTorch兼容性: 修复PyTorch 2.x的Upsample层兼容问题
✅ MIRA集成: 完美支持MIRA Web界面图像上传
🎯 端到端验证: 从图像上传到3D检测全流程稳定

🛠️ 核心特性

✨ 实时检测: detect_3d_objects_realtime - 支持摄像头实时流检测🎥
🎮 摄像头集成: 完美支持奥比中光摄像头
🤖 机械臂应用: 实时位置信息用于机械臂抓取控制

🛠️ 现在共6个强大工具

✨ 批量检测: detect_3d_objects_batch - 批量处理目录中的多张图像
✨ 可视化导出: detect_3d_objects_with_visualization - 自动保存标注图像和JSON数据
✨ 配置查看: get_model_config - 查看YOLO3D模型配置和文件状态
✅ 单图检测: detect_3d_objects_in_image - 原有功能增强
✅ 统计信息: get_detection_stats - 增强的统计功能

🎯 核心改进

🔧 真实3D检测: 完全退出模拟模式，使用实际YOLO3D模型
📦 依赖优化: 修复所有版本冲突，确保兼容性
⚡ 性能提升: 优化检测流程和内存使用
🛠️ 稳定性: 解决PyTorch、Pillow、NumPy等依赖问题

📋 历史版本

v1.2.1: 🔧 稳定版 - 修复图像上传和PyTorch兼容性问题
v1.2.0: 🎥 添加实时检测 - 6个工具 + 摄像头集成
v1.1.0: 🚀 重大功能更新 - 5个工具 + 真实3D检测
v1.0.2: ✅ 修复Python环境路径
v1.0.1: ❌ 包含错误的Python路径，已修复
v1.0.0: ✅ 基础稳定版本

📦 安装

npm install -g @ericking-cyber/yolo3d-mcp-server

🔧 使用方法

在MCP配置中使用

{
  "mcpServers": {
    "yolo3d-detection": {
      "command": "npx",
      "args": ["-y", "@ericking-cyber/yolo3d-mcp-server"],
      "enabled": true,
      "description": "YOLO3D 3D目标检测服务器"
    }
  }
}

直接启动

npx @ericking-cyber/yolo3d-mcp-server

🎯 功能特性

🛠️ 6个专业工具

detect_3d_objects_in_image - 单图像3D检测
- 检测物体的3D位置、尺寸、方向
- 计算距离和深度信息
detect_3d_objects_batch - 批量检测
- 批量处理目录中的多张图像
- 支持自定义文件格式和数量限制
- 详细的成功/失败统计
detect_3d_objects_with_visualization - 可视化导出
- 自动保存标注图像
- 导出JSON格式的检测数据
- 时间戳和完整元数据
detect_3d_objects_realtime - 实时检测 🆕
- 处理Base64编码的摄像头数据
- 支持奥比中光等实时相机
- 实时3D位置信息用于机械臂控制
- 可选实时可视化反馈
get_model_config - 配置管理
- 查看YOLO3D模型配置
- 检查模型文件状态
- 设备和环境信息
get_detection_stats - 统计分析
- 检测次数和性能统计
- 服务器状态监控
- 能力评估报告

🎯 核心能力

✅ 真实3D检测 - 使用完整的YOLO3D模型
✅ 姿态估计 - 估计物体的3D方向
✅ 距离计算 - 精确的深度和距离测量
✅ 标准MCP协议 - 完全兼容MCP生态系统
✅ 跨平台支持 - Linux、macOS、Windows
✅ 依赖优化 - 解决所有版本冲突

🛠️ 工作原理

MIRA客户端 ←--STDIO--→ YOLO3D进程 ←--GPU计算--→ AI模型
           (本地通信)              (3D检测)

与其他MCP服务器相同的架构：

trends-hub: 本地进程 → 网络API → 新闻数据
YOLO3D: 本地进程 → GPU计算 → 3D检测结果

📋 API

`detect_3d_objects_in_image`

检测图像中的3D物体

参数：

image_path (string): 图像文件路径

返回：

{
  "success": true,
  "results": [
    {
      "class": "person",
      "confidence": 0.85,
      "bbox_3d": {
        "center": [1.5, 0.0, 2.0],
        "dimensions": [0.6, 1.8, 0.3],
        "rotation": [0, 0, 0]
      },
      "distance": 2.0
    }
  ],
  "detections_count": 1
}

`get_detection_stats`

获取服务器状态和统计信息

返回：

{
  "success": true,
  "server_info": {
    "name": "yolo3d-detection-server",
    "version": "1.0.0",
    "protocol": "STDIO"
  },
  "stats": {
    "total_detections": 42,
    "image_detections": 42
  }
}

⚙️ 环境要求

Node.js >= 16.0.0
Python >= 3.8
GPU (推荐，用于加速推理)

📖 更多信息

GitHub: https://github.com/your-org/yolo3d-mcp-server
文档: 查看项目docs目录
问题反馈: 使用GitHub Issues

📄 许可证

MIT License - 查看 LICENSE 文件了解详情