rocm-deploy

在 AMD ROCm 上通过 ModelScope 部署、微调和提供 LLM 服务的命令行工具。

安装

npm install -g rocm-deploy

本地构建：

cd src/npm/rocm-deploy
npm link

环境要求

• Node.js 18+
• Python 3.8+
• modelscope Python 包（pip install modelscope）
• ROCm 驱动（可选，用于 GPU 加速）

CLI 使用

# 启动 API 服务器（端口 8080）
rocm-deploy serve -p 8080

# 启动 TUI 界面
rocm-deploy

# 从 ModelScope 下载模型
rocm-deploy download google/gemma-4-E4B-it

# 下载数据集（默认使用 Moemuu/Muice-Dataset）
rocm-deploy download-dataset

# 从 ModelScope ID 下载数据集
rocm-deploy download-dataset -d my-org/my-dataset

# 从 URL 下载数据集
rocm-deploy download-dataset -u https://example.com/data.zip

# 从本地路径导入数据集
rocm-deploy download-dataset -l /path/to/data

# 微调模型
rocm-deploy finetune --model google/gemma-4-E4B-it --dataset Moemuu/Muice-Dataset

# 管理 API 密钥
rocm-deploy create-key -n "my-app"
rocm-deploy list-keys
rocm-deploy revoke-key <key>

# 列出已下载的模型/数据集
rocm-deploy list-models
rocm-deploy list-datasets

API 服务器

启动：rocm-deploy serve -p <port>。设置 ROCM_DEPLOY_ADMIN_KEY 环境变量以启用管理员认证。

接口列表

| 方法 | 路径 | 认证 | 说明 | |--------|------|------|------| | GET | / | 无 | 服务信息 | | GET | /health | 无 | 健康检查 | | GET | /v1/models | 任意 | 列出可用模型 | | POST | /v1/chat/completions | 任意 | OpenAI 兼容对话接口 | | GET | /v1/admin/models | 管理员 | 列出已下载模型 | | POST | /v1/admin/models/download | 管理员 | 下载模型 | | GET | /v1/admin/datasets | 管理员 | 列出已下载数据集 | | POST | /v1/admin/datasets/download | 管理员 | 下载数据集（支持 ModelScope/URL/本地路径） | | GET | /v1/admin/finetune | 管理员 | 列出微调任务 | | POST | /v1/admin/finetune | 管理员 | 启动微调 | | POST | /v1/admin/save-model | 管理员 | 保存微调后的模型副本 | | GET | /v1/admin/keys | 管理员 | 列出 API 密钥 | | POST | /v1/admin/keys | 管理员 | 创建 API 密钥 | | DELETE | /v1/admin/keys | 管理员 | 撤销 API 密钥 |

环境变量

• ROCM_DEPLOY_ADMIN_KEY — 管理员 API 密钥（不设置时自动生成）

环境初始化

# 自动安装 Python 依赖（modelscope 等）
rocm-deploy setup

许可证

MIT