Merge branch 'pr/happynewplay/41'

docs/cli.zh-CN.md

@@ -66,6 +66,11 @@ aha cli -m Qwen/Qwen3-VL-2B-Instruct --weight-path /path/to/model
 
 # 指定gguf-path和mmproj-path
 aha cli -m qwen3.5-gguf --gguf-path /path/to/xxx.gguf --mmproj-path /path/to/mmproj-xxx.gguf
+
+# 使用 ONNX 模型启动服务
+aha cli -m qwen3-embedding-0.6b --artifact-format onnx \
+  --onnx-path /path/to/Qwen3-Embedding-0.6B-ONNX \
+  --tokenizer-dir /path/to/Qwen3-Embedding-0.6B-ONNX
 ```
 
 ### run - 直接模型推理
@@ -117,6 +122,9 @@ aha run -m FunAudioLLM/Fun-ASR-Nano-2512 -i "语音转写：" -i "audio.wav" --w
 # qwen3 文本生成（单个输入）
 aha run -m Qwen/Qwen3-0.6B -i "你好" --weight-path /path/to/model
 
+# qwen3 GGUF 文本生成（单个输入）
+aha run -m qwen3-0.6b -i "你好" --artifact-format gguf --gguf-path /path/to/Qwen3-0.6B-Q8_0.gguf
+
 # qwen2.5vl 图像理解（两个输入：提示文本 + 图片文件）
 aha run -m Qwen/Qwen2.5-VL-3B-Instruct -i "请分析图片并提取所有可见文本内容，按从左到右、从上到下的布局，返回纯文本" -i "image.jpg" --weight-path /path/to/model
 
@@ -129,6 +137,11 @@ aha run -m qwen3.5-gguf -i 你如何看待AI --gguf-path /path/to/xxx.gguf
 # Qwen3.5-GGUF 有mmproj (两个输入：提示文本 + 文件)
 aha run -m qwen3.5-gguf -i 提取图片中的文本 -i https://ai.bdstatic.com/file/C56CC9B274CF460CA33
 63E59ECD94423 --gguf-path /path/to/xxx.gguf --mmproj-path /path/to/mmproj-xxx.gguf
+
+# Qwen3.5 ONNX 文本生成（text-only）
+aha run -m qwen3.5-0.8b -i "你好" --artifact-format onnx \
+  --onnx-path /path/to/Qwen3.5-0.8B-ONNX \
+  --tokenizer-dir /path/to/Qwen3.5-0.8B-ONNX
 ```
 
 ### serv - 启动服务
@@ -139,7 +152,9 @@ GGUF/ONNX模型必须指定本地文件路径
 
 **语法：**
 ```bash
-aha serv [OPTIONS] --model <MODEL> [--weight-path <WEIGHT_PATH>] [--gguf-path <GGUF_PATH>] [--mmproj-path <MMPROJ_PATH>]
+aha serv [OPTIONS] --model <MODEL> [--weight-path <WEIGHT_PATH>] [--gguf-path <GGUF_PATH>] \
+  [--mmproj-path <MMPROJ_PATH>] [--onnx-path <ONNX_PATH>] [--tokenizer-dir <TOKENIZER_DIR>] \
+  [--artifact-format <ARTIFACT_FORMAT>]
 ```
 
 **选项：**
@@ -396,6 +411,20 @@ aha cli -m Qwen/Qwen3-VL-2B-Instruct -a 0.0.0.0 -p 8080
 - **格式**: OpenAI Chat Completion 格式
 - **流式支持**: 不支持
 
+### Embeddings 接口
+- **端点**: `POST /embeddings` 或 `POST /v1/embeddings`
+- **功能**: 文本向量生成
+- **支持模型**: Qwen3-Embedding 系列
+- **格式**: OpenAI embeddings 格式
+- **流式支持**: 不支持
+
+### Rerank 接口
+- **端点**: `POST /rerank` 或 `POST /v1/rerank`
+- **功能**: query/document 重排打分
+- **支持模型**: Qwen3-Reranker 系列
+- **格式**: Rerank JSON（`results[index,relevance_score,document]`）
+- **流式支持**: 不支持
+
 ### 关机接口
 - **端点**: `POST /shutdown`
 - **功能**: 优雅地关闭服务器
@@ -405,15 +434,19 @@ aha cli -m Qwen/Qwen3-VL-2B-Instruct -a 0.0.0.0 -p 8080
 
 ## 注意事项
 
-1. **serv 子命令必须指定 `--weight-path`**：由于 `serv` 子命令不下载模型，必须通过 `--weight-path` 指定已下载的模型路径。
+1. **GGUF/ONNX 仅支持本地路径**：请使用 `--gguf-path` 或 `--onnx-path`。自动下载管理仅适用于 safetensors 模型。
 
-2. **下载重试机制**：默认重试 3 次，每次失败后等待 2 秒再重试。可通过 `--download-retries` 调整重试次数。
+2. **制品格式选择**：`--artifact-format auto` 使用模型默认格式，也可显式指定 `safetensors|gguf|onnx`。
 
-3. **默认保存目录**：模型默认保存到 `~/.aha/` 目录下，可通过 `--save-dir` 或 `-s` 参数自定义。
+3. **tokenizer 目录**：GGUF/ONNX 若未与 tokenizer/config 同目录，请额外指定 `--tokenizer-dir`。
 
-4. **端口占用**：启动服务前确保指定的端口未被占用，默认端口为 10100。
+4. **下载重试机制**：默认重试 3 次，每次失败后等待 2 秒再重试。可通过 `--download-retries` 调整重试次数。
 
-5. **权限问题**：如果保存到系统目录（如 `/data/models`），确保有相应的写入权限。
+5. **默认保存目录**：模型默认保存到 `~/.aha/` 目录下，可通过 `--save-dir` 或 `-s` 参数自定义。
+
+6. **端口占用**：启动服务前确保指定的端口未被占用，默认端口为 10100。
+
+7. **权限问题**：如果保存到系统目录（如 `/data/models`），确保有相应的写入权限。
 
 ## 获取帮助