给 glm-ocr 添加 gguf 和 onnx 格式推理

2026-03-26 17:42:58 +08:00
parent b6b970fd25
commit aec47e47af
15 changed files with 2315 additions and 77 deletions
@@ -27,6 +27,7 @@ aha 是一款基于 Rust 和 Candle 框架构建的高性能跨平台 AI 推理
 ## 更新日志
 ### v0.2.3 (2026-03-18)
 - 新增 DeepSeek-OCR-2
+- 增加 GLM-OCR 的 GGUF 和 ONNX 本地加载

 ### 2026-03-17
 - 新增 PaddleOCR-VL1.5 模型
@@ -105,6 +106,12 @@ aha run -m all-minilm-l6-v2 -i "Rust embedding test" --artifact-format gguf --gg
 # 本地运行 all-MiniLM-L6-v2 向量模型（ONNX）
 aha run -m all-minilm-l6-v2 -i "Rust embedding test" --artifact-format onnx --onnx-path D:\model_download\all-MiniLM-L6-v2\onnx --tokenizer-dir D:\model_download\all-MiniLM-L6-v2

+# 本地运行 GLM-OCR（GGUF）
+aha run -m glm-ocr -i .\assets\img\ocr_test1.png --artifact-format gguf --gguf-path D:\model_download\GLM-OCR-GGUF
+
+# 本地运行 GLM-OCR（ONNX）
+aha run -m glm-ocr -i .\assets\img\ocr_test1.png --artifact-format onnx --onnx-path D:\model_download\GLM-OCR-ONNX --tokenizer-dir D:\model_download\GLM-OCR-ONNX
+
 # 仅启动服务（模型已下载）
 aha serv -m qwen3asr-0.6b -p 10100