cot-translate-local

把 DeepSeek Harness（DSH）主模型的英文思考过程（思维链），用本地小模型
（Qwen3.5-0.8B）实时概括成简洁中文，显示在对话右侧的独立面板里。

• 🔌 纯本地：翻译完全在本机完成，不调任何云端 API
• 👀 纯监听：旁路监听 session 事件，不碰主模型的思维流本身
• ⚡ 大块分段：约 200 词英文切一段，避免翻译队列积压
• 🎨 会话隔离 + 步骤标注：只显示当前对话，用颜色区分步骤、标注轮次
• 🔘 一键开关：面板顶部开关，随时开/关

致谢 / Credits

• 作者 / Author：Anmorris Golopure —— 需求定义、架构与验收
• AI 协作开发 / AI Co-developer：DeepSeek-V4-Pro & deepseek-v4-flash（DeepSeek Harness）—— 插件与本地翻译服务的代码实现与实测
• 模型顾问：DeepSeek 大模型 —— 翻译提示词蓝本与优化建议

架构

主模型（DeepSeek-V4-Pro）产出英文 reasoning
        │  session/event（纯 emit 监听，不改流）
        ▼
DSH 插件 Host 半：收集 reasoning → 切段 → 只翻英文 → 调本地服务
        │  HTTP POST /v1/translate（127.0.0.1:7860）
        ▼
本地推理服务（本仓库 server/serve.py）：Qwen3.5-0.8B on GPU，概括成中文
        │  host.call 轮询
        ▼
DSH 插件 Client 半：右侧窄面板，彩色步骤标注 + 回到底部

目录结构

cot-translate-local/
├── server/            # 本地翻译服务
│   ├── serve.py       # 推理服务主程序
│   ├── index.html     # 独立翻译 Web UI
│   └── requirements.txt
├── plugin/            # DSH 动态插件
│   ├── host.js        # Host 半（监听 & 调度）
│   └── client.js      # Client 半（右侧面板）
├── docs/              # 文档（技术报告 / 恢复手册）
├── LICENSE            # MIT
├── THIRD_PARTY_NOTICES.md
└── README.md

安装

1. 准备模型权重

从 HuggingFace 下载 Qwen3.5-0.8B（约 1.6GB，Apache-2.0 许可证）：

# 放到 server/models/ 下，或设置环境变量 QWEN_LOCAL_MODEL_DIR 指向它
git lfs install
git clone https://huggingface.co/Qwen/Qwen3.5-0.8B server/models/Qwen3.5-0.8B

如需替换为其他 Qwen 系列小模型：把权重放到 server/models/，并相应调整 MODEL_DIR 与 TRANSLATE_SYSTEM 提示词。

2. 安装依赖并启动本地服务

cd server
pip install -r requirements.txt
python serve.py
# 验证：curl http://127.0.0.1:7860/health

环境变量（可选）：

需要 4GB 左右显存的 GPU（CPU 也能跑，但慢）。实测 Quadro T1000（4GB）
加载 bfloat16 权重约 1.4GB 显存，单段推理约 3 秒。

3. 在 DSH 中安装插件

本插件是 DSH「动态 Cordis 插件」。在 DSH 对话中，把 plugin/host.js 和
plugin/client.js 的内容分别提交给 cordis_define（Host 半填 code.host，
Client 半填 code.client），再 cordis_run 激活。

动态插件是进程内临时的，DSH 重启后需重新激活。详见 docs/恢复手册.md。

配置与调优

许可证

• 本项目代码：MIT（见 LICENSE）
• 模型权重 Qwen3.5-0.8B：Apache-2.0（Qwen 团队所有，本项目不重新分发）

详见 THIRD_PARTY_NOTICES.md。

已知限制

• 0.8B 小模型在长段、复杂否定、代码混杂场景下偶有漏译/重复，属参数规模固有局限。
• 语言判断为启发式（中英字符占比），极端混排时可能误判。
• 服务端仅提供翻译接口（/v1/translate），聊天、记忆、多模态等扩展功能不在本仓库内。