dsh-llm-openai-compatible
其他 活跃维护

dsh-llm-openai-compatible

morlay/dsh-llm-openai-compatible

dsh-llm-openai-compatible

0
Stars 标星
0
Forks 分支
0
Watchers 关注
0
Open Issues
TypeScript
主要语言
None
开源协议
113 KB
仓库大小
1 个月前
最后推送
一键安装扩展 / 插件指令
dsh plugin --profile web add github:morlay/dsh-llm-openai-compatible
git clone https://github.com/morlay/dsh-llm-openai-compatible.git
git clone git@github.com:morlay/dsh-llm-openai-compatible.git
README.md main

dsh-llm-openai-compatible

DeepSeek Harness 的 OpenAI 兼容 LLM 适配器 monorepo:一个 cordis 插件,
通过 providers dict 多路由声明任意 OpenAI 兼容端点(Ollama / 网关 / 自托管
服务),核心新增能力是 profile 级可配置默认采样参数(temperature /
topP / topK / presencePenalty / frequencyPenalty / seed),请求级
GenerateOptions.temperature 优先于 profile 默认值。

传输层复用 @ai-sdk/openai-compatible
(LanguageModelV4.doStream:wire 序列化与 SSE 解析由 SDK 负责),本插件只做
harness 侧的事:消息 → AI SDK prompt 转换、采样默认合并、stream part →
StreamChunk 翻译、错误归一化。

快速开始

1. 安装(发布后)

dsh plugin --profile web add "@morlay/dsh-llm-openai-compatible"

插件安装后处于休眠姿态(空 providers),不会注册任何 provider 路由。

2. 配置

在 profile 的 settings.yaml 中声明 provider:

llm-openai-compatible:
  providers:
    ollama:
      apiKeyEnv: OLLAMA_API_KEY
      baseURL: https://ollama.com/v1
      temperature: 1
      topP: 0.95
      models:
        - id: deepseek-v4-flash:0731
          contextWindow: 1000000
          maxTokens: 65535
          reasoningEfforts:
            off:
            high: high
            max: max

3. 使用

装配后在模型选择器中即可选择各 provider 的模型;每个请求自动带上 profile
默认采样参数(请求级 temperature 优先)。

文档

  • 包 README —— 配置、语义与 wire 映射