dsh-vision
文件与数据 活跃维护

dsh-vision

sjakdhasdh/dsh-vision

轻量级视觉插件,借助阿里云百炼或任意兼容OpenAI的视觉API,让纯文本模型直接识别图像内容。无需重训模型,即插即用,支持主流多模态接口,快速为LLM补充视觉能力。

1
Stars 标星
0
Forks 分支
1
Watchers 关注
0
Open Issues
TypeScript
主要语言
MIT
开源协议
105 KB
仓库大小
1 个月前
最后推送
一键安装扩展 / 插件指令
dsh plugin --profile web add github:sjakdhasdh/dsh-vision
git clone https://github.com/sjakdhasdh/dsh-vision.git
git clone git@github.com:sjakdhasdh/dsh-vision.git
README.md main

dsh-vision 👁️

CI
License: MIT

给 DeepSeek Harness 里没有原生识图能力的模型(如 deepseek-v4-flash)加上识图工具。
Give image-recognition ability to DeepSeek Harness models without native vision (e.g. deepseek-v4-flash).

把本地图片或网络图片 URL 交给视觉大模型(默认阿里云百炼 qwen3.7-flash),返回中文文字描述。
Delegates local image paths / URLs to a vision LLM (default: Alibaba Cloud Bailian qwen3.7-flash) and returns a Chinese description.

English | 中文

demo


中文

特性

  • 🖼️ 支持本地图片路径、网络图片 URL
  • 🔑 OpenAI 兼容格式,不绑定特定厂商(默认阿里云百炼)
  • ⚙️ 配置优先级:插件 config > 环境变量 > 默认值
  • 📦 零额外运行时依赖(只用 Node 内置 fetch

安装

pnpm install && pnpm run build
# 在插件父目录执行:
dsh plugin --profile web add ./dsh-vision
# 重启 dsh,然后新建会话即可使用 vision 工具

配置

方式一:环境变量

export DASHSCOPE_API_KEY=sk-xxx
export VISION_MODEL=qwen3.7-flash-2026-07-15
export DASHSCOPE_BASE_URL=https://dashscope.aliyuncs.com/compatible-mode/v1

方式二:profile 补丁层 ~/.dsh/profiles/<name>/cordis.patch.yml

- id: dsh-vision
  config:
    apiKey: sk-xxx
    model: qwen3.7-flash-2026-07-15
    baseURL: https://dashscope.aliyuncs.com/compatible-mode/v1

使用

模型会自动调用 vision 工具,参数:

参数 必填 说明
image 本地图片绝对路径(如 C:\a.png)或 http(s) URL
prompt 识别要求,默认"请详细描述这张图片的内容"

提示:配合图片上传

DeepSeek Harness 默认的 DeepSeek adapter 声明模型纯文本,上传图片会被 MODEL_DOES_NOT_SUPPORT_IMAGES 拦截。
要让用户能直接粘贴图片(图片块渲染为 [图片附件: sha256:...] 标记),需要对
dsh-llm-deepseek 打一个小补丁(见 PATCHES.md)。


English

Features

  • 🖼️ Local image paths and remote http(s) URLs
  • 🔑 OpenAI-compatible API — vendor-agnostic (Bailian by default)
  • ⚙️ Config precedence: plugin config > environment > defaults
  • 📦 Zero extra runtime deps (built-in fetch only)

Install

pnpm install && pnpm run build
# from the PARENT directory:
dsh plugin --profile web add ./dsh-vision
# restart dsh, then open a NEW session — the `vision` tool appears in the model's toolset

Configuration

Option A — environment variables:

export DASHSCOPE_API_KEY=sk-xxx
export VISION_MODEL=qwen3.7-flash-2026-07-15
export DASHSCOPE_BASE_URL=https://dashscope.aliyuncs.com/compatible-mode/v1

Option B — profile patch layer ~/.dsh/profiles/<name>/cordis.patch.yml:

- id: dsh-vision
  config:
    apiKey: sk-xxx
    model: qwen3.7-flash-2026-07-15
    baseURL: https://dashscope.aliyuncs.com/compatible-mode/v1

Usage

The model calls the vision tool automatically:

Param Required Description
image Absolute local path (e.g. C:\a.png) or http(s) URL
prompt Instruction; defaults to "describe this image in detail"

Note: enabling image upload

The stock DeepSeek adapter declares models text-only and rejects uploads with
MODEL_DOES_NOT_SUPPORT_IMAGES. To let users paste images directly (rendered as
[图片附件: sha256:...] markers), apply the small patch described in PATCHES.md.

Articles / 相关文章

License

MIT