探索包含 sglang 主题特性的所有开源仓库、扩展插件与智能体组件。
支持自动发现本地OpenAI兼容模型服务器,提供分层推理元数据解析能力,适配DeepSeek Harness工具链,无需手动配置地址即可快速调用本地模型资源,使用门槛低。
支持DSH环境本地大模型推理服务统一管控,提供GPU资源注册、推理参数配置、显存占用校验、框架速率测试能力,兼容llama.cpp、SGLang、vLLM等主流推理框架。