dsh-dataset-curation
其他 活跃维护

dsh-dataset-curation

satan9394/dsh-dataset-curation

支持数据集全流程整理操作,涵盖清洗、质量筛选、多样性校验、样本拆分与标注等核心环节,开箱即用,可快速完成高质量数据集的预处理工作。

0
Stars 标星
0
Forks 分支
0
Watchers 关注
0
Open Issues
JavaScript
主要语言
MIT
开源协议
5 KB
仓库大小
1 个月前
最后推送
一键安装扩展 / 插件指令
dsh plugin --profile web add github:satan9394/dsh-dataset-curation
git clone https://github.com/satan9394/dsh-dataset-curation.git
git clone git@github.com:satan9394/dsh-dataset-curation.git
README.md main

dsh-dataset-curation

数据集整理:清洗、质量筛选、多样性、训练/验证拆分、标注规范。
微调效果的上限由数据决定——数据质量 > 模型技巧。

受 wshobson/agents(38k★ MIT)
的 llm-finetuning/dataset-curation 技能启发,改编为 DSH 中文原创精简版。

安装

dsh plugin --profile web add dsh-dataset-curation
# 或本地开发:dsh plugin --profile web add link:E:\DeepSeek_Harness\workspace\2026_08_15\plugins\dsh-dataset-curation
# 重启 dsh web 生效

使用

对 agent 说"整理数据集 / 准备微调数据",dataset-curation 技能输出
清洗 → 质量筛选 → 多样性 → 拆分 → 标注规范 全流程。

结构

dsh-dataset-curation/
├── index.js           # 注册 skills/ 到 ctx.skills
├── cordis.patch.yml   # bundle patch 层
├── package.json       # dsh.bundle manifest
└── skills/dataset-curation/SKILL.md

License

MIT。原创精简改编,灵感来自 wshobson/agents(MIT)。