GitHub · 3D 生成新仓库·· 9 天前AI 评分45
Arka 开源:基于 YAML 配置的 SFT 合成数据生成工具
jayshah5696/arka
来源与原文
GitHub · 3D 生成新仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/jayshah5696/arka
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
开源仓库 arka 发布,通过单一 YAML 配置声明式定义 SFT 合成数据生成全流程,涵盖种子摄取、生成、去重、质量过滤与输出,并支持 SQLite 检查点断点续跑。它支持 JSONL、CSV、PDF 多源输入,提供 prompt 与 Evol-Instruct 两种生成策略、MinHash + LSH 的 O(n) 近似去重、canary 短语隐私检测,可输出 JSONL、ChatML、Alpaca 格式,项目采用 MIT 许可。
来源:GitHub · 3D 生成新仓库 · github.com