跳到正文
GitHub · 3D 生成新仓库·· 9 天前AI 评分45

Arka 开源:基于 YAML 配置的 SFT 合成数据生成工具

jayshah5696/arka

来源与原文

GitHub · 3D 生成新仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/jayshah5696/arka

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

开源仓库 arka 发布,通过单一 YAML 配置声明式定义 SFT 合成数据生成全流程,涵盖种子摄取、生成、去重、质量过滤与输出,并支持 SQLite 检查点断点续跑。它支持 JSONL、CSV、PDF 多源输入,提供 prompt 与 Evol-Instruct 两种生成策略、MinHash + LSH 的 O(n) 近似去重、canary 短语隐私检测,可输出 JSONL、ChatML、Alpaca 格式,项目采用 MIT 许可。

来源:GitHub · 3D 生成新仓库 · github.com