GitHub · 去对齐工具与仓库·· 21 天前AI 评分22
Synobotix 开源 llm-dataset：LLM 训练数据集处理项目
Synobotix/llm-dataset
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Synobotix/llm-dataset
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 上的 Synobotix/llm-dataset 项目展示了一个用于 LLM 训练的数据集处理工程结构，基于 Poetry 管理，包含 C4 数据的下载、清洗与去重脚本，以及 cleaning、filtering、deduplication 等模块，并预留 tokenizer 和 dataset 目录。详细流程见项目 /documentation/pipeline_project.txt 文档。
来源：GitHub · 去对齐工具与仓库 · github.com