GitHub · 灵魂体仓库·· 18 天前AI 评分24
ondrysL 开源 llm-reasoning-optimization v0.1:缩短 Qwen3-0.6B 思考过程的数据管道首发
ondrysL/llm-reasoning-optimization
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ondrysL/llm-reasoning-optimization
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
独立研究项目 llm-reasoning-optimization 发布 v0.1,目标是用 SFT 加 GRPO 缩短 Qwen3-0.6B 的思考长度且不损失答题准确率,当前版本仅实现数据准备管道,尚未包含 SFT 训练、GRPO 和评估。管道克隆 BottleCapAI ThinkingCap-Test 固定 commit,下载四个数据集并加载 GSM8K 人工解答生成 SFT 数据,保留 BottleCap 评估基准(SVAMP、BFCL、MBPP+、IFEval)不用于训练,每来源固定 seed 0 并留出 200 条防止训练验证泄漏。下一步计划包括基于 LoRA 的 SFT 训练、BottleCap 评估适配器及 vLLM 后端。
来源:GitHub · 灵魂体仓库 · github.com