跳到正文
Reddit · r/LocalLLaMA· /u/mshubham·· 11 天前AI 评分38

d3-edge(0.6B)经微调后超越 d3(27B)决策模型

d3-edge (0.6B) fine-tuned outperformed d3 (27B) decision model

来源与原文

Reddit · r/LocalLLaMA

作者:/u/mshubham

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1x7hz2t/d3edge_06b_finetuned_outperformed_d3_27b_decision/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Reddit 用户用 SFT + LoRA 微调 vLLM-SR 的 d3-edge(0.6B),仅用几千条训练样本,在 typed decisions 上超越了 27B 的 d3,并在 Banking77 上接近其表现。作者认为应微调小型专用决策模型,而非在所有任务上使用大型通用模型。

来源:Reddit · r/LocalLLaMA · reddit.com