GitHub · 去对齐工具与仓库·· 20 天前AI 评分27
devcoderb 的 llm-assignment-1a:印度金融语料上的 Continued Pretraining 与 QLoRA 实践
devcoderb/llm-assignment-1a-finance-corpus
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/devcoderb/llm-assignment-1a-finance-corpus
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
devcoderb 在 GitHub 开源了课程作业 llm-assignment-1a 仓库,实现了两阶段模型适配流程:先在 10 份来自 RBI 和 SEBI 的金融 PDF 语料上做 Continued Pretraining(CPT),再用金融指令数据集进行 QLoRA 监督微调。流程覆盖 PDF 抽取、清洗、tokenization 与打包、基于 held-out perplexity 的领域评测,并对比 Base、CPT 与 CPT+QLoRA 三个阶段的效果。
来源:GitHub · 去对齐工具与仓库 · github.com