跳到正文
GitHub · 去对齐工具与仓库·· 20 天前AI 评分27

devcoderb 的 llm-assignment-1a:印度金融语料上的 Continued Pretraining 与 QLoRA 实践

devcoderb/llm-assignment-1a-finance-corpus

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/devcoderb/llm-assignment-1a-finance-corpus

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

devcoderb 在 GitHub 开源了课程作业 llm-assignment-1a 仓库,实现了两阶段模型适配流程:先在 10 份来自 RBI 和 SEBI 的金融 PDF 语料上做 Continued Pretraining(CPT),再用金融指令数据集进行 QLoRA 监督微调。流程覆盖 PDF 抽取、清洗、tokenization 与打包、基于 held-out perplexity 的领域评测,并对比 Base、CPT 与 CPT+QLoRA 三个阶段的效果。

来源:GitHub · 去对齐工具与仓库 · github.com