跳到正文
arXiv · cs.CL· Mullosharaf K. Arabov·· 4 天前AI 评分28

面向低资源黏着语巴什基尔语的大语言模型参数高效适配:语料库、数据集与可复现基准

Parameter-Efficient Adaptation of Large Language Models to a Low-Resource Agglutinative Language: A Corpus, Datasets, and a Reproducible Benchmark for the Bashkir Language

来源与原文

arXiv · cs.CL

作者:Mullosharaf K. Arabov

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.31397v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一项研究发布巴什基尔语开源资源套件与适配方法系统基准,含 71,567 篇文档、46.9M tokens 的网页语料及三个文本分类标注数据集。实验覆盖 82M-8B 的八种架构,比较全量微调、QLoRA、in-context learning 和持续预训练(CPT):QLoRA 在二分类上优于编码器微调,YandexGPT-5-Lite-8B 加 CPT 达 macro-F1 0.748,高于 XLM-R 的 0.653 和 mBERT 的 0.650。CPT 效果因模型而异,西里尔 tokeniser 更优,且 LLM 评审无法复现母语者的语言正确性评分,母语评测仍不可少。

来源:arXiv · cs.CL · arxiv.org