arXiv · cs.CL· Md. Rafiul Biswas·· 19 小时前AI 评分31
从上下文视角看压缩:评估阿拉伯语法律 LLM 的领域适配、量化与蒸馏
Compression Through a Context Lens: Evaluating Adaptation, Quantization, and Distillation in Arabic Legal LLMs
来源与原文
arXiv · cs.CL
作者:Md. Rafiul Biswas
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.07988v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
研究在沙特阿拉伯语法律基准 ArabLegalEval 上,分别在提供法律条文上下文与无上下文两种评测协议下考察 FANAR-9B、JAIS-8B、Qwen2.5-7B 的领域适配、量化和知识蒸馏效果。移除上下文会使基座模型准确率差距最高达 27 个百分点;4-bit 量化将模型内存降低 64-71%,无上下文 MCQ 准确率变化在 -3.2 至 +1.6 个百分点之间。蒸馏结果波动更大,由 FANAR 蒸馏出的 Qwen2.5-7B 学生模型无上下文准确率为 76.6%,其教师模型为 77.2%。
来源:arXiv · cs.CL · arxiv.org
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。