跳到正文
我的
arXiv · cs.CL· Md. Rafiul Biswas·· 19 小时前AI 评分31

从上下文视角看压缩:评估阿拉伯语法律 LLM 的领域适配、量化与蒸馏

Compression Through a Context Lens: Evaluating Adaptation, Quantization, and Distillation in Arabic Legal LLMs

来源与原文

arXiv · cs.CL

作者:Md. Rafiul Biswas

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2611.07988v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

研究在沙特阿拉伯语法律基准 ArabLegalEval 上,分别在提供法律条文上下文与无上下文两种评测协议下考察 FANAR-9B、JAIS-8B、Qwen2.5-7B 的领域适配、量化和知识蒸馏效果。移除上下文会使基座模型准确率差距最高达 27 个百分点;4-bit 量化将模型内存降低 64-71%,无上下文 MCQ 准确率变化在 -3.2 至 +1.6 个百分点之间。蒸馏结果波动更大,由 FANAR 蒸馏出的 Qwen2.5-7B 学生模型无上下文准确率为 76.6%,其教师模型为 77.2%。

来源:arXiv · cs.CL · arxiv.org

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。