alper4n 发布土耳其语意图分类实测:LoRA 微调的 1.5B LLM 不敌 110M 的 BERTurk
作者在 Amazon MASSIVE tr-TR 数据集上对比土耳其语语音助手命令的 60 类意图分类:LoRA 微调的 Qwen2.5-1.5B-Instruct 达到 0.8383 macro-F1,仍比全量微调的 BERTurk(110M 参数)低 1.2 分,且 BERTurk 训练仅 45.5 分钟(Apple MPS)、推理只需单次前向传播。零样本基线仅 0.4049 macro-F1,3.4% 的预测是编造的标签名;LoRA 微调将编造标签从 101 降到 2。其他发现包括按验证 macro-F1 而非 loss 选检查点值 5.6 分、剥离土耳其语变音符损失 3.3 分准确率且 84% 由字母 ı 造成、多语言 tokenizer 对土耳其语每词最高多花 1.9 倍 token。