跳到正文
GitHub · 灵魂体仓库·· 7 天前AI 评分36

Matlab2PythonLLMBenchmarker:用本地 LLM 评测 MATLAB 转 Python 代码的基准项目

asw-v4/Matlab2PythonLLMBenchmarker

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/asw-v4/Matlab2PythonLLMBenchmarker

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一个基于 Inspect (inspect-ai) 的个人基准项目,测试小型本地 LLM 将 MATLAB 代码翻译为 Python 的能力,在作者自己机器上运行,模型由 llama.cpp 的 llama-server 提供。主模型为 OLMo 3 7B Instruct,对比模型为 OLMo 3 7B Think(均为 Q8_0 GGUF),答案键由 GNU Octave 生成,评测指标包括通过率、失败模式、校准度(Brier 分数)和歧义处理。五个试点任务、评测框架和 Inspect 集成已构建并测试完成,尚未在模型上正式运行。

来源:GitHub · 灵魂体仓库 · github.com