Reddit · r/LocalLLaMA· /u/Distinct-Pie2389·· 18 天前AI 评分54
llm-tune：一个帮本地 LLM 找到最优运行设置的 Agent 技能
llm-tune: getting local models that actually perform
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Distinct-Pie2389
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x1a5mo/llmtune_getting_local_models_that_actually_perform/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit 用户 /u/Distinct-Pie2389 发布了名为 llm-tune 的 Agent 技能，用于为自己的硬件寻找本地 LLM 的最佳运行设置。支持 Dense、MoE、hybrid MoE/Mamba 架构，覆盖 NVIDIA、AMD、Intel Arc 与 Apple Silicon（MLX），支持 llama.cpp、Ollama、vLLM 引擎，可调量化、上下文/KV cache、GPU offloading、MTP、采样、推理和 agent harness 设置，并测量 VRAM/RAM 占用、tokens/sec、context recall 和输出质量。目前仅在 RTX 4090 上实测，作者征集更多 GPU 环境的反馈和基准结果。
来源：Reddit · r/LocalLLaMA · reddit.com