跳到正文
GitHub · 去对齐工具与仓库·· 14 天前AI 评分18

Helminiak/LLM-Setup:本地大语言模型环境的可复现配置与基准测试文档仓库

Helminiak/LLM-Setup

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Helminiak/LLM-Setup

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Helminiak 发布的 LLM-Setup 仓库旨在把本地大语言模型部署从零散命令整理为可复现、可回滚的工程化配置。内容涵盖 llama.cpp、LM Studio、vLLM 等运行时的启动配置、OpenAI 兼容本地 API、GPU/CPU offload、KV-cache 与上下文窗口实验、基准测试脚本及 speech-to-text 与 RAG 文档。基准测试须记录模型与量化版本、GPU 层数、tokens/second 等信息以区分性能变化与配置漂移。

来源:GitHub · 去对齐工具与仓库 · github.com