GitHub · 去对齐工具与仓库·· 19 天前AI 评分50
165hh 开源 llm-inference-lab：基于 llama.cpp 的 Qwen3-4B 推理性能优化实验仓库
165hh/llm-inference-lab
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/165hh/llm-inference-lab
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者公开了 llm-inference-lab 仓库，做基于 llama.cpp 的端到端推理部署、性能分析与优化，固定基线为 Qwen3-4B / Q4_K_M、单卡 RTX 3090 24G（恒源云 ¥0.98/h）。仓库提供一键环境准备、llama-bench 基准矩阵、SSE 服务压测（TTFT/TPOT）等脚本与 runbook、实验纪律文档，当前 M0 基线尚未跑完，nsys 可用而 ncu counters 受宿主限制无法使用。
来源：GitHub · 去对齐工具与仓库 · github.com