GitHub · 去对齐工具与仓库·· 18 天前AI 评分32
llm-engine:基于 Qwen2.5-0.5B-Instruct 的模块化 LLM 工程实践项目
KothaVivekanandhaReddy/llm-engine
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/KothaVivekanandhaReddy/llm-engine
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 开源项目 llm-engine 提供了一套模块化 LLM 工程栈,覆盖 LoRA/PEFT 微调、评估、RAG、推理网关与 Docker 部署,面向 CPU 本地开发,领域为医学教育。项目以 Qwen2.5-0.5B-Instruct 为基座,使用 145 条医学 QA 数据,LoRA 可训练参数 1,081,344(约 0.2184%),LoRA 模型延迟从约 12.41 s 降至约 2.14 s,但关键词覆盖率由约 0.61 降至约 0.448。RAG 采用 Sentence Transformers 与 FAISS,检索实验 Recall@1 和 Recall@3 均为 1.00。
来源:GitHub · 去对齐工具与仓库 · github.com