跳到正文
GitHub · 3D 生成新仓库·· 16 天前AI 评分26

Leeroy:基于 llama.cpp 的本地 LLM 推理与 RAG 分析助手开源上线

is-leeroy-jenkins/leeroy

来源与原文

GitHub · 3D 生成新仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/is-leeroy-jenkins/leeroy

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Leeroy 是一个面向联邦分析师和技术用户的 Python 本地优先分析助手,通过 llama.cpp 加载可选的本地 GGUF 模型(如 Leeroy-3B-Instruct.Q4_K_M.gguf,默认 4096 上下文)。它基于 Streamlit 提供 Text Generation、Document Q&A、Semantic Search、Prompt Engineering 和 Data Management 五种模式,用 sentence-transformers 做向量检索,并将聊天历史、提示词、嵌入和导入数据持久化在 SQLite 中。

来源:GitHub · 3D 生成新仓库 · github.com