GitHub · 灵魂体仓库·· 20 天前精选AI 评分61
gav998/local-llm:Windows 便携式本地大模型与 OCR Agent 工具集
gav998/local-llm
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/gav998/local-llm
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 仓库 gav998/local-llm 发布了一套面向 Windows 11 x64 的便携式本地 LLM 与文档处理工具集,各模块独立成文件夹,无需管理员权限、系统 Python 或 Docker。包含 llama.cpp 启动器(支持 Split GGUF、4096 至 131072 token 上下文配置、双 GPU KV cache 均分与 Q8 缓存)、PaddleOCR 多配置文件 OCR 服务、Word/Excel 的 HTTP MCP 工具、Digitizer PDF 标注工具、portable VS Code 与 Open WebUI,各服务通过 127.0.0.1 的 OpenAI 兼容 API 互联。
推荐理由
原文详细写清了各 portable 模块的启动方式、端口配置和 VRAM 分配策略,读者可以照着在 Windows 本地复现整套离线 Agent 工作流。
来源:GitHub · 灵魂体仓库 · github.com