GitHub · 去对齐工具与仓库·· 18 天前AI 评分52
llmlocal开源:基于llama.cpp的CPU优先OpenAI兼容本地LLM API服务器
AdnanSattar/llmlocal
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/AdnanSattar/llmlocal
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub仓库AdnanSattar/llmlocal发布了一个CPU优先的OpenAI兼容本地LLM API服务器,默认通过llama.cpp子进程运行GGUF量化模型,默认模型为Qwen3-1.7B-Q4_K_M,提供/v1/chat/completions、/v1/completions、/v1/models等端点,支持SSE流式输出和混合推理模型的thinking开关(LLM_REASONING_FORMAT=deepseek使推理过程单独返回不混入答案),默认上下文窗口8192。
来源:GitHub · 去对齐工具与仓库 · github.com