跳到正文
GitHub · 去对齐工具与仓库·· 18 天前AI 评分52

llmlocal开源:基于llama.cpp的CPU优先OpenAI兼容本地LLM API服务器

AdnanSattar/llmlocal

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/AdnanSattar/llmlocal

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub仓库AdnanSattar/llmlocal发布了一个CPU优先的OpenAI兼容本地LLM API服务器,默认通过llama.cpp子进程运行GGUF量化模型,默认模型为Qwen3-1.7B-Q4_K_M,提供/v1/chat/completions、/v1/completions、/v1/models等端点,支持SSE流式输出和混合推理模型的thinking开关(LLM_REASONING_FORMAT=deepseek使推理过程单独返回不混入答案),默认上下文窗口8192。

来源:GitHub · 去对齐工具与仓库 · github.com