跳到正文
GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分80

xyntetik-runner 1.0.2 发布:单文件 C 本地模型运行器

Joakimpalm-Zen/xyntetik-runner

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Joakimpalm-Zen/xyntetik-runner

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Joakimpalm-Zen 发布 xyntetik-runner 1.0.2,一个纯 C 编写的单文件本地推理引擎,支持 Linux、macOS 和 Windows,兼容 GGUF 与 OpenAI、Anthropic API,Apache 2.0 开源。工具可仅读模型文件前几 MB 判断是否装得下,在 72 次测试中 70 次命中真实 GPU/CPU 分层且从不乐观;--kv k8v4 将上下文缓存压到约 41%,空闲时 63 GB 模型仅占 35 MB 内存(llama-server 为 60.8 GB);被截断的工具调用仍可解析,LoRA 可直接在量化文件上训练,Qwen3-4B 4-bit 工具调用准确率从 0.69 升至 1.00。

推荐理由

README 给出可复现的实测数据,读者可以拿这些数字与 llama.cpp 等现有推理引擎做具体对比。

来源:GitHub · 去对齐工具与仓库 · github.com