Flint 模型（FlintForCausalLM）合并进 llama.cpp
Reddit 用户 /u/jacek2023 发帖称 Flint 模型已合并进 llama.cpp，PR 在 6 小时后被合并，GGUF 版本托管在 unsloth/flint-GGUF。
#llama.cpp
新闻、仓库与研究，按时间排列。
Reddit · r/LocalLLaMAAI 评分5656 GitHub · 去对齐工具与仓库AI 评分2929 Maxxxel/v100-volta-ai-optimization-lab：单张 Tesla V100 上的本地 AI 推理优化研究仓库
GitHub 上的独立社区研究项目 Maxxxel/v100-volta-ai-optimization-lab，在单张 NVIDIA Tesla V100-SXM2（16 GB HBM2）上研究推理性能、agent 可靠性与能效。项目基于 CUDA 12.8 与 llama.cpp/GGUF，累计覆盖 130 个模型挑战者、32 种附加技术、108 个合格因子范围，证据快照为 Matrix revision 237。项目与 NVIDIA、Ollama 等无隶属关系，研究仍在进行，未得出通用最优模型结论。
Reddit · r/LocalLLaMAAI 评分2929 
在 2000 欧元 PC 上跑通 748B DeepSeek-V4.1-Flash
一位用户在不到 2000 欧元的二手 PC（RTX 3090 24GB、128GB DDR4、i9-9900X）上运行了 748B 参数的 DeepSeek-V4.1-Flash-1017，采用 1-bit 量化（Unsloth UD-IQ1_S GGUF，磁盘占用 233GB），通过 llama.cpp 实测速度 7.2 tok/s。110GB Engram 表留在 NVMe 上按需读取，上下文长度 16384；作者认为实用性有限，Qwen 模型在该配置下表现更好。
Hugging Face · 新模型：uncensoredAI 评分2020 mradermacher 发布 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Thinking 的 bf16-i1 GGUF 量化版本
mradermacher 在 Hugging Face 上线 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Thinking-bf16-i1-GGUF 量化模型，提供 Q2_K 等量化格式。该模型可通过 llama.cpp 的 llama serve / llama cli 直接运行，支持 OpenAI 兼容本地服务器，并适配 Ollama、Docker Model Runner、Lemonade、LM Studio 等多种本地工具。
Hugging Face · 新模型：uncensored精选AI 评分5454 LFM2.5-24B-A2B 无对齐 GGUF 量化版发布，拒绝率从 89/100 降到 0/100
pottokao 在 Hugging Face 发布 LiquidAI/LFM2.5-24B-A2B 的去对齐 GGUF 量化版，用 Heretic ARA 去审查后拒绝率从 89/100 降到 0/100，BF16 权重上 KL 为 0.260。所有 attn_output 张量保持 Q8_0，去对齐修改集中在 blk.38.attn_output；IQ3_M 档可在 16 GB 显存单卡运行，模型回答前会先思考，需留较大输出预算。
推荐理由：作者给出了用 Heretic ARA 去对齐前后的拒绝率对比和 KL 数值，并说明各量化档的显存取舍。
GitHub · 去对齐工具与仓库AI 评分2626 Mr-Red：面向 Redmi 9 的 32-bit Android 离线 AI 实验构建
richardbrownmiami-commits 的 Mr-Red 项目推出面向 Redmi 9 的 32-bit Android（armeabi-v7a）离线 AI 实验构建，基于 llama.cpp 做 CPU 推理，GGUF 模型文件放在 APK 外，支持导入最大 2 GB 的模型，权重通过 memory-mapping 降低 RAM 占用。首个里程碑是可复现的 32-bit 构建，1.5 GB GGUF 能导入但不保证能在 Redmi 9 上加载，实际速度与稳定性需在真机测量。
Reddit · r/LocalLLaMA精选AI 评分7070 开发者为 llama.cpp 实现快速 LoRA kernel，Strix Halo 上 PP 从 300 提升到 1400 t/s
/u/woct0rdho 为 llama.cpp 编写了 LoRA 推理 kernel，代码见 https://github.com/woct0rdho/llama.cpp 。在 Strix Halo 上，加载 35 MB 的 LoRA（如把 Qwen3.8-Flash-Next 转成 uncensored 版的 chenrm/qwen3.8-flash-next-abliterated-lora）原本使 PP 从约 1500 降到 300 t/s，通用 kernel 提升到 1000 t/s，fused kernel 进一步到 1400 t/s。LoRA scale 可调节去审查与能力损失之间的平衡，且无需重新下载整个模型。
推荐理由：作者给出了 LoRA 推理在 Strix Halo 上从 300 到 1400 t/s 的实测数据，并开放了可复用的 kernel 代码。
Hugging Face · 新模型：abliterated精选AI 评分5454 Ternary-Bonsai-2-27B 无对齐 GGUF 发布，MTP 头重量化后可跑进 8GB 显存
作者发布 Ternary-Bonsai-2-27B-Abliterated-PQ2_0-MTP-Q4_0-GGUF，在 Hikari07jp 的 abliterated 构建基础上把 MTP 草稿头从 Q8_0（430.41 MiB）重量化为 Q4_0（227.91 MiB），使组合能在 8GB 显卡上运行，实测 RTX 3070 上 45.7 tok/s、7 724 MiB 显存。主干与 abliterated 构建逐位一致，仅 blk.64.* 不同；因 MTP 头只是草稿、输出由主模型验证，困惑度 8.4593 与无头版本 8.4557 在测量误差内，200 个贪心 token 零分歧。
推荐理由：作者给出逐字节校验和 RTX 3070 8GB 实测数据，说明把 MTP 头降到 Q4_0 后为何不损失输出质量。
Hugging Face · 新模型：uncensoredAI 评分4343 MiMo-V2.6-Flash-RL-UNCENSORED 实验性 IQ2 量化 GGUF 发布
BattleGhost 发布 dealignai/MiMo-V2.6-Flash-RL-UNCENSORED 的实验性 GGUF 量化版本，默认 IQ2_XXS、47 个专家 FFN down 投影用 IQ2_S，4 分片共 91.70 GB，MIT 许可。WikiText-2 测试中相对 MXFP4 参考困惑度升至 6.539（高 37.4%），优于全 IQ2_XXS 版本的 6.886。该版本面向 llama.cpp 本地推理，不新增安全训练或内容审核。
Reddit · r/LocalLLaMAAI 评分3636 Qwen3.8-27B-pi 在 RTX 3080 + 3060 双卡本地部署实测
一位 Reddit r/LocalLLaMA 用户在 RTX 3080（10GB）+ RTX 3060（12GB）双卡上用 llama-server 运行 Qwen3.8-27B-pi Q4_K_M 量化模型，配合 MTP 草稿推理实现 30-40 tok/s 生成速度，平均 MTP 接受率约 0.75，上下文 75776。该配置用于 Kotlin/Android 的 agentic coding，作者称 dflash2 草稿反而比 MTP 更慢，并征求进一步优化建议。
GitHub · 灵魂体仓库精选AI 评分6969 pascal-llm-stack：在 GTX 1060 上跑通本地 LLM 的完整配方
jpsanders 发布 pascal-llm-stack 仓库，给出在 Ubuntu 26.04.1、kernel 7.0 上让 GTX 1060 Mobile 6 GB 运行本地 LLM 的完整脚本，包括给 NVIDIA 570 驱动打 kernel 7.0 补丁、用 CUDA 12.8 runfile 避开 apt 的驱动破坏、回退 torch 2.7.1 获取 Pascal 内核，以及用三个 cmake 参数编译 llama.cpp。
推荐理由：作者在 GTX 1060 上逐层修通驱动、CUDA 和 PyTorch 并给出 llama-bench 实测，方法可迁移到其他老卡本地部署场景。
Reddit · r/LocalLLaMAAI 评分5757 
BigMoeOnEdge 作者展示自适应流式优化器，可在消费级硬件上运行大型 MoE 模型
BigMoeOnEdge 作者发布自适应流式 Planner，作为 llama.cpp 之上的资源调度层，在手机、Mac、Windows 笔记本等设备上运行远超内存的 MoE 模型，并提供 OpenAI 兼容本地服务器。实测 Qwen3.6-35B-A3B 在 12GB Android 手机上解码 10 tok/s、NPU prefill 100-300+ tok/s，16GB Mac 上 Planner 将解码从 7 提升到 25-30 tok/s、2000-token prompt 从 21 秒降到 3.4 秒；DeepSeek V4 Flash 284B 在 12GB 手机上 1 tok/s。作者考虑向 llama.cpp 提 PR 集成。
GitHub · 3D 生成新仓库AI 评分5151 
终端 AI 助手 LlamaTerm 开源发布，支持任意 OpenAI 兼容 API
GitHub 仓库 Schaefer42740/llama-terminal-completion 发布 LlamaTerm，一个用 Go 编写的终端 AI 助手，单二进制启动小于 100ms，可用 lt ask 提问、lt cmd 生成 shell 命令。支持 Ollama、LM Studio、llama.cpp、OpenAI、Azure OpenAI，内置多步工具循环的 lt agent、RAG 索引、命名角色与会话、MCP 服务器接入、结构化 JSON 输出和视觉输入，工具调用带确认、危险命令检测与审计日志。
Hugging Face · 新模型：abliteratedAI 评分2020 mradermacher 发布 Huihui-Kolibri-1-BF16-abliterated GGUF 量化模型
mradermacher 在 Hugging Face 上提供 Huihui-Kolibri-1-BF16-abliterated 的 GGUF 量化版本，示例量化为 Q4_K_S。该模型可通过 llama.cpp 在本地运行，支持启动 OpenAI 兼容服务器或终端直接推理，并可在 Ollama、LM Studio、Jan、Docker Model Runner、Lemonade 等工具中使用。
GitHub · 去对齐工具与仓库精选AI 评分5757 
LlamaServerLauncherAvalonia：跨平台 llama.cpp 服务器图形管理工具
hchen3807 在 GitHub 发布 LlamaServerLauncherAvalonia，一个基于 Avalonia UI 和 .NET 8 的跨平台桌面应用，用于启动和管理 llama.cpp 服务器实例。功能包括多实例管理、基于 GGUF 张量表的 VRAM 占用估算（与实际加载对比）、HuggingFace 下载、基准测试对比、MCP 服务器挂载、OpenAI 兼容的按需模型代理、ComfyUI 显存释放集成及硬件监控。项目地址：https://github.com/hchen3807/LlamaServerLauncherAvalonia
推荐理由：这个 llama.cpp 图形启动器把 VRAM 估算拆到每个张量块，并在加载后与实际占用对比，读者可以据此判断估算是否可信。
Hugging Face · 新模型：uncensoredAI 评分3434 mecha-factory 发布 Qwen3.6-35B-A3B-Uncensored-MTP-GGUF 量化模型
mecha-factory 发布 Qwen3.6-35B-A3B-Uncensored（HauhauCS Aggressive）Q4_K_M GGUF 文件，将 unsloth 转换的 MTP 头嫁接到 HauhauCS 的去审查模型上，供 llama.cpp 以 --spec-type draft-mtp 进行投机解码。未做任何重训练或重量化，block_count 从 40 变为 41；Apple Metal 上接受率实测 0.79–0.86，CUDA 上约 0.6。文件按 Apache License 2.0 开源。
Reddit · r/LocalLLaMAAI 评分2525 RTX 5090 Laptop GPU 在 Linux 上因 CUDA graphs 出现 Xid 8 GPU 挂起，仍无修复
一位用户在 Lenovo Legion 笔记本的 RTX 5090 Laptop GPU（24 GB VRAM）上运行 Linux Mint 跑本地 LLM 时，遭遇与 NVIDIA Xid 8 相关的 GPU 挂起。llama.cpp 的相关 issue 指出这是 CUDA graph 求值挂起问题，可用 GGML_CUDA_DISABLE_GRAPHS=1 规避，但会降低性能。用户使用 7.1.13 内核和 595.99.02 驱动，新内核与新驱动均未能正常工作，问题尚无修复。
Reddit · r/LocalLLaMAAI 评分1818 96 GB M3 Ultra Mac Studio 上跑本地编程与对话模型，Qwen3.8-27B 表现如何？
一位用户在 96 GB 统一内存的 M3 Ultra Mac Studio 上用 llama.cpp（Metal）+ llama-swap 做本地推理：编程用 Qwen3.8-27B（Unsloth Q8_0，MTP 推测解码，262,144-token 上下文），对话用 Qwen3-Coder-Next（UD-Q6_K_XL，131,072-token 上下文），两者均用 Q8_0 KV cache。作者对 Qwen3.8-27B 的编程表现印象深刻，Coder-Next 则主要用于对话，并征求同硬件用户的模型、量化与性能经验。
GitHub · 灵魂体仓库精选AI 评分6767 kevinelong/local-llm-lab：64GB DDR5 + RTX 5070 桌面机本地模型实测笔记本
kevinelong 在 GitHub 发布 local-llm-lab 仓库，记录在一台 64 GB DDR5、RTX 5070 12 GB 的 Windows 桌面机上对本地大模型的系统实测，并列出 693 项检查的九套基准。最佳配置为 Qwen3.6-35B-A3B Q4_K_M 经 llama.cpp 预配置（context 131,072、--cpu-moe），以及由 Strata 流式从磁盘服务的 Qwen3.8-Flash-Next Q2_0，两者在排名指标 414/414、全部九套 692/693 上逐格持平，后者的 1,100 项知识测试快 31%。
推荐理由：作者在固定一台桌面机上实测本地模型的匹配度、速度和分数，并公开预测记录与纠错，方法可迁移到自己跑本地评测时参考。
Reddit · r/LocalLLaMAAI 评分4242 
Qwen 3.8 27B LoRA「Herbert」玩贪吃蛇：每步决策约 600ms
Reddit 用户用 Qwen 3.8 27B 的 LoRA 决策模型 Herbert（已合并为 gguf）驱动一个贪吃蛇游戏，模型每步从左转、右转、直行三个选项中决策，单次决策约 600ms。测试经 ssh 隧道连接 5090 + 64GB RAM 服务器，一次运行存活 370 ticks，此前最好成绩超 2200 ticks，经 llama.cpp 以 Q4_K_M 量化、200000 上下文运行。
GitHub · 灵魂体仓库AI 评分2222 miminashi 发布 llm-server-ops：用 Claude Code Skills 管理 llama-server 推理服务器
miminashi 在 GitHub 发布 llm-server-ops，这是一套基于 Claude Code Skills 的 LLM 推理服务器运维工具集，管理 7 台 GPU 服务器上的 llama-server 及相关资源，涵盖 gpu-server、llama-server、discord-notify 三个技能。默认启动 Qwen3.6-35B-A3B-GGUF:UD-Q4_K_XL 模型，上下文长度 131072；aws-gpu01/02 以 RPC 分散配置运行 13 GPU / 200GB。支持 OpenAI 兼容 API、ttyd 监控（7681/7682 端口）及可注册为全局 Claude Code 插件。
Reddit · r/LocalLLaMAAI 评分1515 RDNA2 GPU 上除 llama.cpp 外还有更好的本地 LLM 运行方案吗？
Reddit 用户询问在 RDNA2 GPU 上运行本地 LLM 时，除 llama.cpp 外是否有性能更好的替代方案或分支。多数 AMD GPU 相关项目依赖仅 RDNA3 及以上才支持的 WMMA，图像视频生成有时可用 triton 绕过，但 RDNA2 上功能能否使用全凭情况；strata 虽有 RDNA2 路径并成功运行其试用的 coder 模型，但仅适用于一个特定大模型。用户希望找到 Windows 下可用的方案。
Reddit · r/LocalLLaMAAI 评分2121 llama server 默认端口从 8080 改为 9931
llama.cpp 自 v0.7.0 起，llama server 容器内默认端口从 8080 改为 9931（ggml）。未显式设置端口的用户升级后将遇到破坏性变更，硬编码 8080 端口的测试工具也可能受影响。
Reddit · r/LocalLLaMAAI 评分3232 
别忽视 Nemotron 3.5 Super VL：LocalLLaMA 用户实测冷门知识问答表现最佳
Reddit r/LocalLLaMA 用户以《Anno 1602》游戏规则等冷门知识（禁用联网搜索）对比 6 个模型，Nemotron 3.5 Super VL 120B-A12B 错误最少，仅出现少量幻觉，其余模型（Gemma 4 31B IT QAT、DeepSeek v4 Flash Vision Exp、Qwen3.5-122B-A12B、Qwen3.8-flash-next、GPT-OSS 120B）均幻觉出错误升级条件或游戏版本。该模型 NVFP4 量化版在双 RTX 5060 Ti 16GB + 双 48GB DDR5-6000MHz 上以 llama.cpp 运行，生成约 8-10 t/s、处理约 150-170 t/s。
GitHub · 去对齐工具与仓库AI 评分4040 LocalPilot：硬件感知的本地大模型运行工具
LocalPilot 是一款硬件感知的 Python 应用，可检测本机 CPU、RAM、VRAM 与 Metal/CUDA 加速能力，按兼容性筛选模型并自动配置 llama.cpp、vLLM、Ollama、LM Studio、Docker Model Runner 等推理后端与执行服务。它提供 6 步引导式安装向导、终端内流式聊天（ChatScreen）、25 类结构化错误码的错误恢复系统，支持 TUI 与 CLI 双界面，可通过 pipx、pip 或 uv 安装。
GitHub · 去对齐工具与仓库精选AI 评分6565 
LlamaServerLauncherAvalonia：跨平台 llama.cpp 服务器图形启动器
Guillaume2561 发布 LlamaServerLauncherAvalonia，一个基于 Avalonia UI 和 .NET 8 的跨平台桌面应用，用于通过图形界面启动和管理 llama.cpp 服务器实例。功能包括 GGUF 模型元数据读取与 VRAM 占用预估、多实例管理、基准测试对比、MCP 服务器挂载、OpenAI 兼容的按需模型代理、ComfyUI 显存释放集成，以及 llama.cpp 版本下载与回滚管理。项目地址：https://github.com/Guillaume2561/LlamaServerLauncherAvalonia。
推荐理由：这个跨平台图形启动器把 llama.cpp 服务器的参数配置、VRAM 预估、基准测试和多实例管理整合到一个界面里，适合本地部署用户参考。
GitHub · 灵魂体仓库精选AI 评分6868 Fox 本地 LLM 服务器发布：Ollama 直接替代方案，主打并发下的共享前缀复用
Fox 是一个面向并发负载的本地 LLM 服务器，可作为 Ollama 的直接替代，MIT OR Apache-2.0 双许可，改端口即可兼容现有 Ollama 与 OpenAI 客户端。它包装 llama.cpp，核心优化是并发请求间的共享前缀 KV cache 复用：新请求匹配最长共享前缀跳过 prefill，还能从正在解码的序列复制共享前缀，这是其他 llama.cpp 服务器做不到的。在 Radeon 890M Vulkan 测试中，16 客户端共享系统提示词时 TTFT p50 为 1402 ms 对 llama-server 的 8064 ms，但短独立提示词的单轮请求吞吐约为基线的 96%，反而慢约 4%。
推荐理由：README给出了共享前缀并发场景下与llama-server的对比数据和复现脚本，也坦承短独立请求反而慢约4%，可自行判断适用场景。
Reddit · r/LocalLLaMA精选AI 评分5858 
llama-doctor：读取 llama.cpp 指标并诊断问题的 CLI 工具与实时面板
作者 /u/msalsas 发布了 llama-doctor，一个 CLI 工具加实时面板，可指向运行中的 llama.cpp 或 Unsloth Studio 服务器，拉取 /metrics、/props 和 /slots，给出按严重度分级的问题诊断，涵盖 prefill 与 decode、队列压力、prefix cache 复用率和内存余量。退出码映射到严重度，可用于 cron 门控；工具只读、仅依赖标准库、需 Python 3.10+，代码在 https://github.com/msalsas/llama-doctor，作者欢迎 PR，尤其是能让工具崩溃的服务器场景。
推荐理由：作者开源了一个读取 llama.cpp 运行指标并按严重度分级诊断问题的 CLI 工具，退出码可直接接入 cron 做自动门控。
Hugging Face · 新模型：uncensored精选AI 评分6767 candor-lab 发布 K2-Horizon-7B 去对齐版 GGUF，拒绝率从 287 降至 3
candor-lab 用自研权重编辑工具 Candor 移除了 IFM 的 K2-Horizon-7B 的拒绝行为，以单个 Q4_K_M GGUF（5.59 GB）发布在 Hugging Face，Apache 2.0 协议。288 个 StrongREJECT 有害提示的拒绝数从原版 287 降到 3，300 个 Alpaca 无害提示拒绝数从 2 降到 0，KL 散度 0.052，GSM8K 正确数 1222 对 1209，均在噪声范围内。编辑为 rank-3 修改，覆盖 61 个输出矩阵；搜索的 313 次试验和最终评测均在 llama.cpp 中开启 thinking、reasoning effort high 下完成，前两名候选曾因数学成绩下降或思考预算耗尽被淘汰。
推荐理由：原文给出拒绝率、KL 散度和 GSM8K 的前后对照数据，读者可以据此判断这次权重编辑到底去掉了什么、损失了多少。
Reddit · r/LocalLLaMAAI 评分5555 llama.cpp 提议新量化类型 IQ2_K 至 IQ6_K
Reddit 用户 /u/ethertype 转发了 llama.cpp 提议的新量化类型 IQ2_K、IQ3_K、IQ4_K、IQ5_K 和 IQ6_K。要点包括：文件大小与 Q-quants 相同，KLD 相比 Q-quants 明显改善，但性能略有下降，且生成 IQ 量化较慢；附 PR 链接 https://github.com/ggml-org/llama.cpp/pull/30715 和测试模型 https://huggingface.co/eaddario/IQ2_K-IQ6_K-Test-Models。
GitHub · 灵魂体仓库AI 评分4141 MobitSolidity/marfin-llm：CPU 本地双语金融 LLM 的主系统提示词与治理文档仓库
GitHub 仓库 MobitSolidity/marfin-llm 提供面向 CPU 本地运行、波斯语–英语双语金融 LLM 的主系统提示词（SYSTEM_PROMPT.md v2.0）及配套治理文档，涵盖 RAG、MCP/tool calling、TradingView 集成、券商连接与模拟/实盘交易门控。仓库按阶段推进，当前处于 Phase 8，包含决策日志 D-0001–D-0123、Phase 4 失败归因脚本、Phase 6 红队评测（51/51 mutants killed）以及选定 Q4_K_M 量化的 Ollama Modelfile 等部署与安全组件。
Hugging Face · 新模型：abliteratedAI 评分2424 RuCoverLAB/deepseek-r1-8b-abliterated-q4 的 Q4_K_M GGUF 版本发布
RuCoverLAB/deepseek-r1-8b-abliterated-q4 已通过 llama.cpp 的 GGUF-my-repo 转换为 Q4_K_M 量化 GGUF 格式并上架 Hugging Face。用户可通过 llama-cli 或 llama-server 直接加载该模型运行推理，server 模式示例使用 -c 2048 上下文长度，也可按 llama.cpp 仓库步骤自行编译使用。
Reddit · r/LocalLLaMAAI 评分3131 
Ling 3.1 Flash（560B MoE）通过 llama.cpp RPC 分布加载到 4 台 DGX Spark
Reddit 用户 sudoing 将 560B MoE 模型 Ling 3.1 Flash（每 token 激活 25B 参数）通过 llama.cpp RPC 分布加载到 4 台 DGX Spark 上运行，使用 Atomic Chat 首发的 Q4 GGUF 量化版本。因当时 vLLM 尚无官方 FP4 构建而选择此方案，暂无性能数据，他计划与 124B 的 Ling 3.0 Flash 对比回答质量和等待时间。
GitHub · 灵魂体仓库精选AI 评分6666 Alia v0.2.0 发布：Linux 全本地 coding-agent 启动器
Alia 是一个仅支持 Linux 的全本地 coding-agent 启动器，检测 NVIDIA GPU、显存和内存后自动选择硬件配置、启动 llama-server 并打开 Qwen Code 终端或 Web Shell。v0.2.0 在 RTX 3070 8GB 上实测 Qwen3.6 35B-A3B IQ3_XXS 4K 上下文生成速度 49.9 tok/s，提供多档预设配置、可选 MCP 浏览器与搜索服务器、bubblewrap 沙箱和自动硬件配置选择，README 附带完整基准方法与原始数据。
推荐理由：README 附带在 RTX 3070 上的多配置实测数据和基准方法说明，读者可以据此评估本地跑 coding agent 的速度与内存需求。
GitHub · 灵魂体仓库AI 评分6767 
AgentDevs 开源：基于 llama.cpp 的全本地编码智能体
LucianoDPerez 开源了 AgentDevs，一个完全本地运行的编码智能体，用 llama.cpp 跑本地模型，通过 analyze/plan/execute/review 角色化流程分析、规划、实现并审查代码，关闭任务前强制跑 lint/tests/build 验证。它内置 inspect_routes、inspect_models 等高密度工具以减少小模型的推理步数，集成 codebase-memory-mcp 知识图谱理解项目架构，支持 OpenCode 云端模式作为替代。
GitHub · 灵魂体仓库AI 评分2424 Phonon：把闲置 Android 手机变成局域网本地智能体推理服务器
Phonon 项目将闲置 Android 手机改造成局域网内的私有 OpenAI 兼容推理池，并行度等于手机数量，加手机是加任务槽而非提速。架构为 opencode 主机经 LiteLLM 网关路由到各手机上以前台服务运行的 llama.cpp，单模型单槽位。项目目前处于 pre-alpha，尚无实测数据，首个里程碑是作者两台 Pixel 7 的测量结果，采用 Apache License 2.0。
Reddit · r/LocalLLaMA精选AI 评分6767 
Qwen3.8-27B 在 16GB RX 9070 XT 上以完整 262k 上下文实现 80+ t/s 解码
作者为 llama.cpp 实现了自适应 KV 流式传输并移植到 ROCm/HIP，使 Qwen3.8-27B（IQ4_XS 权重、Q8_0/Q4_0 KV cache）在单张 16GB RX 9070 XT 上跑满 262,144 token 上下文，解码达 80+ t/s。完整 262k KV cache 约需 7.4 GiB，方案将完整缓存保留在主机内存，通过 PCIe SDMA 异步流式传输约 450 MiB（prefill）和约 2,100 MiB（decode）的工作集，并融合 stew675 的 RDNA 4 内核优化、兄弟激活复用、融合 RMSNorm、MTP 投机解码等改进。
推荐理由：作者给出了各上下文长度下的解码与预填充实测数据，以及功耗限制下的对比，可复现到 AMD 单卡本地部署。
Reddit · r/LocalLLaMAAI 评分1919 Qwen3.6 35B A3B 在 llama-server 上为何比 26B 稠密模型快近 10 倍
一位用户在 llama-server 上以 Q5_K_XL 量化运行 Qwen3.6 35B A3B（26GB、132k 上下文、KV cache q8_0），在 4060TI 16GB 加老 i7 与 48GB DDR4 的配置下获得 19.53 t/s 生成速度，prompt 处理 132.58 tokens/s，仅占 4.5GB VRAM；而 26B 稠密模型（Gemma 或 Qwen）Q4_K_M 量化仅约 2 t/s。用户疑惑 MoE 版本为何快近 10 倍，并询问专家层经 PCIe 与 DDR4 是否会成为瓶颈。
Reddit · r/LocalLLaMAAI 评分5656 
llama.cpp 新增 Aleph Alpha 的 Kolibri-1 模型支持
llama.cpp 通过 PR #30673 新增对 Aleph Alpha 的 Kolibri-1 模型支持，作者称在等待 GGUF 权重。该模型是 78B 总参数、每 token 激活约 3.46B 的 MoE 推理模型，主打德语和英语，支持显式推理模式与工具调用，上下文长度 1,048,576 tokens（服务建议不超过 262,144），FP8 权重约占 78 GB 显存，最低需 2× A100 80GB 或 1× H200，采用 Apache 2.0 许可，模型卡见 https://huggingface.co/Aleph-Alpha/Kolibri-1。
GitHub · 灵魂体仓库AI 评分4949 Tessellate：本地优先 AI 笔记应用开放下载，前身为 MemoryMap AI
本地笔记应用 Tessellate（前身为 MemoryMap AI）目前处于 beta 阶段，可下载使用。它通过本地 AI 自动归档、打标签并链接笔记，回答时每句话附笔记引用，数据保存在本机单个 SQLite 文件中，无需账号、云或遥测，支持 Ollama、LM Studio 或 llama.cpp 的 llama-server 作为本地模型。Agent 模式内置 72 个工具和 21 个技能，小模型模式下 4B 模型也可逐步完成任务；改名后旧版需手动迁移 %APPDATA% 数据文件夹。