long-horizon-cpu-llm：在普通 CPU 上运行长上下文大语言模型的开源工具
开源项目 long-horizon-cpu-llm 让用户无需 GPU、在普通 x64 CPU 上运行长上下文大语言模型，支持 GGUF 和 Hugging Face Transformers 格式，并提供基于 Streamlit 的可视化界面。
#llama.cpp
新闻、仓库与研究，按时间排列。
GitHub · 去对齐工具与仓库AI 评分2222 GitHub · 灵魂体仓库精选AI 评分6666 Handoff Router 开源：单 GPU 多推理引擎的 VRAM 交接路由
idawz07 发布开源工具 Handoff Router，提供 OpenAI 兼容端点，把 llama.cpp、vLLM、SGLang、Strata、NInfer 等本地模型服务器作为后端统一管理，按请求中的 model 字段在引擎间交接 GPU。
推荐理由：原文明确了它和 llama-swap、Ollama 等换模型工具的差异，管理单位是引擎而非模型，适合单卡多引擎互斥的场景。
GitHub · 去对齐工具与仓库精选AI 评分5555 DeskRecap 开源本地会议记录工具，录音转写摘要全程不出本机
DeskRecap 是一款 local-first 桌面应用，流程为录音（麦克风和/或屏幕音频）→ 用 Whisper 本地转写 → 用内置本地模型摘要并对话，音频和文本不上传。
推荐理由：开源的本地会议记录工具，录音、转写、摘要和对话全程不出本机，还详细说明了 token 鉴权与 macOS 签名等部署细节。
Reddit · r/LocalLLaMA精选AI 评分6060 IceFog72 发布 ik_llama.cpp 分支：MoE 专家常驻与混合 CPU/GPU 执行优化
/u/IceFog72 发布 ik_llama.cpp 分支，加入带宽自适应 CPU/GPU 混合执行、专家常驻（expert residency）、jadidbourbaki 的 n-gram cache 优化适配以及 Q2_0 量化支持，可用 --moe-resident auto --moe-resident-mib N 控制常驻专家占用的 VRAM 上限。
推荐理由：作者在自建 RTX 2060 6GB 环境给出前后对比数据，读者可据此判断这套 MoE 常驻专家方案是否适合自己的瓶颈场景。
Hugging Face · 新模型：uncensored精选AI 评分6868 spiritfather 发布 MiMo-V2.6-Flash-MOPD-Yamz-Uncensored GGUF 量化版
spiritfather 发布 MiMo-V2.6-Flash-MOPD-Yamz-Uncensored 的 GGUF 量化版，把 yamz-labs 的运行时去审查编辑直接烘焙进权重，使其在任意 llama.cpp 运行时无需特殊引擎即可生效。
推荐理由：原文给出了拒绝率前后对比和量化损失数据，读者可以据此判断这个去对齐版本到底去掉了多少、代价多大。
Reddit · r/LocalLLaMAAI 评分1818 
Reddit 用户分享双 MI50 32GB 本地推理主机配置
一位 Reddit r/LocalLLaMA 用户展示其本地大模型推理主机：双 AMD Instinct MI50 32GB（共 64GB HBM2），配 PLX8749 扩展卡避免 PCIe 拆分，双电源（850W 系统 + 1250W GPU）。系统为 Ubuntu 22.04，用 llama.cpp（ROCm 6.4.3）推理，前端 OpenWebUI。
Hugging Face · 新模型：abliterated精选AI 评分6262 Swift 1.5 Qwen3.8-Flash-Next GSQ-RCO 消融版 IQ3_S GGUF 量化发布
slider-meister-pub 在 Hugging Face 发布 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated 的 IQ3_S GGUF 量化，总大小 83.74 GB（约 3.79 bpw），补上上游缺失的 IQ3_S 档位。
推荐理由：原文给出量化构建细节和消融前后拒绝率对比，硬拒绝从98/100降到0，读者可据此评估这个低比特去对齐版本。
Reddit · r/LocalLLaMAAI 评分4343 
Modly v0.4.3 将 llama.cpp 设为默认本地 Agent 引擎
开源桌面应用 Modly 在 v0.4.3 中将 llama.cpp 设为默认引擎，其聊天 Agent 通过 OpenAI 风格的 tool-calling 循环操作应用，可读取网格、减面、平滑及管理工作流。
GitHub · 灵魂体仓库AI 评分5252 llama-profile-lab：llama.cpp profile 的本地实验与调优环境
civcode 在 GitHub 开源 llama-profile-lab，一个针对 llama.cpp profile 的本地实验、基准测试与调优环境，围绕可复现的 N 维参数扫描、生产上下文感知的部署、SQLite 实验历史和 CPU/GPU 遥测设计。
Reddit · r/LocalLLaMA精选AI 评分6262 Kolibri-1 78B-A3.5B 被压至 20.9 GiB / 2.30 bpw，KL 散度比标准 IQ2_XS 低约 59%
作者发布 Aleph Alpha Kolibri-1（约 78B MoE、每 token 约 3.5B 激活参数）的 Sakura-MicroQuality IQ2_XS GGUF 量化版。
推荐理由：作者给出了基于张量敏感度分配比特位的量化方法，并用 KL 散度和 top-token 一致率与标准 IQ2_XS 做了对照。
Hugging Face · 新模型：abliteratedAI 评分2222 atlas-institute 发布 qwen3-14b-orchestrator-abliterated GGUF 模型
atlas-institute 在 Hugging Face 上发布 abliterated 版 Qwen3 14B orchestrator 模型，提供 Q4_K_M 量化的 GGUF 格式。
Hugging Face · 新模型：uncensoredAI 评分1818 Chuncho32 发布 Mistral-Nemo-2407-12B-Thinking-Claude-Gemini-GPT5.2-Uncensored-HERETIC 的 Q8_0 GGUF 版本
Chuncho32 在 Hugging Face 上将 DavidAU/Mistral-Nemo-2407-12B-Thinking-Claude-Gemini-GPT5.2-Uncensored-HERETIC 转换为 Q8_0 GGUF 格式，转换通过 llama.cpp 的 ggml.ai GGUF-my-repo 空间完成。
Reddit · r/LocalLLaMAAI 评分4646 
开发者推出 AI 智能体 Otis：统一托管与本地推理，免去本地模型配置烦恼
Reddit 用户发布自研 AI 智能体 Otis，可自动配置 llama.cpp 并根据硬件推荐合适模型，同时兼容 strata、ninfer 等已有本地环境及托管开源权重模型。其功能包括可查看的 artifacts、并排会话、记忆，以及在本机使用、让推理跑在更强机器上的能力。作者称用 qwen 3.8 学习新话题颇有帮助。
Hugging Face · 新模型：abliteratedAI 评分3636 huihui-ai 发布 Huihui-gemma-4-12B-agentic-fable5-abliterated-GGUF 去审查版模型
huihui-ai 基于 yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF 制作并发布 abliterated 去审查版 GGUF 模型，整个消融过程完全使用 llama.cpp 完成，不依赖 Transformers。
GitHub · 去对齐工具与仓库AI 评分3434 fujisawa-max 开源 llm-grader：LLM 辅助的大学作业人机协同评分 Web 应用
GitHub 项目 llm-grader 是一个基于 FastAPI、Next.js 和 PostgreSQL 的 Web 应用，支持教师管理试题、标准答案、评分标准与学生提交，由 OCR、公式识别和 LLM 评分提供证据，教师保留最终判断。
GitHub · 去对齐工具与仓库精选AI 评分7676 
PXA v2026.10.2 发布：面向 P100/V100 的推理引擎与 PXQN 量化格式
poisonxa16 发布 PXA v2026.10.2，为 Tesla P100、V100 和 GTX 10 系列提供 PXQN 量化格式、tensor split、MTP 投机解码与一键 PXA Control 网页控制台。
推荐理由：原文给出了 PXQN 各档位与 K-quant 的 KL 散度对比和 P100/V100 实测速度表，可据此评估老卡部署 27B 的收益。
GitHub · 去对齐工具与仓库精选AI 评分6363 
letibot：本地优先的 LLM agent harness 在 GitHub 开源
deadtrickster 在 GitHub 发布 letibot，一个本地优先的 LLM agent harness，核心是单一会话日志读取者规则（§13.2）、工具调用前的门控与分级上下文压缩。
推荐理由：原文讲清了单读者会话协议、分级压缩与工具门控的设计取舍，以及安装依赖与模型接入的实际边界。
Reddit · r/LocalLLaMAAI 评分1818 vLLM 到底该怎么学？LocalLLaMA 用户求解学习路径
一位 Reddit r/LocalLLaMA 用户发帖询问如何系统学习 vLLM，称其生态系统难以理解，读官方文档也分不清 server 与 client library 的区别。
GitHub · 灵魂体仓库AI 评分4848 HalloPreach 发布 local-llm-bench：本地 LLM 基准测试仪表盘与 nInfer 远程指标查询页
GitHub 上的 local-llm-bench 项目提供本地 LLM 基准测试仪表盘，支持 llama.cpp、NInfer、SGLang 三种 runtime，UI 采用 vanilla JS + SVG 零依赖、API 为 FastAPI/SQLite 且零 CORS。
Hugging Face · 新模型：abliterated精选AI 评分6969 shefowl 发布 Qwen3.8-Flash-Next 混合精度 GGUF 量化版
shefowl 发布了 Qwen3.8-Flash-Next 的混合精度 GGUF，非专家张量取自 SC117 的 IQ3_XXS 档、路由专家张量取自 Q2_0 档，逐字节复制未重新量化，权重为上游已去拒绝的 abliterated 版本。
推荐理由：作者给出了与 IQ3_XXS 和 Q2_0 档在困惑度、解码速度和内存占用上的实测对比，可据此权衡这套混合量化的取舍。
Reddit · r/LocalLLaMAAI 评分4747 Infermeld v0.1.0：基于 llama.cpp 让单个 GGUF 同时跑在 AMD + NVIDIA GPU 上的开源 Linux 工具包
开源工具包 Infermeld 发布实验性 v0.1.0 版本，基于 llama.cpp 让一个 GGUF 模型跨 AMD（Vulkan）与 NVIDIA（CUDA）GPU 混合运行，提供设备选择、预检、可复现构建和只读热保护。
Hugging Face · 趋势模型精选AI 评分8383 
ISTA-DASLab 发布 Qwen3.8-27B 的 GSQ-RCO 非均匀量化 GGUF 权重
ISTA-DASLab 发布 Qwen3.8-27B 的 GSQ-RCO 非均匀量化 GGUF 权重，提供 2.50 至 3.50 bpw 四个档位及 BF16 视觉投影器。
推荐理由：仓库给出各量化档位与 Unsloth Dynamic 的完整基准对比，并附可审计的逐张量分配文件，读者可据此评估是否采用。
Hugging Face · 趋势模型精选AI 评分7878 Prism ML 发布 Ternary-Bonsai-2-27B 三值量化 GGUF 模型
Prism ML 在 Hugging Face 发布 Ternary-Bonsai-2-27B-gguf，将 Qwen3.8-27B 转为三值权重（1.72 bits/weight），语言模型体积从约 54 GB FP16 降至 5.95 GB（PTQ1_0）或 7.21 GB（PQ2_0）。
推荐理由：原文给出三值权重格式、14 项基准对比和跨平台吞吐数据，读者可以据此评估 1.72 bits/weight 量化在本地部署中的实际取舍。
Hugging Face · 趋势模型精选AI 评分6060 OrcaRouter 发布 OrcaSAQ2 27B Cyber Uncensored GGUF 量化权重
OrcaRouter 发布 OrcaSAQ-2-27B-Uncensored GGUF，将无对齐的 Qwen3.8-27B 从 54.7 GB BF16 压缩到 15.7 GB，PPL 仅 +0.80%，Top-1 agreement 94.4%，mean KLD 0.020。
推荐理由：原文给出了量化后与 BF16 基线的 PPL、Top-1 agreement 和 KLD 对照数据，可据此评估这类高压缩权重的保真程度。
Hugging Face · 趋势模型精选AI 评分7676 
ISTA-DASLab 发布 Qwen3.8-Flash-Next 的 GSQ-RCO 非均匀量化 GGUF
ISTA-DASLab 发布 Qwen3.8-Flash-Next 的 GSQ-RCO 非均匀量化 GGUF，提供 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四档及多模态 mmproj 文件。
推荐理由：原文给出四个量化档位的实测跑分、吞吐与显存占用数据，读者可按内存预算与质量需求直接选型。
Reddit · r/LocalLLaMA精选AI 评分6262 GLM-4.7-Flash 三种量化格式在 Radeon 680M 核显上的 llama.cpp 实测对比
作者用 llama.cpp Vulkan 版在搭载 AMD Ryzen 7 6800H 与 Radeon 680M 核显、64GB DDR5 的 Acemagic miniPC 上，实测 GLM-4.7-Flash 的 MXFP4、Q4_K_M、Q4_K_XL 三种量化（内部 GGUF 头均报告为 deepseek2 30B.A3B MoE）。
推荐理由：作者在 AMD 680M 核显上实测三种量化的速度差异，给出了聊天与长上下文场景各自该选哪个格式的具体依据。
Reddit · r/LocalLLaMAAI 评分4242 llama.cpp 跑 Qwen3.8-Flash-Next GSQ RCO IQ1：还有没有可挖掘的性能？
Reddit 用户在 2x 5060ti 16GB 加 32GB DDR4 上用 llama.cpp 跑 Qwen3.8-Flash-Next-GSQ-RCO-IQ1_M 量化模型（27.58 GB，--ctx-size 98304，KV cache q8_0），询问该硬件下的配置是否还有优化空间。
Hugging Face · 新模型：uncensored精选AI 评分7474 TokenTinkerer 发布 Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 十档 GGUF 量化集
TokenTinkerer 基于 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 发布了 TTQ 十档 GGUF 量化集，从 3.33 bpw 到 6.72 bpw，全部从上游 Q8_K_P 用自建 imatrix 重量化。每档以同一机器同一协议实测 KLD/RMS 与 llama-bench 速度，每档 KLD 均优于上游仓最接近尺寸的量化 1.26× 到 3.51×，同质量档位小 1.44 到 7.90 GiB，匹配对比下 decode 快 6% 到 19%、prefill 快 28% 到 80%。
推荐理由：作者用同一协议实测十档量化的KLD、体积与速度，并给出与上游仓位的逐项对照，读者可按显存和用途挑选合适的档位。
Hugging Face · 新模型：uncensoredAI 评分3333 Qwen3.8-27B-Uncensored-Cyber-ATX-MTP-GGUF 量化版本发布
bjivanovich 在 Hugging Face 发布 Qwen3.8-27B-Uncensored-Cyber 的自定义 ATX GGUF 量化版本，在 blk.64 内嵌 MTP 草稿头，面向渗透测试、漏洞审计等进攻性安全与代码推理场景。
Hugging Face · 新模型：uncensoredAI 评分2828 jingamin 发布 Qwen3.6-27B-Heretic2-Uncensored-Finetune-Thinking 的 GGUF 量化版本（Q5_K_M）
jingamin 在 Hugging Face 上提供 Qwen3.6-27B-Heretic2-Uncensored-Finetune-Thinking 的 i1-Q5_K_M GGUF 量化模型，该模型为无审查微调版本且支持思考（Thinking）。
Hugging Face · 新模型：abliteratedAI 评分2626 jingamin/Huihui-Qwen3.8-27B-abliterated-Q5_K.gguf 上架 Hugging Face
abliterated 版 Huihui-Qwen3.8-27B 的 Q5_K 量化 GGUF 模型已在 Hugging Face 发布，基于 Qwen3.8 27B。该页面给出在 llama.cpp、Ollama、LM Studio、Docker Model Runner、Lemonade 等工具中的使用方法，可通过 llama serve -hf 启动本地 OpenAI 兼容服务器并直接推理。
Hugging Face · 新模型：uncensoredAI 评分2222 jingamin/gemma-4-31B-it-The-DECKARD-HERETIC-UNCENSORED-Thinking.i1-Q5_K_M.gguf 模型在 Hugging Face 发布
Hugging Face 上架了 jingamin 的 gemma-4-31B-it-The-DECKARD-HERETIC-UNCENSORED-Thinking 量化版 GGUF 模型（Q5_K_M）。
Hugging Face · 新模型：abliteratedAI 评分3131 AX1Y2JP/UniPercept-abliterated-GGUF 模型上线 Hugging Face
Hugging Face 新增模型 AX1Y2JP/UniPercept-abliterated-GGUF，提供 Q4_K_M 量化版本。该 GGUF 格式模型可通过 llama.cpp、Ollama、Docker Model Runner、Lemonade 等工具本地运行，也支持在 LM Studio、Jan 中加载。llama.cpp 可启动 OpenAI 兼容的本地服务器并提供 Web UI，也可直接在终端执行推理。
Hugging Face · 新模型：abliteratedAI 评分2828 mradermacher 发布 Qwopus3.8-27B-Flash-V2-abliterated 的 i1-GGUF 量化版本
mradermacher 在 Hugging Face 上发布 Qwopus3.8-27B-Flash-V2-abliterated 的 i1-GGUF 量化版本。