Waypoint：面向 CPU 的 GEMM 解析建模方法
研究者提出 Waypoint，一种解析模型，可为给定硬件和输入矩阵形状自动寻找 GEMM 的最优 tile 尺寸，建模涵盖内存层级、指令级并行和多线程等架构因素。基于 Waypoint 构建的新 CPU GEMM 库 OPAM 性能媲美 state-of-the-art GEMM 库，可将 CPU 上的 LLM 推理加速 $1.36-1.98\times$，还能帮助硬件设计者评估实验性硬件优化的真实性能。
#本地部署
新闻、仓库与研究，按时间排列。
arXiv · cs.AIAI 评分3030
arXiv · cs.CLAI 评分4040 EdgeDeID：无需真实患者数据训练的 0.6B 临床去标识化模型
EdgeDeID 是一个 0.6B 参数的本地运行临床去标识化模型，训练全程不使用真实患者文本，由三个 LLM 教师生成合成笔记再统一标注。在 100 篇人工核验的合成域内基准上达到 0.994 micro-F1，99% 的笔记无遗漏标识符，而八个现成系统中最强者仅为 0.857 和 12%；量化后在 CPU 上仅占 615 MB。但在 MIMIC ICU 护理笔记上 F1 降至 0.48，三个手写上下文示例可回升 0.08 F1。
GitHub · 灵魂体仓库AI 评分5151 ARM-Sparse 实测 Llama 3.2 1B 与 TinyLlama 1.1B 在 Apple M2 上的 FFN 块稀疏加速收益
ARM-Sparse 项目在 Apple M2 CPU 上实测 Llama 3.2 1B 与 TinyLlama 1.1B 的 FFN 块稀疏推理，结论是 packed B8 块内核只在 40-50% 稀疏度才快过 Accelerate 稠密基线，而此时模型质量已不达标（Llama 在 20% 处困惑度 +8.773% 失败）。在 10-20% 质量门槛内，只有采用 neuron-major 权重的 per-neuron 执行器跑块对齐 mask 能比稠密快百分之几（真实 mask +0.9% 到 +3.5%，合成 mask 最高 +7.3%），且质量上限决定了收益上限，不构成端到端可部署加速；仓库附带 99 项自动化测试的完整复现包。
arXiv · cs.AIAI 评分4040 InferSlice：面向电信广域网 SLO 驱动 LLM 推理的参考架构
BT 联合布里斯托大学与 NVIDIA 提出 InferSlice，一个在电信基础设施上实现 SLO 驱动 LLM 推理的参考架构，集成网络切片、GPU 分区、弹性服务与可观测性，并在 JOINER 英国全国广域网上实现。评估显示不同服务层级呈现不同的时延-吞吐区间，权重流式传输可缩短扩容时间；流水线并行可容忍近中距离跨站点跳数，而张量并行与 prefill/decode 分离在超出单一子网跳数后失效。
arXiv · cs.CL精选AI 评分5757 北海道大学医院发布院内封闭网络临床智能体平台 LLENS 并完成评估
论文报道了在北海道大学医院封闭网络内部署的临床支持智能体平台 LLENS，使用 8 块 NVIDIA H200 GPU 与开放权重模型 Kimi K2.6（约 1 万亿参数），自 2026 年 9 月 14 日起在医院网络运行。Kimi K2.6 从 3 个候选中选出，在 2026 年日本医师执照考试模拟中得 480/500 分；在 180 道基于医院文档的问题上，交互式工具访问准确率 97.2%，高于固定检索的 81.3%（差距 15.9 个百分点，95% CI 10.9-21.3）。
推荐理由：在医院封闭网络内部署开源大模型智能体的完整实测，对比了三种检索方式的准确率，方法可迁移到其他内网场景。
GitHub · 灵魂体仓库AI 评分3636 Matlab2PythonLLMBenchmarker：用本地 LLM 评测 MATLAB 转 Python 代码的基准项目
一个基于 Inspect (inspect-ai) 的个人基准项目，测试小型本地 LLM 将 MATLAB 代码翻译为 Python 的能力，在作者自己机器上运行，模型由 llama.cpp 的 llama-server 提供。主模型为 OLMo 3 7B Instruct，对比模型为 OLMo 3 7B Think（均为 Q8_0 GGUF），答案键由 GNU Octave 生成，评测指标包括通过率、失败模式、校准度（Brier 分数）和歧义处理。五个试点任务、评测框架和 Inspect 集成已构建并测试完成，尚未在模型上正式运行。
arXiv · cs.AIAI 评分3838 Tandem：在移动 NPU 上服务混合线性注意力 GUI 智能体
研究者提出 Tandem，一个在移动 NPU 上运行混合线性注意力 GUI 智能体的运行时，通过在相邻请求分叉处保存循环状态、将 prefill 保持在矩阵单元并支持待机降功耗来加速本地推理。在 Snapdragon 8 Elite 上，Tandem 将文本屏幕描述的每步延迟降低 30%、截图降低 16%，文本每步能耗降低 33%，模型加载状态下的待机功耗从 0.76 W 降至 0.22 W。
arXiv · cs.AI精选AI 评分5252 在手机 NPU 上运行一阶 LoRA 训练的系统研究
论文提出让手机 NPU 承担 LoRA 微调中全部三次冻结权重乘法的系统，训练图、适配器和优化器留在 CPU，并复用常驻权重切片和反量化器实现输入梯度计算。系统按梯度敏感度选择精度并为 FP16 输出加逐行范围保护，支持可恢复执行和热节流以作为后台任务运行，在两款 Qualcomm Snapdragon 平台上用 Qwen 和 Llama 四个模型、夜间个性化工作负载和 LaMP-2 基准做了评估。
推荐理由：论文给出在手机 NPU 上跑通 LoRA 一阶训练的系统做法，涉及输入梯度实现、精度选择和端侧个性化工作负载，思路可迁移。
arXiv · cs.AI精选AI 评分5454 FUTRANSFORMER 论文：在 Hopper 上用 FP8 prefill 与 INT4 decode 加速 Llama 风格推理
Wei Wang 在 arXiv 发布 FUTRANSFORMER，一个面向 NVIDIA Hopper GPU 的 Llama 风格 Transformer 推理 CUDA 实现，prefill 用 FP8、decode 用 INT4 权重和 INT4 KV-cache，并采用块对角 Hadamard 变换降低缓存量化误差。
推荐理由：论文给出 Llama 推理在 H100 上 FP8 prefill 与 INT4 decode 的具体实现和量化精度代价，数字可核对、方法可参考。
arXiv · cs.AIAI 评分3838 LocalIntent：用本地 LLM 实现后端兼容的智能楼宇自动化结果导向结构化生成
LocalIntent 是一种面向本地部署 LLM 的结果导向提示方法，将请求分流到普通命令分支或持久规则分支，并进行确定性校验。在 2B-9B 参数的 Gemma 和 Qwen 模型上测试，规则生成方面意图理解从 26.4% 提升至 80.6%，规则模式正确率从 49.1% 提升至 98.6%；非持久请求的提升较小，意图理解从 39.6% 升至 53.2%。该方法整体优于 Monolithic 和通用两阶段提示，但澄清/模式正确率仍依赖具体模型。
arXiv · cs.CLAI 评分3333 PocketTSLM：在智能手机上部署软提示时间序列语言模型，实现隐私保护推理
PocketTSLM 是 OpenTSLM SoftPrompt 时间序列语言模型的移动端部署方案，可将编码的时间序列窗口作为嵌入注入，在全流程于消费级手机上运行。基准测试显示软提示路径的时间序列 token 用量减少约 12 倍，可处理 30 秒 Sleep-EDF 脑电片与 1,000 样本（10 s）12 导联 ECG-QA 心电片，而文本序列化基线在更长窗口下超出手机上下文或内存预算。Swift 移植经数值一致性协议验证与 Python 参考实现一致，推理全程不传输健康数据。
Reddit · r/LocalLLaMAAI 评分5555 
独立研究者用单张 GH200 预训练 21B MoE，MFU 从 21.1% 提到 50.7%
独立研究者因预算限制把原计划用 64 张 H100 的 21B MoE（总参数 20.99B、激活 3.36B）预训练改在单张 GH200（$2.29/小时）上完成，并整理成论文。Benchmark MFU 从 21.1% 提至 50.7%（13 个测量点），真实数据训练 MFU 为 48.9–49.1%（10.9B tokens），附代码、基准记录与训练日志（https://github.com/DW-dev-UE/LLM-from-scratch/tree/main/apex3），论文见 https://zenodo.org/records/23316135。
arXiv · cs.CL精选AI 评分6464 Oído：在 5 美元 ESP32-S3 微控制器上实现无神经加速器的开放词表语音识别
论文提出 Oído 推理引擎，在 ESP32-S3（240 MHz 双核、512 KB SRAM、无神经加速器）上运行 13M 参数 Conformer-CTC int8 模型，实现开放词表英语语音识别。LibriSpeech test-clean/test-other 片上 WER 为 3.70%/8.23%，加 1.3M 参数语言模型后降至 3.33%/7.15%，transducer 头达 2.99%/6.67%，比同芯片厂商识别器少 2.3-2.8 倍错误，也优于笔记本全精度 Whisper 与 Moonshine tiny。
推荐理由：论文给出了在无神经加速器的 ESP32-S3 上跑开放词表语音识别的完整方案和实测 WER、耗时数据，方法与测量细节都可复现。
GitHub · 去对齐工具与仓库AI 评分4949 llm-lang-lab：探索 LLM 智能体更易用的编程语言实验仓库
ddanila 的 llm-lang-lab 仓库是一个探索对 LLM 智能体更友好的编程语言的实验，目前尚未实现新语言。首期对比 C17 与 Go，由 pi 智能体驱动本地 Qwen3.5 9B（Q4_K_M）模型经 Ollama 运行：六次试点中 Go 通过 3/3，C 通过 2/3；v2 全套校准中 C 4/10、Go 6/10。新的 v3 研究包含 800 个新种子试验，预计运行约 17 小时，结果属探索性证据而非稳定排名。
GitHub · 灵魂体仓库AI 评分3939 bilal-jaiel/polimillionaire-llm：本地 LLM 玩《谁想成为百万富翁？》
米兰理工 NLP 课程四人项目让 Llama-3-8B-Instruct（4-bit NF4，Colab T4 GPU）本地玩《谁想成为百万富翁？》，结合 zero-shot/few-shot 提示词、Wikipedia RAG、自一致性投票、模型写 Python 算数学及 Whisper 语音界面。知识类题目准确率达 80-100%，News 和 Maths 仍难（40-50%）。另有对 Mistral-7B-Instruct-v0.2 的 126 种解码配置扫描，最佳配置（temperature 0.7、top-p 0.8、3 beams）进度 37%，且解码参数影响与噪声难以区分。
GitHub · 灵魂体仓库AI 评分4040 TreeSHAP-Guided RAG：将 Suricata IDS 告警转化为泰英双语威胁报告
KMUTNB 的 TreeSHAP-Guided RAG 管线把 Suricata IDS 告警经 XGBoost 分类器（97.5% 准确率）与 TreeSHAP 解释，动态重排 RAG 检索结果，由 Typhoon2（Ollama）生成泰英双语结构化安全报告。知识库含 885,273 个来自 NVD、CVE List V5、CWE 和 MITRE ATT&CK 的文本块，三层引用护栏使 L3 supported 覆盖率从标准 RAG 的 22.7% 提升至 25.1%，并在物理测试床上完成端到端验证。
GitHub · 灵魂体仓库AI 评分5454 ZxBench 发布本地大模型评测系统，题库 1.60.0 含 803 道来源题
ZxBench 是一个本地部署的大模型评测平台，提供 Docker 执行、规则评分、可选 AI Judge、实时监控、冻结题集和排行榜。当前题库 1.60.0 / v0.2.7 包含 803 道来源题（614 道普通题加 189 道来源题的 306 个迁移执行实例），全量执行 920 个实例，覆盖编程、工具、智能体工作流、安全权限等 11 个维度并附综合分权重。v0.2.4 起加入可选语义 Judge 复核，v0.2.9 增加题库同步检查，v0.2.10 冻结带引用立场校验的语义复核 v2。部署需 Node.js ≥22.13、pnpm ≥11，编程和 Docker 执行任务需 Docker 及指定本地镜像。
GitHub · 灵魂体仓库AI 评分2828 BIP-article-llm-benchmarks：面向 CNDTCG 规范文档处理任务的 LLM 基准测试仓库
该仓库发布一组面向 CNDTCG（国家胃肠癌早期检测中心）规范文档问答的 LLM 基准测试，包含 dataset、上下文文档、代码与结果。数据集含 300 道问题（是非、短答、开放答各 100 道），采用 RAG 加载文档，用 FAISS 取 TOP K=5 相似 chunks。评测 DeepSeek R1 Distill Qwen F16/Q6/Q2、Llama Q4/Q8、Qwen 3.5 4B 等不同量化配置模型，可在本地或 Kabré 超算上运行。
Reddit · r/LocalLLaMAAI 评分3838 
原版 GLM-Edge-1.5B-Chat 在 4GB Galaxy A04e 上完成真实 Amazon 购物车任务
GLM-Edge-1.5B-Chat（Q4_K_M GGUF 量化、无微调）通过 llama.cpp 在 4GB 内存的 Samsung Galaxy A04e 上本地运行，借普通桌面 Firefox 会话在 Amazon 完成了查找电池与黄色橡皮鸭并加入购物车的真实任务，两次运行均成功。A04e 全程约 8.5 分钟，Galaxy S21 上约 3 分钟。模型不接收截图或原始 HTML，而是通过结构化浏览器感知层（E2LLM/SiFR）在用户现有浏览器会话内操作，即"Browser-as-Shared-Space（BaSS）"思路。
GitHub · 去对齐工具与仓库精选AI 评分6060 
RuMed ICD-10 编码实测：Qwen3-8B QLoRA 一轮微调不敌 TF-IDF 基线
作者在 RuMedTop3（俄语患者主诉预测 ICD-10 编码，105 类，测试集 n=822）上对比了 TF-IDF、DeepSeek 提示/RAG、Qwen3-8B QLoRA 与 Kev-0.8B 直选五种方法。TF-IDF+逻辑回归 Hit@1 49.03 / Hit@3 72.63，零样本 DeepSeek 仅约 33；Qwen3-8B 在 Apple M2 Pro 上用 MLX 训练一轮 QLoRA（6 小时 32 分钟），Hit@1 从基座 7.66 提升到 35.64（配对差 +27.98 点）但仍低于 TF-IDF；Kev-0.8B 零样本 Hit@1 12.41，迁移效果差，中位推理延迟 523 ms。
推荐理由：同一测试集上系统对比了线性基线、API 提示、RAG、QLoRA 和小型模型直选五种方案，并给出置信区间与配对差异，结论克制可复核。
GitHub · 去对齐工具与仓库AI 评分3939 Goutam Adwant 发布论文《小型本地 LLM 应基于哪种置信度信号弃答？》的研究工件仓库 abstention-signals-local-llms
Goutam Adwant 为论文《Which Confidence Signal Should a Small Local LLM Abstain On?》发布研究工件仓库，包含代码、冻结协议、生成的分析结果、环境清单及脱敏后的运行记录，分析脚本无需调用模型即可在脱敏副本上原样运行。仓库不含 TeleQnA 和 NetConfEval 基准数据集及模型权重，也未包含内部评审记录；从 artifact/ 目录通过一条命令可复现完整实验矩阵。
GitHub · 去对齐工具与仓库AI 评分5353 BOPIS 开源：用贝叶斯优化搜索 llama.cpp 配置以降低本地 LLM 推理能耗
作者发布论文配套软件工件 BOPIS，用贝叶斯优化与 Pareto 选择在 llama.cpp 运行时配置空间中搜索每 prompt GPU 能耗最低的设置，同时保持推理速度与输出质量，并与未优化默认配置和随机搜索基线做三方验证。搜索范围覆盖 Qwen2.5-Instruct 0.5B/1.5B/3B/7B 与 F16、Q8_0、Q4_K_M 精度组合，支持 llama-server、Ollama 和模拟后端；测量核心仅用 Python 标准库，BERTScore 评分作为独立离线阶段。对无功耗传感的 GPU（如 MX330）提供基于资源占用的估算模式并标注 energy_scope，文档还记录了论文第三章的多处修正，包括 Expected Improvement 公式符号写反等问题。
Reddit · r/LocalLLaMAAI 评分5454 
独立开发者展示本地实时世界模型：单张图像转可玩角色，支持运行中切换文本提示
Reddit 用户 /u/lucidml_lover 展示其训练中的本地实时世界模型，可将图像转为可玩角色，支持生成中切换文本提示和 WASD 键盘操作。模型约 960M 参数，采用纯 Transformer 与 diffusion forcing 训练，在 RTX 5090 上以 30% 利用率实时运行，峰值 50-60 fps（软件限至 12fps），M5 MacBook 上达 30fps，训练用了 8x H100 SXM 约 3-4 周。作者计划年底发布供本地用户试用。
GitHub · 去对齐工具与仓库精选AI 评分6262 dzaragoza 开源 LLM-benchmark：本地小模型选型与基准测试工具
dzaragoza 发布 LLM-benchmark 仓库，配套独立研究 Small Models, Big Claims（DOI: 10.5281/zenodo.22855666），测量在集成 GPU 上经 llama.cpp Vulkan 后端从系统内存运行的小型 instruct 模型。
推荐理由：作者把整套基准流程做成一条命令加两个离线选型页，读者可复用其量化阶梯与读速门槛方法来挑选本地小模型。
Reddit · r/LocalLLaMAAI 评分5050 纯 C 编写的 3MB 独立运行器跑 Gemma-2B，捕捉到 Layer 15 幻觉突变
开发者用纯 C + AVX2 编写约 3.3MB 的单文件运行器，在裸机 x86-64 上运行 Gemma-2B，并在残差流上加正交探针观察各层行为。测试台湾法定 5% 增值税时，Layer 0-14 保持正确，Layer 15 真值由 +0.0163 变为 -0.0481，RAX 寄存器输出"15%"。原始 trace、6 页论文和二进制已开源发布。
arXiv · cs.AIAI 评分4747 迈向本地部署的智能体 Co-Scientist：小型模型规划用于早期药物发现
一项研究提出轻量级工具增强框架，让可本地部署的紧凑语言模型为早期药物发现规划 18 个模块化工具的调用。研究者构建 1,263 条人工精修的 query-plan 对，对三个紧凑模型家族做 LoRA 微调；Llama 3.2-3B 在 query 级划分下工具选择 F1 达 0.998、序列精确匹配 0.979，更严格的 workflow-grouped 划分下精确匹配为 0.452 至 0.548，表明组合泛化仍是难点。
arXiv · cs.CL精选AI 评分5757 开放权重 LLM 流水线将 218 万份放射报告存档自动结构化
一项回顾性研究用开放权重模型 gpt-oss-120B 构建流水线，将自由文本放射报告无人工监督地转为结构化报告，含 150 个分层模板，经三步受限解码选择模板并在单张 GPU 上本地运行。
推荐理由：论文用开放权重模型在单张 GPU 上无人工监督地结构化了整院放射报告存档，并给出模板选择与内容保真的量化结果。