新闻、仓库与研究，按时间排列。
开源项目 mobileLLM 在 GitHub 发布，这是一款面向 macOS 和 iOS 的本地优先 Agent 聊天应用，原生 Swift + SwiftUI 编写，支持 Apple MLX、llama.cpp 和 Apple Intelligence 三种引擎通过统一协议在设备端运行开源权重模型，无需账号和遥测。应用内置持久化 Agent 运行时，支持工具调用、MCP、子智能体、并行工具批处理和动态工作流，并提供 OpenAI 兼容的在线模型接口；Apple Intelligence 模型在符合条件的设备上 0 字节可用，要求 iOS 26 / macOS 26。
开源项目 Quorum 是一个自托管 AI 助手平台，可在企业自有服务器上运行本地模型，未来还将支持多智能体编排，支持多租户、按用户授权。目前已实现 Docker Compose 一键安装、流式对话、附件上传（TXT/Markdown/CSV/PDF/DOCX，单个最大 5 MB）、MCP 工具调用，以及基于 Qdrant 集合的知识库问答。它兼容 Ollama、vLLM、llama.cpp、LM Studio 等 OpenAI 兼容端点，无出站遥测，基于 .NET 10 构建，项目仍处早期开发阶段。
mlxtop 发布 3.1.1 版，这是一款本地 LLM 监控工具，将内存压力、分页、GPU 状态与运行时的 tokens/s、prefill 进度、队列等指标并列显示，并用一行结论指出变慢原因如重分页或显存占满。支持 oMLX、vLLM、SGLang、llama.cpp、Ollama、LM Studio 等 13 种运行时的自动检测，本地只读运行、无需 sudo、不上传数据；3.1.1 新增可即时生效的 Settings 页和 mlx-serve prefill 进度，支持 macOS（Apple Silicon）、Linux 与 Windows，MIT 协议开源。
推荐理由：本地 LLM 排障工具把内存、分页、GPU 与运行时自身指标并排呈现，还给出健康与否的一句话结论，适合排查本地推理变慢。
一位 LocalLLaMA 用户用 GMKTek Evo X-2（Strix Halo）96GB 以 HaloGen Flash 跑 Qwen Flash Next，240k 上下文下达到约 1700tps prefill 和 50+ TPS decode。他希望在搭载 5700X3D、128GB DDR4 和 3080Ti 的游戏主机上跑 Maya（用 GLM 5.3）并让 Flash Next 编排，但内存或性能略显不足，正在二手 Threadripper/EPYC、加 3090、多 GPU 或 Strix Halo 外接 eGPU 之间权衡。
Reddit 用户 /u/Barni275 从新发布的 Ling-3.0-tiny UBTree 中提取纯 DFlash 草稿部分（丢弃 7 个 ubtree_selector 张量），使其可在原版 mainline llama.cpp 上运行，并放出转换后的 GGUF 与转换流程（yury-kapoyko/Ling-3.0-tiny-UBTree-dflash-GGUF）。小规模实测显示：散文生成从 78.8 tok/s 提升到 84.8 tok/s（+8%，接受率 0.28/2.7），Python 代码生成从 79.0 tok/s 提升到 127.2 tok/s（+61%，接受率 0.53/4.2）；转换仅需对 GGUF converter 做小补丁，其余均为原生功能。
作者用两台 £299.99 的 Lenovo IdeaCentre Mini（Snapdragon X X1-26-100，32GB LPDDR5，无 GPU）以 USB4 相连，实测 llama.cpp、Janas 和自研 ToRc 引擎跑量化模型的读写速度。统一测试负载下，ToRc 双机跑 Qwen3.6 35B A3B Q4_0 达 315/43.3 tok/s（读/写），编码对话 59.6 tok/s；95GB 的 Qwen3.8 Flash Next IQ4_NL 靠 NVMe 流式读取专家权重，双机达 46.2/20.3 tok/s。MTP 加速依赖文本类型，代码任务普遍提速而 Alice 散文上 llama.cpp 反而变慢。整套方案约 £600、负载功耗各约 35W，ToRc 引擎尚未发布。
推荐理由：作者在两台 300 英镑的骁龙迷你主机上实测多款推理引擎跑 Qwen 大量化模型的读写速度，并给出统一测试负载和完整数据。
一位拥有 2x3090（48GB VRAM）和 48GB DDR4 内存的 LocalLLaMA 用户询问，升级到 128GB DDR4 后能否以低量化运行 DeepSeek V4.1 1017 和 GLM 5.3 Flash，并达到约 20T/s 的速度、胜过 Qwen 3.8 Flash Next 等模型；若无解，是否应直接换用 DDR5 平台。
gogogo2727 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式，文件大小从 4.00 GB（MLX 4-bit）到 14.23 GB（BF16）不等，推荐 GGUF 使用 Q4_K_M（4.60 GB）。该版本无内置安全检查器，可直接生成 NSFW 内容，需配合 ComfyUI 与 ComfyUI-GGUF 使用，文本编码器 qwen3vl_8b 可卸载到系统内存以节省 9–17 GB VRAM。
一位 Reddit r/LocalLLaMA 用户提出把小企业员工笔记本上运行的 Ollama 或 Lemonade 客户端通过共享 API 和自定义负载均衡器连接起来，池化算力分担 LLM 推理负载，从而让小企业免费使用大语言模型。作者已发布最小原型和 GitHub 源码，计划在本地企业做小规模实验验证可行性。
在 17 分 29 秒的 AMI 四人会议音频上，MOSS-Transcribe-Diarize 0.9B 在 M5 Pro MacBook（64 GB、mps）上以 fp32 单次完成转写、说话人标注和时间戳，耗时 714 秒，约 0.68x 实时。四个说话人全部识别，0.25 s collar 下说话人混淆率 0.08%，整体 DER 15.4%；317 段中 87 段为重叠语音且均标注了不同说话人。
Kapitsa 贡献者 Ye 发布 0.2.7 版本，针对老款 Apple Silicon 芯片优化，并在 2021 款 MacBook Pro 14（M1 Pro、16GB）上对六个模型做了与同机最快竞品引擎的基准对比。Qwen3.5 4B/9B 解码达 97.2/56.8 tok/s，分别为 mlx-serve 的 1.56×/1.52×；Qwen3.6 35B-A3B 2-bit 达 52.2 tok/s，解码 1.21-1.35× llama.cpp；六个模型峰值内存均低于对手，Dory 4B 为 4.4 vs 11.5 GB。Nemotron Dory 4B 长上下文解码被 mlx-lm 反超，作者已开 issue 跟进。
推荐理由：作者给出六个模型在 16GB M1 Pro 上与最快竞品的逐项对比数据，含长上下文衰减和内存占用，可复现可查证。
开源推理引擎 capy-flash 发布 v0.7.1，让 Qwen3.8-Flash-Next（125B MoE）在 64 GB 内存加一或两张 16 GB GPU 上运行，双卡实测 234 tok/s；Qwen3.8-27B 3-bit 版可放进单张 16 GB 卡（174 tok/s，64k 上下文）。Flash-Next 的 routed experts 直接使用 ISTA-DASLab 的 GSQ-RCO 3-bit 量化（约 48 GiB 驻留内存，峰值约 57 GB），27B 的 3-bit 量化 MMLU-Pro 从 0.78 降至约 0.72，GSM8K 与 NVFP4 持平；代码与权重见 https://github.com/ValerioDolci/capy-flash。
推荐理由：作者给出了具体显存占用和双卡实测速度，还附上 3-bit 量化与 NVFP4 的质量对比数据，方便判断取舍。
BOAR 2.0.0-rc1 是一款开源 Android 离线研究助手，下载模型与知识包后可在飞行模式下答题，无需账号、服务器或 Google Play Services，答案引用本地 Wikipedia 文章、知识包和用户文档。12 GB 以上手机使用 Qwen3 4B（约 2.5 GB），更低配置用 Qwen3 1.7B（约 1.1 GB），搜索模型为 BGE Small，知识包约 164 MB。应用以 Kotlin 和 Jetpack Compose 编写，推理通过 JNI 调用 llama.cpp，APK 可从 releases 页面下载。
yfHHHE 发布 emoji-native-lm，基于 Qwen3-1.7B 用 LoRA 做 SFT 加 DPO 微调，对任何输入只以 1-3 个 emoji 回复。训练数据约 12k 条中英文聊天消息，由 Claude Opus 生成并回复，覆盖 1,915 种 emoji；666 条评测提示下经 wrapper 的回复 100% 合规，首轮采样合规率 98.9%，而基座 Qwen3-1.7B 为 0%。仓库提供 Ollama 与 llama.cpp 的 GGUF（1.8 GB q8_0）及 Python wrapper 部署方案，代码采用 Apache 2.0 许可。
推荐理由：仓库公开了数据生成、SFT、DPO 到 GRPO 失败与修复的完整脚本和实测数据，读者可以照此复现并借鉴其偏见修正做法。
Seed 是一个本地语言模型训练工作室，可用自己的文本从零训练小模型，并观察学习进度与实验输出。界面包含 Training、文本生成、Chat 和 New life 四个部分，默认模型约 3.36 million 参数、在 CPU 上运行，macOS 可选原生加速。前端采用 React、TypeScript 与 Vite，Transformer 引擎（包括 attention、梯度和优化）直接用 TypeScript 实现，不依赖机器学习库或外部推理 API，可本地或通过 Docker 运行并保存 checkpoint。
黑粉科技的方寸智匣（LocalBrain）是一个本地 AI 工作台，整合大语言模型下载导入、流式对话、文件工具调用及语音、图片、视频、音乐生成，最新版本为 Windows/Linux 2.0.8 和 Mac 2.1.1。Mac 集成 MLX、Metal llama.cpp、Splash 与 Prism，Windows 使用适配的 llama.cpp / Prism，Linux 为预览支持；本地推理不要求对话上传云端。在 RTX 4070 Laptop 8GB 显存本机实测中，PolyStrata 运行 Qwen3.6-35B-A3B UD Q3_K_M 解码速度约 75～90 token/秒。软件为专有软件，安装包不含模型权重。
Thinkube 的 llama-cpp 可选组件提供 LLM Gateway 背后的 llama.cpp 推理服务器，支持 1-bit 到 16-bit 量化的 GGUF 模型，容器在 8000 端口运行 llama-server，提供 OpenAI API（chat completions、completions、embeddings 等）。模型由 MLflow 管理，首次启动将 GGUF 文件复制到节点本地磁盘。镜像基于 llama.cpp release b11476 和 CUDA 13.0 构建，组件与模板均为 MIT 许可。
Thinkube 的可选组件 llama-cpp-prism 使用 PrismML 的 llama.cpp fork，支持其 Bonsai 模型的低比特 GGUF 格式 Q1_0（1-bit）、PQ2_0 和 PTQ1_0，并带专用 CUDA kernels；原版 llama.cpp 会拒绝这些文件。该组件通过同一入口在 8000 端口运行 llama-server 并提供 OpenAI API，镜像基于 fork 的 prism-b10754-2459f68 版本与 CUDA 13.0 构建，模板采用 MIT 许可。
openserbia 在 GitHub 发布 go-llm，一个用于 OpenAI 兼容推理端点的 Go 客户端库，零标准库外依赖，要求 Go 1.27。库会从后端错误响应和返回字节中检测 LM Studio、Ollama、vLLM、llama.cpp、text-generation-inference 各自缺失的 API 部分，并按 json_schema 到 json_object 到无 response_format 的顺序降级而非失败，结构化输出被后端忽略时视同拒绝，被 token 预算截断时返回 *llm.TruncatedError 提示调高 MaxTokens。
推荐理由：这个 Go 客户端把各自建推理后端实现 OpenAI API 时的差异集中处理，降级策略和截断、溢出的区分写得很具体，对自托管部署有参考价值。
Domyn Small 1.0 的支持已合并进 llama.cpp。该模型是 Domyn 开源的约 10B 参数推理模型，原生 32k 上下文（可经 YaRN 扩展至 131k），支持 thinking on/off 双模式推理与工具调用，采用 MIT 许可证，推理 token 消耗约为 Qwen3.5-9B 的 32% 和 OLMo-3-7B-Think 的 35%，BFCL V3 单轮成绩为 75.9 Non-Live / 68.3 Live，适合小显存环境的 agentic 部署。
Kapitsa 开源推理引擎贡献者 Ye 发布 Flint 40B A2.5B Q4 在 MacBook Pro M4 Pro 48GB 上的实测，使用 Kapitsa 达到 128 tok/s 短上下文解码。Kapitsa 为 Apple Silicon 定制 Metal kernel，在 128K 上下文解码上比 recursive 自家引擎快 1.30 倍、比 llama.cpp 快 1.9 倍，缓存后续轮次首 token 延迟 0.13 秒；针对 Flint Q4 训练的 KFlash tree drafter 声称已带来 1.4 倍解码加速，预计周一发布。
GitHub 上开源的 Financial Document Intelligence RAG Assistant 是一个 AI 问答应用，通过 RAG 从上传的金融文档中检索信息，并由 Ollama 托管的语言模型生成有依据的回答。项目使用 ChromaDB 存储向量嵌入，提供 Streamlit 交互界面，并展示检索片段、页码等来源信息。作者强调这是教育性质项目，不能替代专业财务建议或银行正式贷款审批流程。
GitHub 开源项目 homeai 是一个用 LangChain 构建的家庭 AI 助手，默认使用本地 LLM，可选用 OpenAI 作为提供方，支持 LM Studio、Ollama、llama.cpp、vLLM 等 OpenAI 兼容 API 服务，默认模型为 google/gemma-4-e4b。项目提供 CLI、Streamlit Web 界面、PyQt6 桌面应用三种形式，Web Launcher 支持通过 Tailscale Serve 暴露 8501 端口并可打包为 macOS 应用。
ITMO 的 2026 年 LLM 课程在 GitHub 开源，仓库包含 lectures 目录下的讲义与辅助材料，以及 tasks 目录下的实验作业资源，每个实验对应独立目录并附 README.md 说明。实验包括 LLM 部署与实证分析、构建基于文档的 RAG 智能体等，学生成果以项目形式提交至 projects 目录，仓库同时给出 git 提交流程与项目结构及报告要求。
一位 Reddit r/LocalLLaMA 用户分享工作使用体验，质疑 Qwen 3.8 27B 能替代云服务的说法，表示即使配上 RTX PRO 6000 也难以理解这如何实现。其希望摆脱对云厂商的依赖，并向社区征求真正可行的方案。
一位用户计划用约 100 美元购入的 MacBook Pro M2（24GB 内存、1TB 存储），通过 llama.cpp 或 vLLM 搭建轻量 AI 服务器，替代 4 x RTX 5060 Ti 的现有 AI rig 为 Home Assistant 服务以省电费。其担心 M2 的 prompt processing 过慢和模型幻觉问题：gemma4:e4b 实测会漏细节（如"关闭除 3 号灯外所有灯"时全关），也拿不准 Qwen3:30b 是否必需、ornith-1.5:9b 是否够用。
Reddit 用户实测 LFM2.5-24B-A2B-Q4_K_M.gguf 后给出负面评价：在 llama.cpp 优化版上 RTX A4500 跑出 130tk/s 但反复循环，换 LM Studio 后行为稳定。在 Hermes 桌面端测试 Microsoft Garnet 插件任务时，经 GPT 检查发现代码残缺、缺少必要功能且未做端到端测试就声称验证通过，模板修复后改善有限。
GitHub 上开源的 Ollama-UI 是一个本地优先的轻量级 Ollama Web UI，采用 FastAPI 后端加原生 HTML/CSS/JavaScript 前端，无框架、无构建步骤。它支持模型选择、流式响应、对话历史、图片输入（最多 4 张）、消息队列、停止生成和新对话，通过 HTTP/SSE 连接本机 Ollama 实例。项目刻意不做云端部署，提示词和推理全部保留在本地，无需任何外部 LLM API。
作者发布 intel-arc-local-ai 仓库，在同一台机器上逐卡实测 Intel Arc Pro B50 16GB（¥3,499）、B60 24GB、B65 32GB、B70 32GB 四款显卡的本地 AI 表现，涵盖 llama.cpp on SYCL 的 Qwen3.6-35B-A3B Q4_0 解码（37.6/52.4/53.1/75.9 tok/s）、Qwen-Image 2.1 与 MiniMax H3 视频生成速度、整卡功耗（B70 满载约 290 W）及每任务电费。
推荐理由：作者用同一台机器只换卡的方式实测四款 Intel Arc 显卡，给出性能、显存与电费三个维度的对照数据，也标注了未测项。
一位 Reddit r/LocalLLaMA 用户刚收到 2 台 M5U 256GB，计划组双机集群，打算用 Tensorfold 跑 GLM5.3，但不确定只能跑 Q4 量化还是更高量化。他更想跑 DeepSeek 但暂无方案，社区猜测后续重心在 GLM 和 Qwen Flash；他已用 DeepSeek API 作为补充。
一位用户在 M4 MAX 上用 oMLX 运行 `Qwen 3.8 Flash Next oq4e-mtp` 时发现，单任务可达 50/60 t/s，多智能体并发时速度骤降至 20 t/s，且缓存失效导致大量 prefill、GPU 利用率异常。将 Max Concurrent Requests 设为 1 可在多数场景下借助缓存减少 prefill，作者仍在寻求跑满 GPU 的优化方案。
一位非程序员开发者用 opencode 和 ds v4.1 flash free vibe coded 了一个 Android AI 聊天应用，寻找拥有 2024 年后 Snapdragon 手机（需 Android 14+）的用户帮忙测试其 GPU、NPU 和 Hexagon 支持。作者自己没有相应设备，请求测试者反馈报错和性能表现。
SwissDataScienceCenter 发布 sdsc-vllm Helm chart，用于在 Kubernetes 上部署 VLLM 与 Envoy AI Gateway，并借助 Knative Serving 实现模型服务缩容到零。模型通过 values 文件的 models 段添加，示例支持 Qwen/Qwen2.5-Omni-7B-AWQ，可配置 A100 等 GPU、tool calls 开关与缩容延迟。网关 /v1 兼容 OpenAI API，使用 authentik access token 认证，Web 界面通过 GitLab OAuth 登录。
louisphamdev 发布 llm-switcher，一个零依赖的本地多协议边缘网关，可将 Claude Code、OpenAI Codex 和 Antigravity CLI 桥接到 OpenAI 兼容、Anthropic 或 Vertex 等任意上游 API。
CWHISME 在 GitHub 发布跨平台桌面 AI 助手 UiharuMind，通过 llama.cpp 本地运行 GGUF 模型，也可接入任意 OpenAI 兼容 API。支持 Agent 模式（文件读写、shell、联网搜索与工作区文件夹）、角色扮演角色、群聊托管模式、截图 OCR、剪贴板历史、本地语音合成识别与图像生成，权限分只读、自动编辑、全自动三级，数据存于 ~/.uiharu，采用 Apache-2.0 许可证，当前版本为 -alpha。
推荐理由：README 完整列出了本地推理、Agent 权限分级、群聊托管和快捷工具的实现方式，可按需评估是否引入。
MUSE-CODE-SPACE 发布 toolcall-rescue，一个零依赖的纯标准库 Python 包，用于在结构化 tool_calls 字段为空时，从 qwen2.5、Gemma、Kimi、MiniMax 等本地或小型模型以纯文本输出的消息内容中恢复工具调用，支持 Ollama、llama.cpp、vLLM、LM Studio 等 OpenAI 兼容端点。
推荐理由：这是一个可直接落地的本地小模型工具调用抢救库，安全模型讲得清楚，还交代了为何框架核心拒绝收编这一层的取舍。
Goldloli/vid2note 开源（MIT），把 YouTube、Bilibili、HTTP 链接或本地音视频经六步流水线转成结构化 Markdown 笔记与思维导图。支持 bcut 在线 ASR 或本地 whisper.cpp/faster-whisper，LLM 可接 DeepSeek、Qwen、GLM、Moonshot、MiniMax、Doubao、Ollama 等服务；单容器 Docker 部署，默认只监听 127.0.0.1:8761，支持 SSE 进度、失败节点重跑和 Markdown、XMind、PNG 导出。
开源项目 jarvis-telegram-assistant 通过 Ollama 本地运行 Qwen 或 Llama 3.1、Llama 3.2 Vision 模型，在 Telegram 中实现自然语言记录习惯、睡眠、撰写 Obsidian 笔记等功能。助手利用 tool calling 识别意图并返回结构化 JSON 动作，还支持 SQLite 对话记忆、图片理解、月度统计图表，并提供用户 ID 白名单与路径穿越防护等安全机制。
开发者发布开源免费的 Windows 助手 Cephi，按 Ctrl+Alt+Space 即可语音或文字操控整台电脑，支持播放 Spotify 音乐、打开系统设置、划词翻译、截图提问和笔记管理。可接 Ollama 本地模型让数据不出本机，也可用自己的 Claude、Gemini 或 OpenAI 兼容 API 密钥，支持接入任意 MCP 服务器或用一个 JSON 文件添加自定义工具，MIT 协议开源。
推荐理由：开源 Windows 语音助手 Cephi，仓库把本地 Ollama、MCP 工具扩展和快捷键体系讲得相当完整，适合想自建本地 Agent 的人参考。
na0fu3y 发布 Qwen3.8-Flash-Next-Uncensored 的 mlx-serve iQ-MLX 4.7bpw 量化版，基于 orcarouter 的 abliterated bf16 权重，路由专家为 4-bit、其余多为 8-bit，含 MTP 头和视觉塔，移除安全对齐后可响应原模型拒绝的请求。下载体积 100 GB，无 --ple-gpu 时常驻约 75 GB；在 M3 Ultra 上 decode 速度约 124.3-124.8 tok/s，13 个边缘提示词中仅 1 个被拒绝（对照组为 11 个）。许可证为 Qwen Community License 1.0。