新闻、仓库与研究，按时间排列。
melnikaite 在 GitHub 发布自托管离线优先语音助手 voice-assistant，全部运行在本地硬件，无需云端 API key，多数任务可断网使用。默认栈为 LocalAI（llama.cpp）跑 Qwen3-VL-8B-Instruct 32k 上下文、whisper.cpp 流式 ASR、Coqui XTTS-v2 流式 TTS（6 秒样本克隆家庭成员声音），并带 WeSpeaker 说话人识别、语义记忆、个人条目库和 AppleScript/视觉回路的桌面自动化；破坏性操作由提示层、静态分类器和点击过滤三层只读闸门拦截。代码 MIT 协议，XTTS-v2 权重为 Coqui CPML 非商用许可。
推荐理由：项目文档给出了完整的技术栈选型、离线边界和桌面自动化的三层只读防护设计，想自建本地语音助手可以参考其架构取舍。
miminashi 在 GitHub 发布 llm-server-ops，这是一套基于 Claude Code Skills 的 LLM 推理服务器运维工具集，管理 7 台 GPU 服务器上的 llama-server 及相关资源，涵盖 gpu-server、llama-server、discord-notify 三个技能。默认启动 Qwen3.6-35B-A3B-GGUF:UD-Q4_K_XL 模型，上下文长度 131072；aws-gpu01/02 以 RPC 分散配置运行 13 GPU / 200GB。支持 OpenAI 兼容 API、ttyd 监控（7681/7682 端口）及可注册为全局 Claude Code 插件。
MelonTools 是一个管理 Codex 账号池的开源工具，可在本地 vault 中管理账号、刷新用量，并通过绑定 127.0.0.1:18317 的本地 OpenAI 兼容网关路由请求。它还支持以 API key 接入 OpenRouter 和 OpenCode 模型、在 Codex composer 中显示账号与用量信息，并提供 macOS 和 Windows 版本，采用 MIT License 开源。
Reddit 用户询问在 RDNA2 GPU 上运行本地 LLM 时，除 llama.cpp 外是否有性能更好的替代方案或分支。多数 AMD GPU 相关项目依赖仅 RDNA3 及以上才支持的 WMMA，图像视频生成有时可用 triton 绕过，但 RDNA2 上功能能否使用全凭情况；strata 虽有 RDNA2 路径并成功运行其试用的 coder 模型，但仅适用于一个特定大模型。用户希望找到 Windows 下可用的方案。
ReadyArt 发布 Swish 26B A4B 模型，基于 Dark Scarlett 和 Wicked Tutu 两套数据集训练，前者以深度角色回应著称，后者被作者称为其制作过的最露骨的数据集。作者称两者结合使模型整体保留尺度但质量不错，并计划视时间和资金情况推出 27B 和 31B 版本。
Reddit r/LocalLLaMA 用户分享 Strata 运行 QFN UD-Q4_K_XL 量化模型的多 GPU 实测：单 GPU 约 70 t/s、内存占用约 80 GB，用 --gpus all 加到 3 块 GPU 后速度升至约 100 t/s，但内存未下降。后续发现可在 strata json 中设置 --resident-budget-gib 参数（如 50）将部分专家卸载到磁盘以降低内存。
Reddit 用户实测 9070 XT 搭配 RTX 3080 双卡运行 LLM，效果不佳：3080 仅 PCIE 4.0 x4，ROCm 和 Vulkan 表现也差，Qwen3.8 28B Q4_K-M 仅 30-50 tok/s，64k 上下文比 128k 掉速明显。层拆分优于张量拆分，MTP 可带来约 2x 提升，显示器必须接在 9070 XT 上，两卡 GPU 占用仅约 60% 和 30%。
/u/whiteh4cker 基于 u/lxe 的 dsx 推理引擎制作并上传了 DeepSeek-V4.1-Flash-1017-dsx-2.6bit 量化权重，面向编程与智能体任务。该 2.6127 bpw 版本对比 FP4 teacher（KL 0.253、Top-1 78.7%、Perplexity 9.78）与 2.03 bpw 版本，取得 KL 0.1972、Top-1 82.59%、Perplexity 9.3626。在 2x RTX 3090、192 GB DDR5 的硬件上，262,144 上下文加 Engram 表（203 GB，SATA SSD）下生成速度 26 t/s、prompt 处理 170 t/s；187.6 GB 权重从 HDD 加载需 90-110 分钟，引擎尚不支持图像。
华为联合上海交大、华中科大发布 SUPRA-Tex，从单张图像生成保留文字、图案与材质边界细节的可重新打光 GLB 资产，含 base color、metallic、roughness 纹理，仓库已开源图像到 3D 与网格纹理化的推理代码。模型在 Hugging Face 开放，包括 2.1B 的 3D Completion 和 33.6M 可训练参数的 Material Adapter，论文见 arXiv:2610.22352；全流程已在 RTX 3090 24GB 测试，建议 48GB 以上 GPU，训练代码未发布。
/u/FeydRowan 在 2× RTX 5070 Ti + 96 GB DDR5 上整理了可运行 Qwen3.8-27B 和 Flash-Next（125B MoE、6B 激活）的各推理引擎 decode 速度，区分了本人验证与作者自报数据，capy-flash（DFlash2）在 27B 上达 379 tok/s。文中指出 TP 比层切分更快、drafter 可带来 2–3× 加速、单模型内核在 batch 1 下比通用引擎快 2–6×；按本月欧盟含税价折算，两张中端卡每欧元性能比 5090 高 3–10×，且 96 GB DDR5 涨价后约占专家放内存方案成本的 40%。
推荐理由：作者在同一台机器上实测多款推理引擎并按欧元换算每千欧元的 tok/s，还指出 2026 年 RAM 涨价改变了性价比排序。
kuchris 在 GitHub 发布 openinterview，面向 Apple Silicon Mac 的本地低延迟语音识别与 AI 面试练习工具。支持 MLX Whisper、NVIDIA Parakeet 或 Apple SpeechAnalyzer 在设备上转写通话双方，最终延迟约 1–2 秒，音频不出本机；可识别技术与行为面试问题并忽略寒暄，通过 OpenCode（如 DeepSeek）或任意 OpenAI 兼容服务生成可口头表达的简短答案，并按导入的 CV 和目标岗位定制。支持英语、日语、简繁中文和粤语，会话可本地保存回放，需 macOS 14.2+。
推荐理由：开源的 macOS 面试练习工具，本地转写双方通话并按 CV 生成口头答案，隐私设计和延迟数据写得具体。
al2m4n 发布 TheYgent，一个自托管、无代码的 AI Agent 编排平台，通过可视化画布组合 LLM 步骤、工具、MCP 服务器、RAG、路由和人工审批节点。内置本地推理支持 llama.cpp、Apple Silicon 上的 MLX 和 NVIDIA GPU 上的 vLLM（实验性），也可接入任意 OpenAI 兼容 API；默认无遥测、可完全离线运行，发布版本不可变可回滚，并提供 Claude Code AI 网关与面向编码 Agent 的 MCP 服务器。许可证为 Sustainable Use License，自用免费，商业化转售或托管服务需授权。项目地址：https://github.com/al2m4n/TheYgent
推荐理由：原文完整列出了可视化编排、内置本地推理和隐私架构等能力，还给出部署方式与许可证条款，便于评估是否自托管。
tbphp 发布 GPT-Load 2.0，一个自托管 AI 网关，将多渠道、多凭据的 API key 与订阅账号统一在单一入口后管理，支持流量调度、故障隔离、请求日志和用量统计，客户端保留 OpenAI、Anthropic、Gemini 原生协议。2.0 为完全重写，无法原地迁移 1.x 数据，需用独立数据库和 DATA_DIR 部署；默认 Docker Compose 部署并支持 SQLite、MySQL 或 PostgreSQL，内置 Codex、Claude、Antigravity、Grok 等订阅渠道的 OAuth 接入。
推荐理由：原文给出多渠道凭据调度、故障隔离和部署细节，读者可据此评估这个自托管 AI 网关是否适合自己的多上游接入场景。
slipstream 是一个部署在 AWS EKS 上的自托管 LLM 推理平台，用 vLLM 在 Karpenter 调度的 g5 GPU 节点上服务 AWQ 量化的开源模型。它通过无人值守的两层参数扫描（引擎参数 × 客户端并发）找出每个配置在 SLO 下的持续并发上限，just stack-up / stack-down 可一键搭建和销毁整套环境，目标是在单 GPU、按需计费的预算下提升每美元 token 吞吐。
llama.cpp 自 v0.7.0 起，llama server 容器内默认端口从 8080 改为 9931（ggml）。未显式设置端口的用户升级后将遇到破坏性变更，硬编码 8080 端口的测试工具也可能受影响。
XHToken 在 Spark-X2.5-4B 基础上推出端侧部署模型 Spark-X2.6-4B，架构不变，靠改进后训练提升编码、Agent、长上下文、多语言与推理能力，在同级开源模型中达到 SOTA，可匹敌或超越约 9B 参数的模型。模型提供 none、low、high 三档可控思考预算，支持最大 1,048,576 token 上下文，推理效率不低于 Qwen3.5-4B 和 Gemma-E4B，并可在 SGLang、vLLM 上部署。
junmo-k 在 Hugging Face 发布 Piecrust/GLM-5.3-Flash-FP4-Abliterated 的 MLX 重打包，基于 NVIDIA 的 NVFP4 量化版 GLM-5.3-Flash（320B 总参数、约 18B 激活），对第 15-36 层的 44 个矩阵施加 rank-1 拒绝方向编辑。在 Apple M5 Ultra 256GB 上实测，去对齐编辑相对未编辑版本 NLL 高 0.46%，解码慢 12-24%，峰值内存多约 13GB；相对作者自己的 158GiB JK v4 版 NLL 低 1.47%。加载需 14 行 oMLX 补丁以支持每专家 weight_scale_2。
推荐理由：作者给出消融方法细节和与未编辑版本的 NLL、速度、内存对照数据，可据此评估这次去对齐编辑的实际代价。
该开源项目在 Kaggle 双 Tesla T4 GPU 上运行 Z-Image-Turbo GGUF Q6_K 模型，采用 GPU0 提示词编码与双卡独立推理工作器架构，并提供密码保护的 Vue Studio 和两个 Cloudflare HTTPS 网站。项目附带经 SHA256 验证的 170 张水印图集（48 张质量图 + 122 张 benchmark 图），代码采用 MIT 许可，上游模型为 Apache-2.0，作者强调仅为演示而非生产部署。
Lautloserspieler 在 GitHub 发布 llm-server-benchmark，一个面向本地 LLM 推理的可复现基准测试框架，支持 llama.cpp 原生基准与 Docker 化 vLLM 后端，TGI 和 Ollama 处于未发布的 Beta 状态。框架在记录性能结果的同时保存硬件、驱动、后端、模型文件、量化、基准设置与 NVML/rocm-smi 遥测数据，提供 TTFT 与并发压测、长上下文 KV cache 基准、OOM 与多租户等压力测试，输出 HTML/PDF/CSV/JSON 报告，并通过配置指纹、模型 sha256 和 llama-bench 二进制哈希支持带严格校验的跨机器比较。
推荐理由：这个基准框架把硬件、驱动、量化、遥测等条件与性能结果一起记录，并用严格模式校验跨机器比较的可比性。
MaxGraph 是一个开源（BSL-1.1）的 AI 智能体项目记忆工具，通过 MCP 或 REST 为 Claude、Cursor、VS Code、Cline、DeepSeek 等客户端提供跨会话的项目记忆，记录决策、bug 和待办。数据以本地文本文件存储、离线可用，支持语义搜索和仪表盘查看编辑，官方称可节省约 43% token。7 天免费试用，之后为一次性付费，1 个月 149 ₽、12 个月 1 299 ₽。
GitHub 项目 Lotse 是一个面向在线商店的 AI 助手，支持 Shopware 6、Shopify、Magento 2 和 OpenMage，可通过聊天管理页面、价格、文本与 SEO。AI 只获受保护的只读权限，任何写入须经用户确认并支持 Alt→Neu 对比、审计日志与撤销，凭据以 AES-256-GCM 加密。可接入 Claude（Anthropic API）或 ChatGPT 订阅（Codex），通过 Docker 一键运行，也支持自托管。
AstrAI 在 GitHub 上开源，是一个覆盖模型构建、训练、评估到服务全生命周期的轻量级 Transformer 框架，基于 PyTorch，要求 Python 3.12+ 并固定 PyTorch 2.13.0。它支持 GQA、MLA、MoE、RoPE 等模型组件，提供预训练、SFT、DPO 与在线 RL（GRPO/PPO）训练，以及 continuous batching、paged KV cache 推理和兼容 OpenAI/Anthropic 协议的 FastAPI 服务。评测工具涵盖 MMLU、HumanEval、IFEval、ROUGE 等，并附 1B checkpoint 下载与 Docker 部署方案。
GitHub 开源项目 SayGuard 用一台 ASUS UGen300（Hailo-10H）分析工地或仓库所有摄像头流，支持用中文或英文语音添加安全规则，全部模型本地运行、视频不出场。原型中安全帽检测达 0.939 mAP50，10 路摄像头单检测器达 100 frames/s；CLIP 双检模型每条警报 15 ms、准确率 95.3%，优于生成式 VLM 的 91.7% 和 283 ms。系统用 YOLOv8s 检测、Whisper 语音识别和 Qwen2.5-1.5B 生成规则与日报，UGen300 零售价 NT$6,380、功耗 2.5 W，最多覆盖 12 路摄像头。
开发者正在 GitHub 开源 MillelithAI 项目，从零构建名为 Aether 的语言模型，不使用预训练权重或微调，长期目标是面向授权安全工作的网络安全 AI。目前处于极早期，仅完成字符级 tokenizer、数据加载器、bigram 模型和带 loss 记录的训练循环；规划从 Prototype（1M-10M params）逐步扩展到 Aether Nano ~30M、~100M、~300M 直至长期目标 ~1B。项目基于 Python 和 MLX，需 Apple Silicon Mac 运行，代码仅限阅读，保留所有权利。
GitHub 开源项目 enterprise-knowledge-intelligence-system 是一套生产导向的 RAG 应用，结合 PDF 摄取、文本分块、语义向量搜索与 BM25 混合检索、cross-encoder 重排，并用本地 Ollama 模型（qwen2.5:3b）生成带来源引用的答案。系统基于 Python 构建，采用 FastAPI 后端和 Streamlit 界面，向量库使用 Qdrant，嵌入由 Sentence Transformers 生成。项目包含自动化测试（46 个测试通过）和 RAG 评估流程，评估覆盖答案匹配、引用有效性和拒答等行为。
用户在 Windows 11 上用双 AMD GPU（9070XT 和 9060XT）以 layer split 方式运行 Strata，需设置 "STRATA_RESIDENT_PIN": "0" 才不崩溃，但仍有性能损耗。最终改用单张 9070XT，IQ3_XXS 量化下达到约 1350pp 和 50-100 tgs，并自行编译 Vulkan 版 vision，在第二张卡上运行 vision mmproj。官方虽不支持 Windows 双 AMD GPU 和 vision，但该配置无需修改代码即可运行。
Nace.ai 的 Ye 发布开源（Apache 2.0）推理引擎 Kapitsa，专为 Apple Silicon 定制 Metal kernel，仅支持 Qwen 和 NVIDIA Nemotron 两个模型家族，用于在 Mac 本地跑编码 Agent。速度来自按架构定制的 Metal kernel、投机解码（DFlash2、DFlash、DSpark、LiLiCorr）、混合模型的 KV 加循环状态缓存、27B 与 Bolt 部分预填充跑在 Neural Engine、并发请求共享 GPU pass。
推荐理由：作者逐项拆解了推理加速来源，并给出三档 Mac 上与多个主流引擎的 tok/s 对照表，还提供 CLI 让读者自测提交结果。
TensorSharp 维护者发布 Video Studio，将本地视频生成、可编辑时间线和可选本地 LLM 助手整合进同一开源项目。演示在配备 M5 Pro 芯片和 48GB 内存的 MacBook Pro 上本地加载 LTX 2.5 Distilled，以图生视频 1024×1024，输出 145 帧 24fps 约 6.04 秒带音频的片段，生成耗时 13 分 15 秒；随后在时间线拼接原图为 11.04 秒成片并通过 FFmpeg 渲染。
Hugging Face 上架了 davemahoney69/Coder-14B-Abliterated-Merge-Q4 的 Q4_K_M 量化版本，并给出 llama.cpp 使用方法。用户可通过 llama serve 或 llama cli 直接加载该模型，在本地启动 OpenAI 兼容服务器或终端推理，支持 macOS、Linux、Windows（WinGet）、预编译二进制、源码构建及 Docker 多种安装方式。
IndrasMirror 发布 DeepSeek-V4.1-Flash-1017 的 XQ 混合精度量化版，552B 参数 MoE 压缩到 152 GB，可在 RTX 4090（24 GB）加 90 GB 内存的家用 PC 上运行，需配合自研 Xolotl 引擎而非 llama.cpp/Ollama。模型带 rank-2 拒绝方向编辑（manifest id adea0515bbf69a0b），拒绝探针显示 chat 模式 0/100、think 模式 0/50 拒绝；8K 预填充 239.8 tok/s，解码 12–13 tok/s。短 Gauntlet 测试 2/5，比作者此前 V4.1 v2 量化版（4/5）有回退，原因尚未定位；校准后重做的 V3 版本正在上传。
推荐理由：作者给出了拒绝探针、困惑度和速度的实测数据，还说明了量化分配与拒绝方向编辑的具体做法，可据此评估这个本地化版本。
一位 Reddit 用户在 SillyTavern 社区发帖询问：Gemma 4 31B dense 模型用于角色扮演是否明显优于 Gemma 4 26B MoE。他用 Q5 量化对比测试，发现 31B 更能利用角色卡细节，但仍有细节翻转问题；而 26B MoE 借助优化 KV cache 运行很快，31B dense 因 CPU offloading 在其 RTX 3060 12GB 机器上生成极慢，因此纠结是否值得为升级投入大量硬件成本。
一台双卡 Radeon AI PRO R9700、TP=2 的 Radiance vLLM 系统每次 warmup 约 7 分钟后硬断电：两卡 1 秒内从约 17 W 升至约 270 W，随后整机掉电。改用 RCCL 或把每卡限到 210 W 后均稳定运行，说明问题与总瓦数无关，而是 Radiance 自定义 one-shot all-reduce 产生的多 kHz 同相负载振荡。Dark Power 14 1200 W 两台都复现失败，Lian Li 1000 SFX、Lian Li 1200、Thermaltake GF3 1650 和 Corsair HX1200i 则通过。
GitHub 开源仓库 BSAI_ComfyUI_Nodes 提供一套 28 个 ComfyUI 自定义节点，覆盖视频处理、图像处理、音频处理、LLM 推理和 AI 生成，提供中英双语文档。其中 LLM 节点支持通过 llama-cpp-python 本地推理 Qwen3.8-VL、Gemma4 等 GGUF 模型，并支持 5 张图片加 3 个视频的多模态推理；生成类节点集成 Krea 2 生图和 LingBot-Video Dense 1.3B 文生视频。可通过 ComfyUI Manager 安装，代码采用 Apache-2.0 许可证。
Hugging Face 上架 GGUF 格式模型 Mitroshenkov87/voxprint-mirror-huihui-gemma-4-12b-it-abliterated-gguf，提供 Q4_K_M 量化版本。该模型可通过 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等多种工具运行，支持启动 OpenAI 兼容 API 服务器或在终端直接推理，也可接入 Pi、Hermes Agent、OpenClaw 等智能体工具。
Lixbon 是一个开源 monorepo，核心为 FastAPI 网关，负责认证、按计划限额并将推理路由到可用 GPU 节点，节点通过 Ollama 与 node_agent 经 WebSocket 反向连接，无需入站端口或隧道。API 兼容 OpenAI（/v1），支持 LangChain 等 SDK，按 chat、补全、视觉、embeddings 等角色配置模型，限额含 5 小时会话与每周上限。产品线包括 Web、Tauri 桌面端（含 lxo 智能体编排器）、Go 编写的 CLI 2.8.0 及 Android 应用，并通过 MCP 服务器与 Claude Code、Cursor 等工具集成。
XHToken 发布 Spark-X2.6-4B，是基于 Spark-X2.5-4B 的端侧通用语言模型，架构不变，通过改进后训练提升编码、Agent、长上下文、多语言和推理能力。该模型在同级开源模型中达到 SOTA，可匹敌约 9B 参数模型，支持 none/low/high 三档可控思考预算，最大上下文长度 1,048,576 tokens。模型权重已在 Hugging Face 开源，支持 Transformers 和 SGLang（含 NVIDIA GPU 与 Ascend NPU）推理部署。
Reddit 用户实测 Nemotron 3.5 Bolt，认为其适合小型多用户场景。该模型解码器采用 2 bit 量化、敏感部分为 NVFP4，每 5 层线性注意力（Mamba2）配 1 层 GQA 全注意力，30k 上下文仅占 200 MB KV cache（27B 为 952 MB），速度约为 27B 的两倍，智能水平与 Qwen3.6 27B 相当，幻觉率优于部分顶级模型。作者推荐单张 5090（32 GB）或 128 GB 小型主机作为理想硬件。
GitHub 上的 Rust 项目 Mold 提供本地 AI 图像、视频和 3D 生成，支持 NVIDIA CUDA 与 Apple Silicon Metal，含 CLI、桌面与移动端应用、Discord bot 和 REST/SSE API。支持 FLUX.1、Stable Diffusion、Qwen Image 2.1、LTX Video、Wan、Hunyuan3D 等模型，可单图或多视图生成 glTF 网格，导出 OBJ、STL、PLY 等格式；项目基于 candle，MIT 协议，安装脚本会校验 checksum，GH200/GB200/GB300 暂不支持。
intrusive-memory 开源 SwiftVinetas，可在 Apple Silicon 上完全本地运行，通过 MLX 上的 FLUX.2 Klein 4B 和 PixArt-Sigma XL 从文本提示生成连续漫画分格，并提供 Swift 库和 vinetas CLI。Klein 4B 约每格 26 秒、需 16 GB 内存，PixArt-Sigma XL 约 10 秒、需 8 GB；支持 LoRA 风格、最多 3 张参考图保持角色一致性、YAML 批量提示词和从剧本解析 GLOSA <shot> 生成 storyboard。v0.23.0 加入九个按用户自己 API key 计费的云端模型，与本地引擎通过 EngineRouter 并存；所有生成的 PNG 都内嵌元数据。
推荐理由：这个仓库给出了在 Apple Silicon 上纯本地生成连续漫画分格的完整方案，含内存占用与每格生成耗时，方法可迁移。
MOVO Community Edition 在 GitHub 开源，是一个基于 DeepSeek Harness（DSH）构建的自托管企业 Agent 平台，将 DSH Runtime、Skills、Tools 和 MCP 生态带入企业生产环境。项目提供企业知识检索、文档解析（PDF、DOCX、XLSX 等）、内容生成、任务调度与治理、组织用户管理等能力，通过 Docker Compose 一键部署 12 个服务。浏览器 Agent 与 Code Agent 需另行安装专有软件 MOVO Desktop，其源码不包含在本仓库中。