新闻、仓库与研究，按时间排列。
GitHub 仓库 MaratG2/LocalAtelier 发布，提供 MIT 许可的本地创作工作台，在自有 NVIDIA GPU 上组织项目并生成图像、带纹理 3D 物体和带立体声的视频。集成 Qwen-Image-2.1（INT8，约 17.3 GB）、HiDream O1（SDNQ 4-bit，约 10.7 GB）、TRELLIS.2 图生 3D（Q8，约 10 GB）和 VDN-H3/MiniMax H3 视频生成（约 56.7 GB），支持 GLB/glTF/OBJ 等导出；目标机器为 RTX 5060 Ti 16 GB 配 32 GB 内存，图像模型安装约需 55–65 GB 空间，队列为单任务运行、最多接受四个任务。
推荐理由：仓库 README 给出各模型磁盘占用、硬件要求和队列限制等具体细节，想在自己 GPU 上跑图像、3D 与视频生成工作流的读者可以据此评估。
GitHub 新开源项目 Songsmith 是一个本地优先的 Suno 风格 AI 音乐生成工作室和 Web UI，提供提示词扩展、歌词与标题生成、音乐合成、专辑封面生成的端到端流水线，基于异步任务队列和 SQLite 持久化。它默认使用 LocalAI 后端跑 ACE-Step 音乐生成和 Flux 封面生成，搭配 OpenAI 兼容端点（如 GLM）生成歌词标题，也可全部跑在单个 LocalAI 实例上。歌曲生成、扩展（仅 ace-step-turbo）等操作通过 JSON API 提供。
dadwritestech 发布开源工具 LlamaForge（MIT 许可），在浏览器中驱动 llama.cpp 官方 llama-server，提供模型加载、VRAM 适配评估、全部 200+ 服务器参数的界面化管理。支持一键安装（Windows/Linux/macOS）、llama-tts 语音、MCP server 接入 Claude Code 等智能体，并提供与 LM Studio、Ollama 的功能对比表；目前为早期预览，Windows + NVIDIA 是测试最充分的路径。
推荐理由：作者讲清了它如何驱动官方 llama.cpp 路由器、覆盖全部服务器参数，并与 LM Studio、Ollama 逐项对比，方便判断是否适合需要掌控感的本地部署用户。
作者发布开源项目 ArtifactSmith，一个供 AI Agent 通过 MCP 调用的自托管产物服务器，可将 Agent 工作成果渲染为 HTML、Markdown、PDF、DOCX 和 XLSX 文件。产物按版本管理，默认私有，通过 share 生成公开链接、unshare 即时撤销；令牌按工作区隔离并以 SHA-256 哈希存储。项目由 Grok Bot 统筹、Cursor 云端 Agent 编码、Hermes Agent 独立复核，经 Semgrep、Bandit、gitleaks、pip-audit、Trivy 安全审计后以 MIT 许可发布，镜像为 ghcr.io/vrijsinghani/artifactsmith:0.1.0。
开源项目 movie_llm 旨在用小型视频理解模型在本地检索未公开影像素材，让制作人员用日语查找特定场景，减少素材确认时间。目前已完成评测基础设施搭建，并在 MacBook Pro M2 Pro（16GB）上跑通 Qwen3-VL-2B（MPS）推理，训练与演示尚未开始。项目使用 Japanese Video-QA 数据集评测，采用 Apache-2.0 许可证。
开源项目 Z.A.R.V.I.S 是一个本地运行的 AI 个人助手，采用 Node.js 作为核心调度、Python 处理语音，配合本地 LLM 实现模块化架构。其语音管线通过 Whisper 完成语音转文字、Piper 完成文字转语音，并经 FFPLAY 输出到扬声器。项目目前处于 BETA 阶段，探索本地 AI、语音交互、自动化与硬件集成。
hotdogs 发布 jev-Ternary-Bonsai-2-27B-Abliterated-PTQ1_0 的 TQ1_0 量化版本。用户可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或终端直接推理，也支持 Ollama、Docker Model Runner、LM Studio、Jan 等多种工具，并可在 Pi、Hermes Agent、OpenClaw 等 Agent 中配置调用。
OpenMOSS 在 Hugging Face 发布 MOSS-Image 系列的基座文生图模型 MOSS-Image-Base，支持自然语言提示词、标签序列和 JSON Layout 控制文字与物体排布，权重和推理代码以 Apache 2.0 许可开放。正文给出 diffusers 快速上手代码（transformer 与文本编码器用 bfloat16，VAE 用 float32，捆绑 FLUX.2 small 解码器的 VAE）、默认采样设置（Flow-matching Euler、50 步、CFG 3、负分支跳过第 22 层），并对比了 Base 与 SFT 版本在同一示例上的文字分组与白板排版差异；另提供 ComfyUI 原生插件和面向 agent 的提示词增强 skill。
推荐理由：原文给出了完整的推理代码、采样参数和 Layout JSON 格式，读者可以直接在本地复现这个文生图基座模型的用法。
ayngepaw 在 Hugging Face 发布了 dealignai/GLM-5.3-UNCENSORED-FP8 的 EXL3 量化版本，平均比特率 3.04 bpw，体积 273 GiB，含 MTP 层可作投机草稿模型。与 FP8 源对比 wikitext-2 困惑度为 3.440 对 3.302；tau2-bench 上与原版 GLM-5.3 FP8 差异不具统计显著性。作者提醒 TabbyAPI 的 glm4_5 解析器会把字符串参数误解码为整数，导致约 70% 工具调用失败，评测时已修复该问题。
一位已有 RTX 5090 的用户在 Reddit r/LocalLLaMA 征求选型建议：加购 M5 Ultra 256GB 还是双 DGX Spark。据其调研，M5 Ultra 在 token 生成上接近或略优，双 DGX Spark 则在 prompt 处理和多用户并行请求上占优，但选后者 token 速度约为 5090 的 1/3。楼主倾向双 Spark 以获得更高的智能体编程吞吐，并向持机用户征集 prompt 处理和解码速度数据。
mradermacher 在 Hugging Face 发布 JEV-27B-Uncensored-GGUF 量化模型，提供 Q4_K_S 等格式。该模型可通过 llama.cpp 的 OpenAI 兼容本地服务器或终端直接推理运行，并支持 Ollama、Docker Model Runner、LM Studio、Jan、Pi、Hermes Agent、OpenClaw、Lemonade 等多种本地部署工具，覆盖 macOS、Windows、Linux 平台。
一位了解如何自建 LLM 和基础 SillyTavern 的用户发帖求教：能否在同一 LLM 上使用多个预设或其他非基础配置？他想自托管用于 RPG 风格情色角色扮演的模型，希望支持长期世界观构建且尽量少拒答，目前考虑使用 Cydonia 25B。
Tree-AI-lab 在 Hugging Face 上发布了基于 Qwen2.5-Coder-1.5B-Instruct 的无审查（uncensored） coder GGUF 量化模型。该模型提供 Q4_K_M 量化版本，可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Pi、Hermes Agent 等工具在本地运行，并支持以 OpenAI 兼容服务器方式部署。
h1neolzr7f 发布 Manga-NAI-GPT，一个基于 Manga Editor Desu 的漫画编辑器，把改字幕、去字、抠图、分层、换角色、画一页等常见工作做成按 1-2-3 操作的任务卡。文字识别与去字等在本机 CPU 免费运行，换角色和 AI 生图需自行配置 OpenAI 兼容图像服务与 NovelAI，所有修改以新图层保存并支持 Ctrl+Z 撤销。项目以 GPL-3.0 许可开源，已知限制包括复杂多人画格换角色不稳定、本机 AI 首次人物识别需 20-60 秒。
推荐理由：README 写清了每项任务所需的本机或云服务、三步安装方式和已知限制，想离线改漫画的人可以按需判断是否适用。
开发者 shreyvijayvargiya 开源 TubeLog，将 YouTube 频道或单个视频的字幕抓取为本地 Markdown 文件，文件系统即数据库，不经托管存储。同步可从公开频道页与 Innertube 续拉视频，内置 100 个科技、编程、AI 等分类频道，每轮默认归档 20 条新视频且幂等去重；可选通过 OpenRouter 生成教育博客（默认模型 google/gemini-2.5-flash）、六图 Instagram 轮播，以及翻译加 AI 配音并用 ffmpeg 合成本地配音视频，提供 Vite + React 仪表盘、Hono HTTP API 与 CLI 三种入口。
推荐理由：README 完整给出命令、API 路由和架构说明，想搭本地 YouTube 知识库的读者可以照着直接跑通全流程。
EchoMuse 在 GitHub 发布，可把二手 Amazon Echo Dot 2 代刷成 Home Assistant 的本地语音卫星，无需 Amazon 账号、Alexa 或云服务，麦克风、扬声器、LED 环和按键均可用。需先用 R0rt1z2 的 amonet-biscuit 解锁，控制器以 Home Assistant add-on 或 Docker 运行，支持唤醒词、barge-in、多 Dot 协同、自定义唤醒词和 WiFi OTA 更新。目前仅支持 Echo Dot 2 代，Echo Dot 3 等型号移植中；作者说明项目大部分代码由 Claude 协助编写。
推荐理由：把闲置的 Echo Dot 2 代改成本地语音助手，硬件门槛、解锁步骤和已知问题都写得具体，动手前可以先看。
开发者在 GitHub 开源了基于 novelai-sdk 的 NovelAI 图像生成全栈应用，支持邮箱密码登录、浏览器内生成、SSE 流式中间预览、Anlas 费用预估、元数据提取与擦除和 Image-to-Image 模式。项目要求 Python 3.10+、Node.js 20+，AI 助手通过 vLLM 运行 Qwen/Qwen2-VL-7B-Instruct 提供提示词格式化、反向提示词等 LLM 工具，Inpainting 与 Character Reference UI 尚在计划中；作者声明该项目为独立个人作品，与 NovelAI Inc. 无官方关联。
DEEPBOM 2.3.0 是一款本地静态分析工具，可在不上传模型字节的情况下审计 TFLite、ONNX、GGUF、SafeTensors、Core ML 及有界 ExecuTorch 工件的图、张量、量化与 ML-BOM 证据。其 Evidence IR 统一表示工件事实，并区分观测事实与预测性兼容性信息。工具提供 CLI、Node/Python SDK 与 stdio MCP 服务器（暴露 deepbom_audit 等接口），支持通过 Agent Skill 集成 Codex 和 Claude Code，ChatGPT 与 Claude 的公开发现仍待 OpenAI 与 Anthropic 审核。
Hugging Face 上线 abliterated 版 Qwen2.5-Coder-1.5B-Instruct 的 GGUF 量化模型，提供 Q4_K_M 版本。该模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Lemonade 等工具运行，支持启动本地 OpenAI 兼容服务器或在终端直接推理，也可配置到 Pi、Hermes Agent、OpenClaw 等 Agent 工具中使用。
Reddit用户/u/Ok-Breadfruit-3523用4张单价不到$100的BC-250矿卡板、通过llama.cpp加Vulkan和RPC组成本地推理集群，跑Next Flash IQ3_XXS在100k上下文下维持约60-70 tok/s，或同时跑2个Qwen3.6-35B-A3B实例达约145 tok/s、可用上下文约258K。借助Claude Code做的优化包括MTP草稿头的投机解码链、Vulkan图录制重放、针对架构的定制kernel与上下文checkpoint本地复制，整体功耗负载下600-900W，下一步计划给每块板加装AIO水冷。
推荐理由：作者完整记录了4张矿卡集群的优化路径、实测速度与功耗，方法可迁移到类似多板推理部署场景。
开发者在 GitHub 开源了 Hetu，一个本地优先的 AI 知识与 Agent 工作区，Markdown 笔记、聊天和编码会话共用一个存储，配合向量索引、知识图谱、长期记忆与任务工作流。支持基于 Git worktree 的隔隔离编码会话、MCP 工具接入、知识图谱抽取与 Dream 记忆整理，数据与模型调用全部留在本机，可用 SQLite + sqlite-vec 或 PostgreSQL + pgvector 存储，并提供 Tauri 2 桌面端，采用 Apache License 2.0。
推荐理由：项目把笔记、对话、代码会话和长期记忆放进同一个本地知识库，可直接部署复现，适合关注本地优先 Agent 工作流的人参考。
eligiblex 发布开源项目 logistics-rag-assistant，基于 LangChain、Ollama、Chroma 和 FastAPI 构建本地物流 RAG 问答与异常处理 Agent，默认使用 qwen2.5:7b 生成、nomic-embed-text 做向量嵌入。Agent 采用显式状态机规划白名单工具，工单、投诉、理赔类动作需人工批准，仅生成带 DEMO- 前缀的演示工单。项目定位为可复现学习原型，附带 18 项 Python 测试，不支持真实订单查询，尚未指定开源许可证。
NLPilot-Smart-Admin v0.2（L2）是一个实验性的自然语言商品管理系统，使用 Ollama 本地部署的 Qwen2.5-7B 通过 Function Calling 完成商品增删改查、销售/进货记录和数据统计，共支持 10 个 AI 工具。技术栈为 Angular 19+ 前端、Python Flask 后端、MySQL 8 数据库。由于 7B 模型能力限制，工具调用存在不稳定，项目采用最多 3 次的重试机制和删除、打折等危险操作二次确认来缓解。
GitHub 上的开源 Python 工具包 NEBULA3D 发布，可在浏览器或本地清理中子/X 射线 3D 倒易空间弥漫散射数据并生成实空间 3D-ΔPDF 图。其 AI 智能体 NEBULA Pilot 可通过 Ollama、LM Studio 连接本地模型或 OpenAI、Gemini、Anthropic 云端模型，驱动浏览器内 22 个工具完成流水线调优。评测中 Claude Sonnet 5.5 与 Haiku 5.5 各通过全部 27 次运行（约 $0.025 与 $0.001/次），本地 gemma4:26b 通过 15/27。
GitHub 上开源的 perf-agent-lab 是一套 agentic 性能测试流水线：每晚拉取目标应用最新代码，先做健全性测试，失败时由 LLM 智能体修复 Locust 脚本（最多 3 次），再跑 1 分钟 250 并发负载测试，并把延迟尖峰和错误关联到日志、源码和最近提交，报告发布到 GitHub Pages。8 步中 6 步为纯代码，无新提交即跳过，默认用 Groq openai/gpt-oss-20b，任意 OpenAI 兼容端点均可；示例在 JPetStore 上发现 POST /order/new 并发下的非原子读增序列竞态。
推荐理由：开源了一套夜间自动性能测试流水线，8 步里 6 步不调模型，读者可借鉴其按需调用 Agent 和证据驱动分析的做法。
有网友在 r/LocalLLaMA 询问该选 M5 Ultra Mac Studio 的 64 核还是 80 核版本：64 核版交付要 6-7 周，80 核版要 15-17 周，差价 $1200。两者同为 Ultra 且内存带宽相同，楼主还提到没见过 60 核版的推理数据，想了解两者在 prompt 处理和 token 生成速度上的实际差距。
一位 Reddit r/LocalLLaMA 用户询问能否在 RTX 5090 上用 vLLM 运行 Qwen3.8-27B-FP8，并认为因最小上下文限制极不可行。他目前用 NVFP4 版本（quasar-qat）流畅运行，支持图像和最高 256k 上下文，该模型仓库大小为 30.9GB，他想对比 FP8 与 NVFP4 在精度上的差异。
DavidAU 的 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP 模型现提供 MLX 优化版本，用于 Apple Silicon 推理。该版本由 Q8_0 GGUF（30.24 GB）转换而来，866 个张量全部反量化为 float16（约 55 GB，12 个分片），质量与原 GGUF 权重一致、无精度损失。架构为 Qwen3.5 dense（65 层、5120 hidden、24 heads、248320 vocab），采用 Apache-2.0 许可证。
Reddit 用户 /u/somthing_tn 发布了 Linux 本地语义文件搜索工具 Recall（MIT 协议，https://github.com/pdstn12/Recall），可索引 PDF、Office 文件、扫描件、截图、音视频并按内容检索。EmbeddingGemma 2 通过 llama.cpp 进程内运行（CUDA/Vulkan/CPU）将文本、图像、视频帧和 30 秒音频窗口嵌入同一向量空间，检索采用向量相似度加 SQLite FTS5 混合排序，OCR 用 PaddleOCR，引擎为 Rust、界面为 GTK 4，无 LLM 且模型下载后完全离线。
推荐理由：作者自建的本地语义文件搜索工具给出了完整技术栈和实测数据，方案思路可迁移到类似本地检索场景。
Atelier-1111 是一个 BYOK 图像与视频生成项目，支持使用 OpenRouter、OpenAI、Google、xAI、fal、Replicate、Black Forest Labs、Luma、ByteDance 或 Prodia 的密钥在本地运行，并将结果连同提示词和成本保存到磁盘。项目基于 Node.js 22.5+，视频目前仅支持 OpenRouter，最多接受 16 张参考图（GPT Image 2），密钥仅发送至对应服务商且服务器只响应 localhost 请求。
本地 AI 推理引擎 TensorSharp 宣布支持 Qwen Image 2.1 Turbo 和 LoRA，可直接在应用内完成图像编辑。新功能包括内置蒙版编辑器选取图片区域、用自然语言提示词修改选中区域并直接查看生成结果。该项目目标是统一支持 LLM、多模态和图像生成模型的本地推理，并持续优化 GPU、CPU 与存储的内存管理。
/u/sayamss 分享为客户端搭建的 $18k 本地部署：Threadripper 9970x、128gb DDR5 ECC、4x AMD Radeon R9700 AI Pro 32gb（共 128gb VRAM）、1600W PSU，GPU 降压至 210w 以内。用 Radiance 的 fork 服务 Qwen 3.8 Next flash/27b 和 DSV4 Flash；16 并发下 Qwen 3.8 27b MXFP4 聚合 prefill 6.3-6.8k tok/s，decode 900-80 t/s；int4fp8 在 48K/user 时 6,880 tok/s、128k/user 时 3,050 tok/s。
一位 Reddit r/LocalLLaMA 用户想找类似 siege 和 k6 这类 HTTP 负载测试工具的替代品，但用于 LLM 推理服务器。他希望并行发送生成请求，测试服务器在持续负载下的表现，测量 token 生成和 prefill 性能，并评估实际存储需求。
Huihui-ai 发布基于 Qwen/Qwen3.8-27B 的去审查（abliterated）GGUF 版本 Huihui-Qwen3.8-27B-abliterated，通过 abliteration 技术移除模型拒答行为。多个衍生系列仅对 0 起始索引的第 22 到 52 层做消融，并采用 Q2_K_L 至 Q8_0_L 等混合量化以提升响应质量；MTP 与视觉部分未修改。可通过最新版 ollama 或 llama.cpp 运行（-c 262144），官方提示安全过滤已大幅降低，建议仅用于研究测试环境。
curiousily 在 GitHub 开源了 "Get Shit Done with AI" Bootcamp 仓库，面向 AI 工程师的实战课程，覆盖 Python、PyTorch、MLOps 到 LLM 应用开发。内容包括用 FastAPI 和 Docker 构建 API、AWS 部署，以及 LangChain、Ollama、MCP、DSPy、RAG/CAG、QLoRA 微调等教程，可免费通过 Discord、YouTube 和 AI Engineering Academy 学习。
arthurbm 在 GitHub 发布 berth-ai，一个 local-first 移动应用，可在设备上下载并运行 GGUF 模型，通过 llama.rn 与 @react-native-ai/llama 做本地推理和持久化聊天，并把手机暴露为 OpenAI 兼容的 HTTP 推理端点，主契约是 /v1/responses，兼容 /v1/chat/completions。HTTP provider 目前仅 Android 可用，iOS 上本地聊天可用但 provider 仍为实验性；/v1/* 需 bearer token，应用依赖原生模块，不能在 Expo Go 中运行。
推荐理由：项目把手机做成可复用的本地推理端点而非单纯聊天应用，这种以 provider 为核心的架构思路对做本地部署的人有参考。
GitHub 仓库 ivangalkindeveloper/DoglyadAI 开源了 Doglyad，一款帮助超声医生减少重复文书工作的 AI 助手，可结合超声图像、病史与检查记录生成结构化报告草稿。项目支持 28 种超声检查类型，使用 Google MedGemma 4B 与 MedGemma 1.5 4B 模型配合 vLLM 做服务端多模态生成，语音录入采用端侧 WhisperKit Turbo，支持英语和俄语。该项目定位为文档辅助工具而非医疗器械，所有报告须经专业医务人员审核批准。
agoralabs/aws-llm-gateway 项目通过 Vagrant Ubuntu Jammy 虚拟机将 GitHub Copilot SDK 网关部署到 AWS，提供 wss://llm.kaiac.io/v1/ws 的 WebSocket 生成 API，默认区域 us-west-2。基础设施由 Terraform 管理，使用 ALB、ECS Fargate、SQS FIFO、S3、ECR 和 Secrets Manager；V1 无 JWT，仅允许部署时检测到的 IPv4 访问，Copilot token 经 stdin 写入 Secrets Manager 且不落日志或镜像。
SesliAI 是一个完全本地运行的语音助手项目：用 Vosk 做土耳其语+英语自动语音识别（--stt-language auto|tr|en），由本地 Ollama 模型（如 llama3.1:latest）生成回答，再经 Piper 神经 TTS 朗读，仅在首次下载模型时需要联网。项目提供桌面脚本、Windows PowerShell 版本、手机 HTTP 服务器模式及原生 Wear OS/Android 客户端，服务器为无认证的纯 HTTP，仅限可信局域网使用，未指定许可证。
erichartford/gemma-3-1b-it-abliterated-mlx-8Bit 现已在 Hugging Face 上提供，该模型由 mlabonne/gemma-3-1b-it-abliterated 转换为 MLX 格式，使用 mlx-lm 0.22.1，并以 8Bit 量化。用户可通过 pip 安装 mlx-lm，用 load 与 generate 接口加载模型并生成回复。