新闻、仓库与研究，按时间排列。
该仓库发布一组面向 CNDTCG（国家胃肠癌早期检测中心）规范文档问答的 LLM 基准测试，包含 dataset、上下文文档、代码与结果。数据集含 300 道问题（是非、短答、开放答各 100 道），采用 RAG 加载文档，用 FAISS 取 TOP K=5 相似 chunks。评测 DeepSeek R1 Distill Qwen F16/Q6/Q2、Llama Q4/Q8、Qwen 3.5 4B 等不同量化配置模型，可在本地或 Kabré 超算上运行。
lecharles 在 GitHub 发布 llm-fine-tuner-agent-tester，让用户在 Apple Silicon Mac 上用 MLX + QLoRA 微调小型开放权重 LLM，一条命令安装。流程包括用自然语言生成或从 Hugging Face、CSV/JSONL 导入 Q&A 数据集、训练时实时绘制 loss 曲线、将 adapter 融合后导出 GGUF 供 Ollama 运行，并在多列聊天界面对比微调模型、未微调 base 与 OpenAI、Anthropic 托管模型，回答限约 150 词。VPS 版只支持生成与对比，训练返回 425 需在 Mac 应用进行；需约 10 GB 磁盘空间，v0.1.0 已于 9 月 30 日发布。
推荐理由：原文给出了从数据集构建、QLoRA 训练到多列对比聊天的完整本地微调流程，读者可以照着在 Apple Silicon 上复现。
mlx-node 项目开源，可在 Node.js 中运行 MLX 模型，公开 API 为 TypeScript，原生层用 Rust 和 C++，运行时无需 Python。支持语言和多模态推理、HTTP 服务器、模型转换及 GRPO/SFT 训练，主要面向 Apple Silicon Metal，另有在 NVIDIA GB10 / DGX Spark 上的实验性 CUDA 后端（仅推理）。CLI 需 Node.js 22.19+，macOS 二进制要求 macOS 26+。
推荐理由：在 Node.js 里跑 MLX 模型的完整工具链，推理、训练、多模态一站式覆盖，对 Apple Silicon 本地部署有直接参考价值。
lablup 在 GitHub 发布本地推理引擎 mlxcel（当前 main 为 v0.7.0 加未发布工作），用 Rust 实现 CLI 与服务器，通过 MLX C++ 绑定直接加载 MLX SafeTensors 权重，请求路径无 Python、无需转换 checkpoint。支持文本、多模态、embedding、重排、语音推理，提供 continuous batching、prompt caching、投机解码、多模型路由和 OpenAI/Anthropic/Vertex 兼容接口，Apple Silicon 为主目标，Linux/CUDA 为次要目标，AMD ROCm 为实验性源码构建支持。
推荐理由：这个 Rust 原生推理引擎给出了与 mlx-lm 同机对照的逐模型数据，读者可按 MoE 与稠密模型分开评估是否值得迁移。
c4software 发布 llmsetup，用一个 ./setup-llm.sh 在 Ryzen AI Max+ 395（124Go 统一内存，CachyOS）上以 router 模式驱动 llama-server。自 2026 年 9 月 18 日起引擎统一为本地构建的 ROCm 镜像（HIP 版 halo-box/strix-llama.cpp），移除宿主机 Vulkan fork；脚本管理 Hugging Face GGUF 下载、models.ini 生成、LRU 加载，并提供 --bench、--bench-agentic、--spec-tune 等一整套按实际 API 测量的基准与投机解码调优子命令。
local-inference-lab 的 blackwell-llm-docker 仓库提供在 NVIDIA Blackwell（SM120）96 GiB GPU 上运行 LLM 推理的预构建 Docker 镜像与 Compose 配方，覆盖 SGLang 与 vLLM。仓库内置 DeepSeek V4、GLM-5.2、Kimi-K3、Qwen3.5 等模型的 serving 配置，含 DSpark/DFlash 推测解码、NVFP4/EXL3 量化、KV offload 与 FlashInfer/DeepGEMM 源码编译栈，各发布版本附吞吐与 KLD 实测数据及 validation 目录下的可复现源码锁收据。
Keys（drowzeys）在 GitHub 发布完整 4-bit 推理配方，将 abliterated 版 aday777/Qwen3.8-27B-ARA 通过 eugr vLLM 0.27 GB10 构建部署在单台 NVIDIA DGX Spark（121 GB UMA）上。核心是把 vLLM PR #49891 的 FA2 NVFP4-KV 路径回移植到 sm_121a，使 KV 池从约 2.1M token 翻倍到 4.34M，实现 1M 上下文约 4.14× 并发；A4Q 原生 fp4-QKᵀ 带来 48–96K 下 prefill +8–10%、TTFT −7–9%，decode 中性（同模型 A/B 实测）。
推荐理由：原文给出单卡 DGX Spark 跑通 1M 上下文的完整方法、逐项实测日志和未奏效的记录，可作为 GB10 量化推理栈的可复现参考。
garbatyzydziok-cmd 在 GitHub 发布 gemma-4-abliterated 项目，基于 Gemma 4 31B 去除 guardrails，同时保持模型核心质量。项目面向 Apple Silicon Mac，通过 MLX 运行，建议 32 GB 统一内存和至少 50 GB 可用 SSD 空间，采用 Apache 2.0 开源协议。仓库提供模型权重下载、MLX 配置文件、安装步骤与本地推理说明。
turboquant_cutile 是一款 Windows 应用，基于 turboquant 压缩 LLM 推理时的 KV cache，降低内存占用，让普通 PC 更容易本地运行大语言模型。工具推荐 Windows 10/11、8 GB 以上内存和 64 位 Intel/AMD CPU，可减少推理内存、加快受限硬件上的运行并支持更长对话。
GitHub 上的 floppylm 项目目标是让语言模型完全装进一张 3.5 英寸软盘（空 FAT12 几何为 1 474 560 字节），目前尚无 .img 磁盘镜像。其 v0.2 论文假设：以 0.5–0.75 bits/weight 的递归核心配合向量编码，可在相同编码字节下击败最优 ternary/2-bit 核心。E0 标量基线已在 Xbox Series S GPU 后端上运行，质量结果是否产生见 docs/STATUS.md，项目以 MIT 许可开源。
Cadman021 在 GitHub 发布开源工具 PromptDeck，基于 Tauri 构建的本地桌面应用，可完全离线运行、数据不出本机。它支持通过 Ollama、LM Studio 或 llama.cpp 服务器同时对比 2 至 4 个模型，并接入 OpenRouter、DeepSeek、Groq 等 19 家云端供应商，实时对比 TPS、TTFT 和总耗时，结果存入 SQLite，支持批量测试计分板、并排 diff、胜率排行和 PDF/CSV 导出。项目采用 GPL v3.0 许可证，支持包括中文在内的六种语言。
dangranaz 发布 engine-mlx，一个用 Rust 基于 Apple MLX C API 编写的 Apple Silicon 本地 LLM 推理引擎，提供 OpenAI 兼容 HTTP API 与 SSE 流式输出。引擎在 temperature 0 下与 mlx_lm 逐 token 一致，已验证 Qwen3-0.6B 与 1.7B 的 4-bit/8-bit MLX 格式；MacBook Air M1 16GB 上 Qwen3-1.7B-MLX-4bit 生成速度约 34-41 t/s，绝对吞吐仍低于 mlx_lm，作者归因于 kernel 效率差距。项目附带可复现基准，采用 MIT 许可证，开发过程主要由 AI 编码智能体在可验证的验收标准下完成。
推荐理由：作者给出与 mlx_lm 逐 token 一致的验证方法和可复现基准，读者可在自己的 Mac 上核验性能而非只听宣传。
一份从 LLM 和 Transformer 理论转向动手实践的学习路线图，目标在 9 月底前掌握微调与训练。内容按 8 个阶段推进，覆盖 Tokenization、Embeddings、向量数据库（ChromaDB、FAISS、Qdrant）、RAG、Hugging Face 数据管道，以及 LoRA / QLoRA / PEFT 实操微调。硬件策略建议本地用 0.5B–1B 小模型起步，7B 用 QLoRA，算力不足时改用 Google Colab 或 Kaggle GPU。
作者发布了 huihui-ai/Huihui-MiniCPM-V-4.6-abliterated 的 8-bit MLX 量化版 YCF-AI/MiniCPM-V-4.6-Huihui-abliterated-8bit-MLX，体积仅 2.3 GB，M1 Ultra 上解码约 140–180 tok/s。相比旧 mlx-community 8bit 版，换用去审查权重是为全栈一致去审查；Heretic 去审查版因空间描述退化被弃用。关键改动是把图像 token 的 downsample_mode 从 16x 改为 4x，使 30 行大页 OCR 达到 120/120 零漏行、35 项视觉套件 35/35，且速度无可测损失。
推荐理由：原文给出换用 Huihui 去审查版而保持 OCR 精度和速度的实测对照，还解释了 4x 下采样为何修复大页 OCR。
一位用户在 r/LocalLLaMA 求助升级方案：他在 z390（PCIe3 8x）上用双 7900XTX 跑 27B 模型，考虑换 x570 或 x870 主板配合张量并行提升性能，或等待搭载 LPDDR6 与 256GB 内存的 Medusa/Spark 平台。他还在 gorgon halo 的价格与 WRX80 方案之间权衡，不想增加 GPU，只想获得 8 通道内存以运行 QFN 模型。
aentrepreneur 在 GitHub 发布 uncensored-llm，一个从USB直接运行 ./menu.sh 即可启动的100%本地LLM工具箱，基于预编译 llama.cpp（build b10936），无需安装、GPU、网络或账号。内置10个GGUF模型约27.7GB（含 Qwen 3.5 4B/9B/2B、Gemma 4 E4B、Phi-4 Mini、Llama 3.2 1B 及两个 Uncensored 变体），支持 OpenAI 兼容 API、tool calling、RAM 加载后拔除USB、OWASP ASI 实验的教育模式；在 i7-1165G7 上 1B 模型约 20-35 tokens/s。项目 MIT 许可，最低要求 4GB 内存与 8GB USB。
Gufo 是一个专为 AMD Strix Halo（Ryzen AI MAX+ 395，Radeon 8060S，最高 128 GiB 统一内存）构建的本地推理引擎，在 GitHub 开源，MIT 许可。支持文本、语音、图像等多模态模型：Qwen3.8 27B Q4 预填充 656.33 tok/s、单用户解码最高 70.56 tok/s（DFlash2 8 并发 123.00 tok/s），Qwen3.8 Flash-Next MTP 下 8 并发 157.22 tok/s，另有 Qwen3-ASR 1.7B 15.27× 实时、Qwen3-TTS 1.7B 首音频 201 ms 等。项目提供 Podman 部署与源码构建指南，OpenAI 兼容 API 支持文本、图像、函数工具、结构化输出与流式。
推荐理由：原文给出针对 AMD Strix Halo 128 GiB 统一内存优化的本地推理引擎及其多模态模型实测吞吐数据，读者可据此评估该硬件方案。
marfrit 发布 arcint，一个专为 Intel Arc A770（16 GiB）和 Arc Pro B60（24 GB）设计的窄域 LLM 推理引擎，仅运行 allowlist 内的 hybrid Qwen 模型。内核工作委托给打了补丁的 OpenVINO 构建并附公开补丁系列，另提供基于 pinned commit llama.cpp 的 libllama 后端，自管 KV 内存、prefix 缓存、前缀复用、DFlash 和 MTP 投机解码。
devcoderb 在 GitHub 开源了课程作业 llm-assignment-1a 仓库，实现了两阶段模型适配流程：先在 10 份来自 RBI 和 SEBI 的金融 PDF 语料上做 Continued Pretraining（CPT），再用金融指令数据集进行 QLoRA 监督微调。流程覆盖 PDF 抽取、清洗、tokenization 与打包、基于 held-out perplexity 的领域评测，并对比 Base、CPT 与 CPT+QLoRA 三个阶段的效果。
bilibili Index LLM Team 发布 Index-Translate 多语言翻译模型家族，基于 Qwen3.5，文本模型覆盖 150 种语言，提供 2B、9B 和 35B-A3B（preview）权重，已在 Hugging Face 和 ModelScope 开放。
推荐理由：原文给出了各尺寸模型的评测数字、量化版本和免费API入口，读者可以直接对比选型并上手部署。
开源项目 Tessera 是一个 C++20 编写的 LLM 推理引擎，可在 GPU 上运行开放权重模型，支持 Vulkan（跨厂商）和 ROCm（AMD GPU）两个计算后端，采用 Apache License 2.0。项目目前处于重度开发状态，尚无稳定文本生成能力，不可用于生产；已完成 GGUF 加载、GEMM、Attention、RoPE 和单 token 解码循环，MXFP4 与 DFlash2 投机解码仍在开发中。首选目标模型为 Qwen 3.8 27B 的 GGUF 与 MXFP4 版本，已在 Radeon RX 7900 XTX 和 AI PRO R9700 上完成验证。
Optimum Intel 是 HuggingFace Transformers、Diffusers、Sentence Transformers、timm 与 Intel OpenVINO 之间的接口，可对模型做量化、剪枝和知识蒸馏等压缩优化，导出为 OpenVINO IR 格式并运行推理。通过 pip install -U optimum-intel 即可安装，支持 Intel CPU、GPU 及专用 DL 推理加速器，也可使用 optimum-cli 导出如 TinyLlama_v1.1 等模型，或对 Whisper 等模型做 int8 静态量化。
作者开源了 Kvad，一个用 Rust 从零手写的 LLM 推理引擎，目标是可读性和速度双达标，以 vLLM 和 SGLang 为基准。项目分五个 crate：nervus 从零实现反向传播并在 MNIST 上训练，kvad 从零做 Transformer 推理并支持四种架构和 HuggingFace 权重，kvad-gpu 用 candle 跑 Metal/CUDA，另有 kvad-tui 终端应用和 kvad-serve HTTP 服务与 web UI。
推荐理由：一个从零手写的 Rust 推理引擎，把每处算术和常数理由摆在代码旁，速度对标 vLLM 与 SGLang 的差距也如实写明。
jvr0x 在 GitHub 开源 ai-models 仓库，提供经生产验证的 lmswitch YAML 配置，放入 ai-models/ 目录即可被自动检测、解析并启动。支持 llama（llama.cpp 加载 .gguf，无需 Docker）和 vllm（加载 safetensors/FP8/NVFP4，需 Docker）两种后端，内置 Qwen3.6 系列、Gemma4、Nemotron、Kimi、DeepSeek Flash 等数十个模型配方。配置项包括 ctx 默认 65536、gpu_layers、gpu_memory_utilization 默认 0.85、tool_call_parser 等，项目采用 MIT 许可证。
gnostral.rs 是一个公开、可复现的本地 AI 推理研究仓库，研究 Rust-first 运行时、量化、多模态负载、KV-cache 与引擎中立编排等方向。参考基线为 NVIDIA RTX 3070（8 GiB VRAM + 32 GiB RAM），当前合格的 Bonsai 基线为 35.2 tok/s、28.44 ms/token；仓库明确不认领未经证据支持的 40 tok/s 结果。原始代码采用 MIT 许可，欢迎带 provenance 和 Signed-off-by 的复现与负结果贡献。
KENIC-1 在 Hugging Face 发布 Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF，通过字节级张量转植把或carouter 无对齐权重的 144 个 write-to-residual-stream 张量替换进 ISTA-DASLab 的 GSQ-RCO 量化文件，覆盖全部 48 层，不重算任何 GSQ 学到的量化值。消融是严格 rank-1 线性编辑，单个方向在 48 层、两种注意力与 512 个路由专家间一致。IQ3_S 构建经逐张量 blake2b 校验：144 个目标全部改变、其余 1079 个张量逐字节不变；行为抽查中上游拒绝的绕过付费墙请求此版本会详细回答，但作者说明这只是抽查而非完整评测。
AEON-7 的 Gemma-4-12B-it-AEON-Abliterated K=4 GGUF 量化版本已上架 Hugging Face，基于 google/gemma-4-12B-it 的 abliteration 版本，采用 K=4 多方向范数保持双投影方法，可消除标准拒绝模式并降低 wikitext PPL 漂移。提供 Q3_K_M 到 Q8_0 共 5 档量化，其中 Q4_K_M 为 7.38 GB，可完整放入单张 T4/RTX 3060/4060。
timfromhcs 发布 Ternary Bonsai 2 27B Abliterated v2 的 PQ2_0 GGUF 权重，通过修改输出层一行让模型在答案写完后关闭推理，避免 v1 把答案写进推理导致预算耗尽出空白回答。在 StrongReject 150 条有害请求、16,384 token 预算测试中得分 0.941（151 中空白 7 次），优于 Hikari07jp 0.738、OS-Software Heretic 0.723 等其他消融版本；SimpleSafetyTests 拒绝率 0%，MMLU 相比原版降 0.56 点，是同类中代价最小的。
推荐理由：作者给出多组对照评测数据，包括与其他消融版本的横向对比和 MMLU 代价，读者可以据此判断这版去对齐的实际效果。
作者 mattn（Yasuhiro Matsumoto）发布纯 Go 机器学习框架 tensai，实现前向、反向传播与优化，默认构建零依赖，支持 AVX2/NEON SIMD 加速、int8/int4 量化与实验性 WebGPU 后端。
推荐理由：纯 Go 实现的机器学习框架，从 SIMD 训练到 WebGPU 推理和 GGUF 加载的完整工程细节都可参考。
作者为 PrismML 的 Ternary Bonsai 2 27B 重训了原针对 bf16 Qwen3.8-27B 的 z-lab DFlash 2 drafter，用 1.5M tokens 的 Bonsai 2 贪心输出微调，并在 Hugging Face 放出 safetensors 和 Q4_K_M GGUF 权重。单张 L4 贪心解码下 GSM8K 2.17x、MBPP 2.17x、MATH-500 2.20x、MT-Bench 1.39x，代码编辑叠加 ngram-mod 后达 3.15x；M4 Pro 上代码补全 1.5x；浏览器内 LocalMind 的 WGSL 移植在代码上 1.18x 且输出一致。作者注明数据来自一台 L4 和一台 M4 Pro，并给出三套运行时的配置文档。
推荐理由：作者重训了投机解码 drafter 并给出三套运行环境的实测加速数据，本地部署 Bonsai 2 的读者可以直接复用配置。
huihui-ai 发布 Huihui-gemma-4-12B-agentic-fable5-abliterated-GGUF，这是基于 yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF 的去审查（abliterated）版本，整个消融过程仅用 llama.cpp 完成，不依赖 Transformers。模型可通过 huggingface-cli 下载，示例命令以 Q8_0 量化运行并设置 8192 上下文。官方警告该模型安全过滤大幅减弱，建议仅用于研究和受控环境，风险由用户自行承担。
HauhauCS 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的 Aggressive 无对齐 GGUF 量化版，实测 0/465 拒绝，定位为直接给答案、极少前置说明的变体。全部量化保留原生 MTP/NextN 头和 262,144-token 原生上下文（可扩展至 1,000,000），支持文本、图像和视频输入，需另下 BF16 projector。
Paata28b 发布基于 Qwen3.5-9B 多模态模型的本地一体化部署仓库 Qwen3.5-9B-ToolHub，推理在本机 GPU 完成，支持联网搜索并附来源、上传图片提问、只读浏览本机文件和内置思维链。需要 Windows 10/11、≥8 GB 显存的 NVIDIA 显卡和 Python 3.10+，首次运行下载约 6 GB 模型，启动 30–60 秒，并提供 Docker Compose、WSL 和 Q8 量化（约 10.2 GB，显存 ≥12 GB）三条备选路线，对外暴露 OpenAI 兼容 API（http://127.0.0.1:8080/v1）。底层使用 llama.cpp 作为 GGUF 推理引擎。
推荐理由：原文给出完整的硬件要求、安装步骤和三条部署路线，本地跑通 Qwen3.5-9B 多模态加工具调用可以照做。
GitHub 开源仓库 SLM-Lab 提供一套结构化的 SLM 与 LLM 动手实验笔记，覆盖从模型加载、微调、知识蒸馏、量化（INT8/INT4/GPTQ/GGUF）到 LLaMA Factory、Unsloth 加速及 RLHF/PPO/DPO 对齐的完整流程。内容含 13 个模块，包括基于 BERT 的 4 项 NLP 任务微调、以 TinyLlama-1.1B 构建药理学领域助手的四阶段管线，以及支持 100+ 开源 LLM 的 LLaMA Factory 实战教程。
GitHub 仓库 losophy/llm-finetuning-guide 记录大语言模型 LoRA 与 QLoRA 微调的学习路径，分为原理、Unsloth 纯代码跑通 Qwen2.5 微调、LlamaFactory 工业化封装、评估部署四个阶段，并含用蒸馏把 7B 模型知识灌进 0.5B 小模型的实战。仓库整理了 Unsloth（加速 2-5 倍、显存减半）与 LlamaFactory（71K+ Stars）等实战资源清单，强调 70% 时间应花在洗数据、100 条精品数据优先于 10000 条脏数据等心法。
Hugging Face 上发布了基于 Qwen/Qwen-Image-2.1 原始权重的 Uncensored GGUF 量化模型，提供 BF16（14.23 GB）到 Q4_0（4.15 GB）多种量化格式，推荐体积与画质平衡最佳的 Q4_K_M（4.60 GB）。模型无内置安全检查器或内容过滤，可直接生成成人、NSFW 及敏感图像，不会拒绝提示词或输出黑图。配套的 qwen3vl_8b 文本编码器与 VAE 文件可直接用于 ComfyUI 及 ComfyUI-GGUF，文本编码器可卸载到系统内存以节省 9–17 GB 显存。
alesha-pro 在 Hugging Face 发布 Qwen3.8-Flash-Next-abliterated-GSQ-RCO-Coder-Strata-GGUF，权重逐字节复制自 ISTA-DASLab 剪掉一半专家、以 3.5 bit 存储的 GSQ-RCO Coder 版本（下载 58.4 GB 对比 83.6 GB，ISTA 数据为原模型 91.3% 的 SWE-bench Verified 和 98.7% 的 LiveCodeBench v6）。作者的贡献是验证其此前发布的 480 KB 拒绝方向向量在剪枝模型上依然有效，并用 Niko1221 的 Strata 运行时以逐层投影方式去除拒绝。
推荐理由：作者实测了在剪枝版 Qwen3.8-Flash-Next 上运行时投影拒绝向量的实际效果，给出拒绝率和 KL 距离数据，方法可复用。
一位用单张 3090 运行 Qwen3.8-27B-exl3（约 150k 上下文、约 70t/s）的用户，因 strata 的热度考虑加购 128GB 6000MHz DDR5 内存和 Ryzen 9700X，以便搭配 3090 跑 IQ3 量化。他发帖询问跑过 Qwen 3.8 27B 与 Qwen Next strata 的用户两者在输出准确率上的差异，主要用途是编程和 Hermes 助手，并咨询该配置下的其他好选择。
Google DeepMind 发布开源多模态嵌入模型 EmbeddingGemma 2，总参数 740M，将文本、图像、视频和音频统一映射到 768 维向量空间，采用 Apache 2.0 许可，设计面向手机和笔记本等消费级硬件。模型支持 100+ 语言，8K token 上下文，原生 MRL 截断到 128/256/512 维最多可省 6 倍向量存储，视觉与音频编码器可按需加载（纯文本 270M）。基准上 MTEB 多语言 61.36、代码任务较前代提升约 14%；模型卡还给出任务前缀、bfloat16 精度（禁用 float16）等部署最佳实践。
推荐理由：模型卡给出了各模态基准分数与 MRL 截断后的质量对照表，读者可据此评估在端侧 RAG 或检索场景中选哪个维度部署。
面壁智能在 Hugging Face 开放 MiniCPM-V 4.7 35B-A3B，是 MiniCPM-V 系列首个 MoE 多模态模型。官方称借助 Lookahead Expert Scheduling、分层细粒度量化与 DSpark 投机采样，成为首个可无损流畅端侧运行的开源 MoE 模型，在 iPhone 17 Pro Max 上达到 13+ tokens/s；Instruct 模式下整体得分高于 Qwen3.6 35B-A3B 且推理时间更短。
推荐理由：原文给出 LES 预取、分层量化和推测采样三条技术路径，解释了 MoE 在设备端跑顺的原理与部署选择。