跳到正文
  1. Reddit · r/LocalLLaMA63

    Qwen3.5-4B 神经元转向交互式 playground 发布,可在浏览器 WebGPU 本地运行

    Reddit 用户 /u/xenovatech 受 X 上神经元转向玩法启发,发布了交互式 playground,模型完全在浏览器内通过 WebGPU 运行。转向 Qwen3.5-4B 的两个神经元即可让模型谈论伤害、支配和毁灭用户,其他组合可让模型过度道歉、全大写写作或扮演动漫角色。工具地址:https://huggingface.co/spaces/webml-community/neuron-studio

    推荐理由:作者把 X 上流行的神经元转向玩法做成了可在浏览器本地运行的交互工具,读者可以自己动手复现这些组合。

  1. GitHub · 灵魂体仓库62

    Heretic Directory 上线:可浏览的 Hugging Face abliteration 模型索引

    instax-dutta 发布 Heretic Directory,一个可浏览的 Heretic abliteration 结果索引站,快照收录 8,388 个仓库、6,320 个已验证、1,066 个上游基座模型、1,014 条消融配方,覆盖 64.8M 下载。站点通过爬取 README 卡片提取 KL 散度与拒绝数,按基座链路归类分组,得分 = 100 × (0.5 × (1 − 拒绝率) + 0.5 × 1/(1+KL));未上传权重的 unverified 卡片不得排第一,KL 低于 1e-4 的 27 条配方标记为不可信。所有指标均为自报、未复测,每日自动刷新,以静态导出部署在 Netlify,代码 MIT 许可。

    推荐理由:原文说明了如何把 Hub 上数千个 abliteration 仓库去重、验证并按 KL 与拒绝率排名,并写明所有数字均为自报未复测。

  1. Hugging Face Blog70

    Microsoft 与 Hugging Face 发布 ThinkingBox-Training:用数据库评分作 RL 奖励后训练 Agent

    Microsoft 与 Hugging Face 发布 ThinkingBox-Training,在 GitHub 开源了将数据库终态可执行检查转化为 RL 奖励的后训练流程。用离线策略相对难度筛选出 187 个训练任务,对 Qwen3.8-27B 做 50 步 GRPO 后,ThinkingBox-Bench 507 个任务中每次都成功的任务从 38(7.50%)升至 107(21.10%),pass@1 从 51.70% 升至 60.78%,pass@20 略降 7 个任务;单个可靠任务成本从 $24.36 降至 $8.00。

    推荐理由:把数据库终态检查直接用作 RL 奖励的完整训练配方,任务筛选方法和成本变化都给了数据,可迁移到有状态 Agent 训练。

  2. GitHub · 灵魂体仓库64

    千问杯多模态大赛第3名方案开源:Qwen3.5-0.8B 蒸馏 SFT + GRPO 小剂量 RL 全流水线

    参赛队「广州智行科技」开源千问杯多模态推理大赛最终第3名(获2万元奖金)的完整方案:在 Qwen3.5-0.8B 上先蒸馏 Qwen3.6-27B 的 113K 样本做 SFT(初赛 41.8 分压线晋级),再用 GRPO 30 步小剂量 RL(决赛榜 20.2 分,第 9/20),答辩后终评第 3。仓库公开训练/导出脚本、真实日志与技术报告,权重托管于 Hugging Face;核心发现包括 RL 剂量轴在 30 步达峰、同权重 ZIP CRC 消融证明采样解码白送约 3 分、0.8B 模型 RL 池内学习量与平台分强反相关。

    推荐理由:作者用同权重 CRC 消融和剂量轴实验分离出每个增量的因果证据,0.8B 小模型 RL 剂量与遗忘的权衡刻画对类似场景可迁移。

  1. Hugging Face Blog59

    Hugging Face 推出 TorchTPU 原生支持,Transformers 与 Diffusers 可直接运行在 TPU 上

    Hugging Face 官方宣布通过 TorchTPU 原生 PyTorch 后端,Transformers、Diffusers 和 Kernels 无需 torch_xla 或 JAX 即可原生运行在 TPU 上,用 device_map="tpu" 即可加载模型。附 Pallas kernel 与 torch.compile 支持,batch 64 下 Qwen3-30B-A3B 解码提速 21.5×、Gemma 4 26B-A4B 提速 12.8×;transformers 测试套件在 TPU 上 96.5% 通过,已报告 34 个问题并修复 19 个。

    推荐理由:官方给出了从 torch_xla 迁移到原生 PyTorch 后端的具体写法,还附带 kernel 加速倍数和 CI 通过率等实测数据。

  2. Hugging Face Blog58

    Hugging Face 发布 AnyLanguageModel 1.0,一年来本地模型接入 Apple 平台的成果

    Hugging Face 发布 AnyLanguageModel 1.0,它是 Apple Foundation Models 框架的 drop-in 替代,可让同一套 session 代码使用系统模型、llama.cpp/MLX/Core ML 开源权重模型及托管服务。1.0 版所有 provider 均支持工具调用与引导式生成,托管端支持 OpenAI、Anthropic、Gemini、Ollama、Hugging Face Inference Providers 等端点;同日发布 swift-huggingface 1.0 与 swift-xet 1.0,并可运行于 Linux。

    推荐理由:官方回顾了一年迭代脉络,并给出本地与托管推理共用一套 Foundation Models 风格 API 的具体做法,对 Swift 开发者有直接参考价值。

  3. Hugging Face Blog73

    Hugging Face 介绍 PyTorch 2.15 的 MPS 后端改进:FP8 登场,MoE 解码最高提速 6.5 倍

    Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 对 MPS 后端的改进:新增 float8_e4m3fn 张量与 F.scaled_mm,MoE 模型解码比 2.14 提速 5 到 6.5 倍,M3 Ultra 上 Qwen3.6-35B-A3B 从 9.4 升到 61.3 tokens/s,LFM2.5-8B-A1B 从 23.6 升到 123.6 tokens/s。线性层走专用 GEMV 内核(几何平均 1.23 倍),词表 softmax 约 8 倍加速;Wan2.2 视频 VAE 解码的驱动内存峰值从约 270 GiB 降到 8 GiB,并修复了 Qwen-Image-2.1 VAE 编码器在 MPS 上损坏图像的问题。

    推荐理由:Hugging Face PyTorch 团队亲述 MPS 后端改进细节,给出各模型的实测吞吐数字,Mac 上跑模型的读者可以对照评估升级收益。

  4. Reddit · r/LocalLLaMA62

    Blockway 自研 Agens Engine 让 32B 模型在 16 GB 显存预算内跑 262K 上下文

    香港小团队 Blockway 发布自研推理引擎 Agens Engine(MIT 协议)和 Volundr 32B 模型权重,72 层中 54 层用固定大小状态替代随 token 增长的 KV cache,长上下文溢出到系统内存。实测视频显示 110K token 小说冷读取约 69 秒,后续提问 0.5 秒内回答,GPU 显存峰值约 15.6 GiB;社区用户在 24 GB 卡上测得 86.4–106.7 tok/s。团队计划探索 MoE 变体、Windows/Apple Silicon 支持和紧凑桌面整机。引擎:https://github.com/BlockWayz/agens-engine

    推荐理由:香港小团队公开自研推理引擎的实测数据与设计取舍,长会话显存占用和后续提问延迟都有具体数字可查。

  1. Hugging Face Blog57

    Hugging Face 发布 TorchNeuron:Transformers 等库原生支持 AWS Trainium

    Hugging Face 宣布 TorchNeuron 为 PyTorch 在 AWS Trainium 上的原生后端,自 2026 年 10 月 20 日起开放公测,可通过 pip install torch-neuronx 安装。

    推荐理由:官方给出了 TorchNeuron 与 Optimum Neuron 的模型支持率对比和可直接复用的推理与训练脚本,便于评估是否迁移到 Trainium。

  2. GitHub · 3D 生成新仓库58

    SwiftVinetas 开源:在 Apple Silicon 上用 FLUX.2 本地生成漫画分镜

    intrusive-memory 开源 SwiftVinetas,可在 Apple Silicon 上完全本地运行,通过 MLX 上的 FLUX.2 Klein 4B 和 PixArt-Sigma XL 从文本提示生成连续漫画分格,并提供 Swift 库和 vinetas CLI。Klein 4B 约每格 26 秒、需 16 GB 内存,PixArt-Sigma XL 约 10 秒、需 8 GB;支持 LoRA 风格、最多 3 张参考图保持角色一致性、YAML 批量提示词和从剧本解析 GLOSA <shot> 生成 storyboard。v0.23.0 加入九个按用户自己 API key 计费的云端模型,与本地引擎通过 EngineRouter 并存;所有生成的 PNG 都内嵌元数据。

    推荐理由:这个仓库给出了在 Apple Silicon 上纯本地生成连续漫画分格的完整方案,含内存占用与每格生成耗时,方法可迁移。

  1. GitHub · 灵魂体仓库55

    minicpm-webapp:基于本地 MiniCPM-V 4.7 的图像分析与网站健康监控工具

    shank15217 在 GitHub 发布 minicpm-webapp,一个用本地 llama.cpp 运行 MiniCPM-V-4.7-1B 多模态模型的 FastAPI 应用,可描述分类图像并通过与基线截图比对检测网页篡改。判定由确定性的 dHash64+MAE 像素比对拥有,VLM 只对被标记的波段做单图旁白;支持 detail(f16,640×480 约 832 token)和 fast(-4x 下采样,约 223 token)双视觉模式,附 U1–U6 测试计划和 W1–W11 已知弱点清单(如亚 1% 面积改动可过阈值、存在 SSRF 缺陷建议仅限局域网部署)。

    推荐理由:用确定性像素比对拥有判定权、VLM 仅做旁白的架构做网站篡改检测,还公布了已知弱点清单和实测 token 数,部署细节可迁移。

  1. GitHub · 去对齐工具与仓库56

    Hugging Face 开源 swarmlab:异构 LLM 智能体群协作实验测试床

    Hugging Face 开源了 swarmlab,一个用于研究异构 LLM 智能体群协作原语的科学测试床,通过控制通信拓扑、可见性策略和角色等变量来检验群体共识、准确率与极化。实验由 World、Participants、Medium、Metrics 四部分组成,支持混合 Anthropic、OpenAI、Hugging Face Inference Providers、自托管 vLLM 等模型,内置信念探针、中途干预、配对运行与日志重放,可改一行 YAML 换假设。

    推荐理由:原文给出了实验框架的完整构成和真实运行数据,读者可以据此评估多智能体协作研究是否值得迁移到这个测试床上。

  1. GitHub · 3D 生成新仓库65

    Latentry 开源:本地隐私优先的图像生成 Web UI

    开源项目 Latentry 发布,这是一个运行在本机的隐私优先图像生成 Web UI,可调用自带 diffusers 引擎或 A1111、ComfyUI、diffusers 后端,支持 txt2img、img2img、inpainting 和 3D 骨骼姿势控制。每张图保存时嵌入生成设置,图库支持按 prompt、model:、seed:、steps:>=30 等条件检索并回填参数,内置 WD14 打标签,无遥测、默认只监听 127.0.0.1,需 Node.js 22.19+,MIT 许可。

    推荐理由:项目把生成、带嵌入设置的图库检索和 WD14 标签串成一套本地流程,隐私设计的具体做法对想本地跑图的人有参考。

  1. GitHub · 灵魂体仓库59

    Model Fit Explorer 开源跨平台桌面应用,检测硬件并估算本地大模型能否跑得动

    Pasindu Ranasinghe 在 GitHub 开源了 Model Fit Explorer,一款跨平台桌面应用,自动检测 Windows、macOS 和 Linux 硬件,估算 430 多个 Ollama 模型变体在 GPU VRAM、系统内存或统一内存中的占用,并给出从 Fully GPU 到 Cannot fit 的七档适配分类。估算包含权重、KV cache、缓冲区等项,不做虚构 tok/s 数字,可用 Ollama 实测对比,支持离线使用,无遥测,MIT 许可,从 Releases 下载 .dmg、.msi/.exe、.AppImage/.deb 等安装包。

    推荐理由:原文给出了显存的估算公式与七档适配分类,读者可以据此判断本地能否跑动某个模型,而不是只拿到一个笼统结论。

  2. GitHub · 去对齐工具与仓库71

    DuplexJev 开源 speech-to-decision 模型:一次前向 92 ms 输出 10 项语音决策

    adventists-ai 开源了 DuplexJev 系列语音决策模型(含 32B-Para、4B-Para、32B-Turn、32B-Stress 等),将 Qwen3-ASR-0.6B 编码器接入冻结 LLM,单次前向直接输出带概率的封闭选项判断,无需 ASR 转写与文本解码,10 项决策在单张 H200 上约 92 ms,比 ASR 加 LLM 级联快 21×。模型可识别转向状态、打断、情绪、性别、重音、停顿、笑声等非语言声音与说话风格,情绪与性别约 91%,turn-taking 在 CoDeTT 零样本达 70.0,全部支持 vLLM 部署,代码 Apache-2.0、完整模型 CC BY-NC 4.0,论文见 arXiv:2610.02638。

    推荐理由:把冻结 LLM 变成免解码的语音决策引擎,一次前向同时输出转向、情绪、性别等带概率的多项判断,延迟与基准数据都给得完整。

  3. Reddit · r/LocalLLaMA63

    Basalt 推理引擎发布:Qwen3.8 Flash-Next 在 5090+5060 Ti 上跑出 665 tok/s,为 Strata 的 2.6 倍

    /u/jesdga95 发布开源(MIT)推理引擎 Basalt,是 Strata 的深度调优分支,仅支持 Qwen3.8 Flash-Next 与 Blackwell 架构。作者在 5090+5060 Ti 上实测 665 tok/s structured、354 prose、64k prefill 7317 tok/s(400W),单 5090 为 585/316;支持最多 8 用户并发(8 流共 623 tok/s)、自研视觉编码器(比 llama.cpp 快最高 3-4 倍)、OpenAI/Anthropic 兼容 API,仅支持 Linux。

    推荐理由:作者实测给出了单卡与双卡的吞吐数字和量化选项,可作为 Blackwell 本地推理引擎选型与调优的参考。

  4. GitHub · 去对齐工具与仓库65

    ModelFit 上线:实测 110+ 本地 LLM 的 VRAM/RAM 需求

    ModelFit 网站上线,汇总 Kimi K3、Gemma 4、DeepSeek V4、Qwen 3.8、GLM-5、Llama 3.1 等 110+ 热门本地 LLM 的 GGUF 实测文件体积与显存内存需求。所有数字直接取自 Hugging Face 上的真实 GGUF 文件而非公式估算,KV cache 按 config. 精确计算,并对 DeepSeek/Kimi 架构使用 MLA 分支公式,避免 GQA 朴素算法高估 5–50 倍。网站每日自动重建,新模型上榜约 24 小时内生成页面,数据以 CC BY 4.0 开放并提供 JSON API。

    推荐理由:这个网站直接从 Hugging Face GGUF 文件实测体积并精确计算 KV cache,还解释了主流估算公式为何偏差可达数倍,方法可复用。

  5. GitHub · 灵魂体仓库57

    Father-Agent 开源仓库:一行英文自动生成带校验的 Python 子智能体

    Father-Agent 是一个开源智能体工厂,输入一行英文即可规划、编写并校验一个异步 Python 子智能体,按需求交付 CLI、Streamlit/FastAPI 应用、JSON API 或 aiogram Telegram bot,自带 Dockerfile、Hugging Face Space 与 Render 部署配置。

    推荐理由:作者把生成代码始终不经执行、靠九道静态校验关卡的流程讲得具体,可借鉴到其他代码生成工具的安全设计上。

  1. GitHub · 去对齐工具与仓库59

    cactus-needle 发布:在浏览器和 Node.js 本地运行 Needle 3 做工具调用与嵌入

    afshinm 发布 cactus-needle,一个独立封装库,可在浏览器或 Node.js 本地运行 Cactus Compute 的 Needle 3,用于工具调用、结构化抽取和文本嵌入。模型体积 35.3 MB 单独下载,在 WebAssembly worker 的 CPU 上推理,无需 API key、服务器或 GPU;首次加载从 Hugging Face 下载模型并缓存。支持作为 Vercel AI SDK 6 和 7 的 provider 使用,嵌入维度为 3072。限制包括不支持自由聊天、音频和图像,不支持回传工具结果的 Agent 循环,流式输出为缓冲返回。采用 Apache-2.0 许可证。

    推荐理由:给出了在浏览器和 Node.js 里本地跑 Needle 3 做工具调用与嵌入的完整用法,推理不依赖 API key、服务器或 GPU,方法可直接复用。

  2. Reddit · r/LocalLLaMA59

    Hugging Face 推出 ssh chat.hf.co 零配置直接聊天模型

    Hugging Face 的 Aritra 介绍了一种无需配置、无需 API key、无需设置的直接聊天方式,可对话托管在 Hugging Face Inference Providers 上的模型,只需执行 `ssh chat.hf.co`。团队邀请用户反馈意见。

    推荐理由:来自 Hugging Face 团队的零配置接入方式,用一条 ssh 命令直接与托管模型聊天,省去配置和 API key。