跳到正文
10月9日周五
  1. Hugging Face · 趋势模型72

    Underdog 发布 Saluki 27B 量化版,7.89GB 跑通 Qwen3.8-27B 并保留工具调用

    Underdog 在 Hugging Face 发布 Underdog-Saluki-27B-1.0,基于 Qwen3.8-27B 的 GGUF 量化版,仅 7.89GB(全尺寸 54GB),可在标准 llama.cpp 上运行。Underdog Bench 上工具调用 88/120,超过全尺寸模型的 84;并行工具调用 42 对 35,9 项基准平均保留 96%。竞赛数学保留约 82% 到 85%,弱点在字母级指令谜题,部分并行调用回复有小格式错误;可选 0.6 到 0.9GB 的 mmproj 文件添加视觉能力,Apache 2.0 许可。

    推荐理由:原文给出与全尺寸模型同 harness 的工具调用和基准对比数据,读者可以据此判断这个 8GB 量化版本到底保住了多少能力。

  2. Hugging Face · 新模型:abliterated45

    Huihui-Qwen3.8-Flash-Next-abliterated 推出 Orinfer E8P Q2A8 量化版,面向 Jetson AGX Orin 64GB 部署

    immiq 发布 huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated 的 Orinfer E8P Q2A8 量化部署包,专为 Jetson AGX Orin 64GB 设计,源模型通过 abliteration 减少拒答。模型支持文本、多图、thinking、prefix caching 和原生 MTP(最多 7 drafts),上下文容量 262,144 tokens,只读权重约 51.4 GB。在 Jetson AGX Orin 64GB 实测中,文本预填充 8,192 tokens 达 809 tokens/s,Python 代码生成解码速度 53.84 tokens/s,权重采用 Qwen Community License 1.0 许可。

  3. arXiv · cs.CL41

    SAIL:通过科学感知循环实现科研智能体智能

    SAIL Model Team 发布开源科研智能体模型 SAIL,总参数 35B、激活 3B,面向文献调研、科学编程和多步科研工作流。其训练采用科学感知改进循环:由前沿模型构建的智能体分析任务失败并生成针对性训练任务,再经监督微调、专家训练、多教师 on-policy 蒸馏和智能体强化学习完成训练。SAIL 在科研任务上以远少于主流开源模型的参数量取得有竞争力的表现。

  4. Hugging Face · 新模型:uncensored40

    Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 版本发布,0/465 拒答

    HauhauCS 基于 Qwen3.6-35B-A3B 发布无审查 Aggressive 版本,测得 0/465 拒答,数据集与能力无改动。模型为 MoE 架构,总参数 35B、每 token 激活约 3B,原生支持 262K 上下文和文本、图像、视频多模态,并提供 Q8_K_P 到 IQ2_M 多档 GGUF 量化(含 K_P 自定义量化),兼容 llama.cpp、LM Studio 等 GGUF 运行时。

  5. GitHub · 灵魂体仓库52

    OmniJev 开源多模态决策模型 OneJev,提供 0.8B 到 27B 四个尺寸

    OmniJev 发布 OneJev,一个多模态 System One 决策模型,可对截图、照片、视频和文本的类型化问题在单次前向中返回校准概率,提供 0.8B、4B、9B 和 27B 四个尺寸。模型基于 Qwen3.5 和 Qwen3.8 微调,支持 PyTorch、llama.cpp GGUF 和 Docker 部署,并开放 94,707 条训练数据及微调配置,采用 Apache 2.0 许可证。

  6. Hugging Face · 新模型:uncensored24

    mradermacher/Gemma-3-Uncensored_v2-merged-GGUF 模型在 Hugging Face 上发布

    mradermacher 在 Hugging Face 上发布 Gemma-3-Uncensored_v2-merged-GGUF 模型,提供 Q4_K_M 量化版本。用户可通过 llama.cpp 在 macOS、Linux、Windows 上以 `llama serve -hf` 启动本地 OpenAI 兼容服务器(含 Web UI),或用 `llama cli` 在终端直接推理。该模型也支持预编译二进制、源码编译和 Docker 运行。

  7. Hugging Face · 新模型:uncensored56

    Venice.ai 联合 Dolphin 团队发布 venice-uncensored(Dolphin Mistral 24B)

    Venice.ai 与 Eric Hartford 及 Dolphin 团队合作发布基于 Mistral 24B 的 venice-uncensored 权重,定位为平台上无硬编码对齐的模型,对齐由用户系统提示词决定。模型卡保留 Mistral 默认 V7-Tekken 聊天模板,给出用于去审查的示例系统提示词,推荐 temperature=0.15,可用 vLLM(需 vllm>=0.6.4、mistral_common>=1.5.2)或 transformers 运行,全精度约需 60GB 以上显存。

    推荐理由:模型卡写明了依赖系统提示词设定对齐的思路和推荐采样参数,本地部署者可以据此直接上手。

  8. Hugging Face · 新模型:abliterated68

    Dankpaws 发布 Swift 1.5 Qwen3.8-27B Abliterated 的 EXL3 4.25bpw 量化版

    Dankpaws 将 grimlee 的 abliterated 版 Swift 1.5 Qwen3.8-27B 转换为 EXL3 4.25bpw 量化格式,面向双 RTX 5060 Ti 16 GB 硬件,支持三路并发、每路 115,200 tokens 上下文,包含原生 MTP 和视觉权重。作者在 PCIe 拓扑受限的测试机上实测了单请求 66.1 tok/s、三短请求 41.9-43.3 tok/s 等吞吐数据,并明确说明未做额外微调或新的 abliteration,也未与 BF16 做成对评测;许可上同时适用 Swift Open License v1.0 和 Apache License 2.0。

    推荐理由:原文给出了完整的量化参数、实测吞吐和内存数据,读者可以按自己的双卡配置复现这套 EXL3 本地部署。

  9. Hugging Face · 新模型:uncensored20

    Gemma3-Prompt.Coder.it.Uncensored-270m 的 ONNX 版本在 Hugging Face 上线

    onnx-community 发布 WithinUsAI/Gemma3-Prompt.Coder.it.Uncensored-270m 的 ONNX 版本,可通过 Transformers.js 的 text-generation 管线使用。该模型基于 google/gemma-3-270m-it,用 mergekit 以 SLERP 方法合并 4 个模型而成,是无审查的提示词扩展模型。其安全过滤被大幅削弱,可能生成敏感内容,官方建议仅用于研究或受控环境,不适合生产环境使用。

  10. Reddit · r/LocalLLaMA41

    网友制作 Qwen3.5 2B/4B/9B 的 MLX 4-bit 本地运行包(含 abliterated 版本)

    Reddit 用户 sachasayan 为 Apple Silicon 本地推理制作了六个 Qwen3.5 MLX 4-bit 包,覆盖 2B、4B、9B 三个规模,各有原版和 Huihui abliterated 版本,均为去除视觉的纯文本模型,2B 版仅 1GB。模型已发布在 Hugging Face,作者已在写作软件 Minstrel 中用于摘要和上下文决策任务。

  11. Reddit · r/LocalLLaMA27

    Qwen 3.8 Flash Next 处理文档任务胜过新 Siri

    一位 Reddit 用户实测对比:让 Siri 汇总医疗账单 PDF 的付款总额,Siri 先只看首页,指出错误后跨页求和仍出错;而 Qwen 3.8 Flash Next 通过 Hermes 提取文本完成求和,还用视觉能力自查结果。作者感叹这又少了一个购买新 iPhone 的理由,并指出 Apple 实际也在使用云端托管的 Gemini 等 AI。

  12. Hugging Face · 新模型:uncensored20

    minas2025/Granite-4.2-3B-Uncensored-Conversational 模型上线 Hugging Face,支持 llama.cpp、vLLM、Ollama 等本地部署

    Hugging Face 上线 minas2025/Granite-4.2-3B-Uncensored-Conversational 模型,提供 Q6_K 量化版本,可通过 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等多种工具本地运行。模型支持 llama-server 启动 OpenAI 兼容 API,并可接入 Pi、Hermes Agent、OpenClaw 等 Agent 工具使用。

  13. Hugging Face · 趋势模型63

    NVIDIA 发布 Qwen3.8-Flash-Next-FP4-Local 量化版,支持单卡本地部署

    NVIDIA 在 Hugging Face 发布 Qwen3.8-Flash-Next-FP4-Local,是用 Model Optimizer 量化感知蒸馏(QAD 1.0,nvidia-modelopt v0.47.0)制作的 Qwen3.8-Flash-Next FP4 量化版,checkpoint 约 96 GiB。模型总参数 125B、激活 6B,另有 51B n-gram embedding 和 4B MTP,原生上下文 262K 可扩展至 1M tokens;精度上 GPQA Diamond 从 BF16 的 92.2% 降至 91.5%,ToolEvalBench 从 89.4% 降至 88.7%。

    推荐理由:官方模型卡给出了 FP4 量化方法、精度损失对照和两套本地硬件的部署方案,量化细节可参考。

10月8日周四
  1. Reddit · r/LocalLLaMA29

    UkisAI 的 Swift 模型下载量突破 200 万,并为研究者提供免费算力

    UkisAI 宣布其开源推理高效模型系列 Swift 下载量突破 200 万。Swift 通过惩罚病态过度思考模式并配合 RL 训练,将 token 用量降低 58.3%、速度提升 x1.95 且不损失准确率。首批加入 Discord 社区的 100 人可抢先体验未发布的 Swift GLM 5.3 Flash、Swift 9B、UkisAI Code 及 Swift.cpp 推理引擎,团队同时推出面向研究者的免费算力、LLM API 与数据集支持计划。

  2. Hugging Face · 新模型:uncensored43

    Qwen-Image-2.1 Uncensored GGUF 量化版发布:支持 ComfyUI 本地图像生成

    用户 Kikik3636 基于 Qwen/Qwen-Image-2.1 上游原始权重发布 GGUF 量化版本,提供 BF16、Q8_0、Q6_K、Q4_K_M 等多档量化文件,体积从 4.15 GB 到 14.23 GB 不等,其中 Q4_K_M 被推荐为体积与质量的最佳平衡。该版本内置 ComfyUI 配套的 text encoder(qwen3vl_8b)与 VAE 文件,可在 ComfyUI 中通过 ComfyUI-GGUF 节点运行。此版本无内置安全检查器或内容过滤,可直接生成 NSFW 内容,采用 Qwen Research License 授权。

  3. Hugging Face · 新模型:uncensored51

    Qwen3.8-27B TURBO 微调版发布:Heretic 去审查并压缩思考 token

    作者发布基于 Qwen3.8-27B 的多阶段微调 GGUF 模型,称 8bit ARC-C 达 0.735、ARC-E 达 0.882,并宣称将思考 token 压缩至原版的 1/2 到 1/10。去审查采用 Heretic v1.2.0+ 的 Arbitrary-Rank Ablation 方法,阶段1拒绝率从 99/100 降至 0/100(KL 0.0535),阶段2后为 11/100(KL 0.0025);提供常规与 MTP 两类量化,4bit Q4_K_S 下约 75 t/s,MTP 可超 90 t/s(5090 实测)。

  4. Hugging Face · 新模型:uncensored56

    Qwen3.8-Flash-Next 的 MLX 量化包发布,4-bit 混合精度约 63 GB 可在 128 GB Mac 上运行

    作者发布了 Qwen/Qwen3.8-Flash-Next 的 mlx-serve 4-bit 混合量化包(4-bit experts、8-bit 其余),该模型为 Qwen4 preview 架构(model_type: qwen4_exp),全量 checkpoint 为 125B trunk + 51B n-gram + 4B MTP,共 180B(bf16 360 GB)。实测在 M4 Max 128 GB 上常驻约 67-69 GB,decode 29-34 tok/s,25k token prompt prefill 约 400 tok/s。n-gram 表以单独 4-bit 文件 mmap 方式按需反量化,不占常驻显存;MTP 头可加载但当前比串行 decode 慢,默认关闭。

    推荐理由:作者在 M4 Max 上给出了显存占用、decode 与 prefill 速度等实测数据,读者可以据此评估这个 180B 模型能否在自己机器上跑。

  5. GitHub · 灵魂体仓库69

    AINode 开源决策模型 Jebadiah 系列,27B 五个零样本集宏观准确率 78.95

    AINode 开源了 System One 决策模型 Jebadiah,基于 Qwen3.5 和 Qwen3.8 做 LoRA 微调,从单个 label token 的 logits 直接输出校准概率而非生成文本,权重发布在 Hugging Face 的 frontier-infra 集合下。完整仓库包含训练器、数据构建器、评测器与每个 run 的结果记录,全部基于公开许可数据训练;27B 版在五个零样本集上宏观准确率 78.95,JevBench 公开项 0.866 与 Jev 1.13.0 持平,并提供 GGUF、MLX 量化与本地部署方案,代码采用 Apache License 2.0。

    推荐理由:原文完整公开了训练配方、消融记录与逐项评测数据,读者可以据此复现这个决策模型并判断各版本取舍。

  6. Reddit · r/LocalLLaMA55

    Neuphonic 开源 43 MB 语音转工具调用模型 NeuDecide,附 WASM 浏览器演示

    Neuphonic 团队以 Apache 2.0 协议开源 NeuDecide,该模型直接从音频和工具定义生成工具调用及参数,无需中间转写步骤,模型文件共 43 MB,可在单 CPU 线程推理。在 SLURP 工具任务(10 个工具)上达到 72.4% 工具准确率,约为 Nvidia Parakeet + Google FunctionGemma(24.4%)的 3 倍和 Cactus(Whistle + Needle,20.7%)的 3.5 倍;MacBook Pro M3 上 time to call 46 ms,Raspberry Pi 5 上 206 ms。

  7. Hugging Face · 新模型:uncensored16

    Hugging Face 用户上传模型 uncensored

    Hugging Face 上出现一个名为 uncensored 的模型仓库,由用户 thisisaritrasaha 上传。其模型卡为自动生成的模板,开发者、模型类型、许可证、训练数据等信息均标注“[More Information Needed]”,暂无任何可用细节。

  8. Hugging Face · 新模型:uncensored18

    ogies99/Gemma-3-Uncensored_v2-gguf 发布

    基于 Gemma-3 4B it 微调的无审查模型 Gemma-3-Uncensored_v2-gguf 发布,用 Unsloth 微调并转换为 GGUF 格式,提供 gemma-3-4b-it.Q4_K_M.gguf 和 F16-mmproj 文件,可用 llama-cli 或 llama-mtmd-cli 运行。模型调整了 BOS token 以兼容 GGUF,训练速度提升 2 倍;Ollama 暂不支持单独的 mmproj 视觉文件,需通过 Modelfile 创建统一的 bf16 模型使用。

  9. Hugging Face · 新模型:abliterated31

    htdohk/Huihui-Qwen3.8-Flash-Next-abliterated-MTP-GGUF 上架 Hugging Face

    abliterated 版 GGUF 模型 Huihui-Qwen3.8-Flash-Next-abliterated-MTP-GGUF 现已上架 Hugging Face,支持 image-text-to-text 多模态输入。页面给出 Transformers、llama.cpp(UD-Q4_K_XL 量化)、vLLM、SGLang、Ollama、Docker Model Runner 等多种本地运行与 OpenAI 兼容 API 部署方式,llama.cpp、Ollama 等均可直接拉取运行。

  10. Hugging Face · 新模型:abliterated20

    mradermacher 发布 Qwen2.5-0.5B-Instruct-3MPER0RR-abliterated-i1-GGUF 量化模型

    mradermacher 在 Hugging Face 上提供 Qwen2.5-0.5B-Instruct-3MPER0RR-abliterated 模型的 GGUF 量化版本,包含 imatrix 量化及约 0.1GB 的 imatrix 文件供用户自行创建量化。静态量化版本另行提供,使用方法可参考 TheBloke 的 README 说明。作者感谢 nethype GmbH 提供服务器及 @nicoboss 提供私有超算支持。

  11. Hugging Face · 新模型:abliterated30

    huihui-ai 发布 Huihui-Kolibri-1-BF16-abliterated 去审查模型

    huihui-ai 在 Hugging Face 发布 Aleph-Alpha/Kolibri-1-BF16 的去审查(abliterated)版本 Huihui-Kolibri-1-BF16-abliterated。该模型完全基于 llama.cpp 的 GGUF 完成 abliteration,未依赖 Transformers,具体方法见 cvector-generator。官方警告其安全过滤大幅削弱,可能生成敏感内容,建议仅用于研究和受控环境,产出后果由使用者自负。

  12. Hugging Face · 新模型:abliterated23

    mradermacher 发布 Qwen2.5-0.5B-Instruct-3MPER0RR-abliterated 的 GGUF 静态量化版本

    mradermacher 在 Hugging Face 发布 Qwen2.5-0.5B-Instruct-3MPER0RR-abliterated 的 GGUF 静态量化版本,提供从 Q2_K 到 f16 共 12 种规格,体积介于 0.4-1.1 GB,其中 Q4_K_S/Q4_K_M 被标注为快速且推荐,Q8_0 为最佳质量。weighted/imatrix 量化暂不可用,用户可通过 Community Discussion 提出请求。

  13. Hugging Face · 新模型:abliterated28

    mradermacher 发布 Qwen3-06B-3MPER0RR-abliterated 静态 GGUF 量化版本

    mradermacher 在 Hugging Face 发布 Qwen3-06B-3MPER0RR-abliterated 模型的静态 GGUF 量化版本,提供从 Q2_K(0.4 GB)到 f16(1.3 GB)共 13 种量化类型。其中 Q4_K_S、Q4_K_M 标注为快速且推荐,Q6_K 质量很好,Q8_0 快速且质量最佳。加权/imatrix 量化版本可在其模型页面获取,使用方法可参考 TheBloke 的 README。

  14. Hugging Face · 新模型:abliterated30

    sanasol2008 发布 Qwen3.8-Flash-Next-Abliterated-Sushi-2bpw 量化模型

    Hugging Face 用户 sanasol2008 发布 Qwen3.8-Flash-Next-Abliterated-Sushi-2bpw,这是基于 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 BF16 权重直接转换的实验性 Sushi 格式 2bpw 量化包,本身未做额外 abliteration 或微调。完整下载约 64.87 GiB(含 29.8 GiB n-gram sidecar),在 Apple M3 Max / 48 GiB 上用 Sushi 1.1.1 测试,warm decode 约 26.48 tok/s,配置上限 256k 上下文,并保留了视觉权重与 MTP 权重(MTP 推理未验证)。

  15. Hugging Face · 新模型:abliterated44

    Qwopus3.8-27B-Flash-V2-abliterated-exl3-6.0bpw 在 Hugging Face 发布

    Qwopus3.8-27B-Flash-V2 是基于 Qwen3.8-27B 的 Qwopus3.8-27B-Flash 的更新后训练版本,采用新的奖励函数与强化学习方法,目标是减少无效推理、降低 Agent 长任务的推理成本。V2 还针对上一版报告的 Python 缩进问题进行改进,在 temperature-0.3 的 Python 格式检查中未再观察到格式失败,该机制仍是工作假设。

  16. Hugging Face · 新模型:uncensored75

    GLM-5.3-Flash 消融版发布:拒绝率降约九成,能力基本不变

    Subnet46 在 Hugging Face 发布 GLM-5.3-Flash-Uncensored-FP8,对 Z.ai 的 GLM-5.3-Flash(320B/18B-active MoE)做 abliteration 去除拒绝方向,并直接写入官方 block-FP8 权重分片,共修改 12,479 个残差写入矩阵,可在已有部署中作为 zai-org/GLM-5.3-Flash 的直接替换。在 JailbreakBench 测试集上有害拒绝率从 0.891 降到 0.094,良性过拒从 0.094 降到 0;MMLU、MMLU-Pro、GSM8K、CMMLU 变化均在 ±1.5 pp 内。

    推荐理由:原文给出了完整的消融方法、各阶段拒绝率前后对比与能力保留数据,还报告了部分内容类别无法被单一方向消融的发现。

  17. Hugging Face · 新模型:abliterated18

    3MPER0RR 发布 abliterated 版 Qwen3-06B 模型,上架 Hugging Face

    3MPER0RR 在 Hugging Face 上发布 Qwen3-06B-3MPER0RR-abliterated 模型。该模型可通过 Transformers 的 pipeline 或 AutoModelForCausalLM 直接加载,也支持 vLLM、SGLang 和 Docker Model Runner 部署,后两者均提供 OpenAI 兼容 API 调用,并可通过 `docker model run hf.co/3MPER0RR/Qwen3-06B-3MPER0RR-abliterated` 运行。