跳到正文
10月9日周五
  1. Hugging Face · 趋势模型58

    千问发布 Qwen-Image-2.1-Turbo 8 步加速检查点

    千问(Qwen)发布 Qwen-Image-2.1-Turbo,这是 Qwen-Image-2.1 的加速检查点,支持 8 去噪步的文生图与图像编辑。模型沿用 7B 视觉生成架构,可通过 Diffusers 的 QwenImage21Pipeline 直接加载,采样日程随检查点自动加载,默认 CFG=1 并用 prefix KV caching 复用文本和参考图上下文。模型采用 Qwen Research License Agreement 授权。

    推荐理由:官方发布了 8 步加速版文生图与图像编辑权重,采样日程随检查点自动加载,附 Diffusers 用法,适合想在本地跑快速生成的读者。

  2. Hugging Face · 新模型:abliterated75

    Kujira 发布 Underdog Saluki 27B 1.0 MTP 去拒答 GGUF 版

    Kujira 在 Hugging Face 发布 Underdog-Saluki-27B-1.0-MTP 的 abliterated GGUF 版,仅改动第 35–36 层的 4 个张量,其余 862 个张量与原文件字节级一致,未做训练。有害提示词拒绝率从 99% 降到 1%(开思考时 78% 到 2%),英语困惑度上升 1.6%、日语上升 1.8%,速度和显存与 MTP 版相同,约 58–62 tok/s,12 GB 显卡可用 40K 上下文。消融方法未公开。

    推荐理由:原文列出消融改动的具体张量、拒绝率前后对比和困惑度变化,读者可以评估这个去对齐版本的代价。

  3. GitHub · 去对齐工具与仓库34

    Veronica(VACA)1.0.0:用自然语言构建应用的本地 AI 编码应用,内置 Qwen2.5 14B

    Veronica(VACA)1.0.0 是一款 Electron 桌面应用,用英文描述需求即可构建应用,支持 Linux x64 和 Windows x64,自带 Node 后端。它固定使用 Qwen2.5 14B 模型(约 9 GB)通过 OpenAI 兼容 API 由 Ollama 托管,另有基于 Qwen2.5-Coder-14B-Instruct-Uncensored 加 LoRA 合并、量化为 Q4_K_M 的微调版本托管在 Hugging Face。当前为限时演示版,2026-12-09 后停止启动,仅比对本地时钟,无联网校验、无遥测、过期不删数据。

  4. GitHub · 灵魂体仓库64

    AI Runner 开源本地 AI 伴侣与 AI 画布项目

    Capsize Games 开源的 AI Runner 是一个完全本地运行的 AI 伴侣与 AI 绘画应用,GPL-3.0 协议,由 Capsize LLC 的一位工程师开发维护。用户可自定义伴侣的名字、人格、语音,伴侣通过 RAG 建立跨会话的长期记忆,并感知时间、日期与本地天气;绘画部分提供多层画布,支持草图转图像、image-to-image、局部重绘与滤镜。默认 LLM 为 Qwen3.5-9B GGUF Q8_0(约 12 GB VRAM),通过 llama.cpp sidecar 运行,支持 Ollama、OpenRouter、OpenAI 等后端。

  5. Hugging Face · 新模型:abliterated21

    Qwen2.5-1.5B-Abliterated 上架 Hugging Face:基于权重正交化的教育性 abliteration 演示模型

    jaswanthsanjay88 在 Hugging Face 发布 Qwen2.5-1.5B-Abliterated,一个基于 Qwen2.5-1.5B-Instruct 的教育演示模型,采用 Arditi et al. (2024) 的权重正交化(abliteration)方法。干预作用于第 16 层 residual write projections,校准数据采样自 AdvBench harmful 和 Alpaca cleaned 数据集,用于大学教学中展示对齐模型的行为防护如何映射到 transformer 残差流中的线性子空间。

  6. Hugging Face · 新模型:uncensored37

    Qwen-Image-2.1 Uncensored GGUF 量化版本发布,支持 ComfyUI 本地图像生成

    Hugging Face 用户 robertbschuette 发布了 Qwen-Image-2.1 的 Uncensored GGUF 量化版本,提供从 BF16(14.23 GB)到 Q4_0(4.15 GB)等多种量化文件,推荐 Q4_K_M(4.60 GB)作为体积与质量的最佳平衡。该版本移除内置安全检查与内容过滤,可直接生成 NSFW 等敏感图像。模型可在 ComfyUI 中配合 qwen3vl_8b 文本编码器与 VAE 使用,文本编码器可卸载至系统内存,节省 9–17 GB 显存。

  7. GitHub · 去对齐工具与仓库18

    capstone:用韩国人口统计 Persona 数据驱动 LLM 智能体模拟消费场景

    一个 capstone 项目基于 Nemotron-Personas-Korea 韩国人口统计 Persona 数据构建虚拟居民,并以独立 LLM 智能体驱动,模拟消费与营销场景中的行为互动。项目用 Qwen2.5-3B 及 Gemini/OpenAI/Anthropic 商用 API,让三位 Persona 在乐天影院场景模拟协商选电影,并用 SVG/HTML 做网页可视化。

  8. GitHub · 去对齐工具与仓库59

    cactus-needle 发布:在浏览器和 Node.js 本地运行 Needle 3 做工具调用与嵌入

    afshinm 发布 cactus-needle,一个独立封装库,可在浏览器或 Node.js 本地运行 Cactus Compute 的 Needle 3,用于工具调用、结构化抽取和文本嵌入。模型体积 35.3 MB 单独下载,在 WebAssembly worker 的 CPU 上推理,无需 API key、服务器或 GPU;首次加载从 Hugging Face 下载模型并缓存。支持作为 Vercel AI SDK 6 和 7 的 provider 使用,嵌入维度为 3072。限制包括不支持自由聊天、音频和图像,不支持回传工具结果的 Agent 循环,流式输出为缓冲返回。采用 Apache-2.0 许可证。

    推荐理由:给出了在浏览器和 Node.js 里本地跑 Needle 3 做工具调用与嵌入的完整用法,推理不依赖 API key、服务器或 GPU,方法可直接复用。

  9. GitHub · 去对齐工具与仓库41

    uni-api:统一管理多个大模型 API 的开源项目

    uni-api 是一个统一管理大语言模型 API 的开源项目,通过单一 API 接口调用多个后端服务并统一转换为 OpenAI 格式,支持 OpenAI、Anthropic、Gemini、Vertex、Azure、AWS、xAI、Cohere、Groq、Cloudflare、OpenRouter 等后端。项目无前端界面,纯配置文件即可运行,支持三类负载均衡(通道加权、顺序轮询、API Key 轮询)、自动重试、通道冷却、细粒度超时与权限控制、速率限制(如 2/min),并提供 /v1/chat/completions、/v1/embeddings 等标准 OpenAI 格式接口。

  10. Hugging Face · 新模型:uncensored29

    YK992 发布 Llama-3-8B-Lexi-Uncensored 无审查模型

    基于 Llama-3-8B-Instruct 的无审查模型 Llama-3-8B-Lexi-Uncensored 上线 Hugging Face,遵循 Meta Llama 3 社区许可,允许包括商用在内的用途。该模型对各种请求高度合规,Open LLM Leaderboard 平均分 66.18,其中 HellaSwag 77.88、MMLU 67.68、GSM8k 68.39。作者提醒部署前需自行添加对齐层,并需对生成内容负责。

  11. GitHub · 去对齐工具与仓库50

    dataset-explorer:面向聊天与工具调用数据的 Hugging Face 数据集查看工具

    Pooyash1998 发布开源工具 dataset-explorer,用于快速浏览 Hugging Face 数据集,专为聊天和工具调用数据优化。对话以聊天气泡、工具调用以参数卡片形式展示,支持按 schema 校验调用、实时计数筛选、正则搜索和键盘快捷键,兼容 OpenAI、ShareGPT、xLAM、BFCL、Hermes 等格式,登录后可读取已授权的 gated 数据集,MIT 许可开源。

  12. Hugging Face · 新模型:uncensored57

    dima6312 发布 Swift-1.5-Qwen3.8-27B Uncensored 的 MLX oQ4e 量化版

    dima6312 在 Hugging Face 上发布 ajgazin 的 Swift-1.5-Qwen3.8-27B Uncensored(UkisAI Swift 1.5 的 abliterated 版)的 MLX oQ4e 量化,体积 17.0 GB、4.9 bits per weight,仅做量化未改其他内容,并保留 MTP 头以支持 oMLX 中的自推测解码。在 M4 Pro 48GB 上实测:编码任务 21/24、工具调用 27/30、100 条提示词拒绝 11 次(原模型为 97 次),解码 39.8 tok/s,MTP 接受率 87.5%;模型沿用 Swift Open License v1.0,年收入超 100 万美元的组织商用需 UkisAI 的企业授权。

    推荐理由:作者用统一的拒绝率测试对比了量化版与原模型,还保留了 MTP 头并给出解码速度,量化质量有实测数据可查。

  13. Hugging Face · 新模型:abliterated57

    LFM2.5-2.6B abliterated 去对齐版发布,25条有害提示拒绝率降至0/25

    haddockaihamburg 在 Hugging Face 发布了 LiquidAI/LFM2.5-2.6B 的 abliterated 去对齐版本,用 heretic 工具(方向性消融加 TPE 参数优化、Arbitrary-Rank Ablation 合并权重)全自动生成,无需手动调参,heretic 共跑20次 Optuna 试验并恢复 Pareto 前沿顶部。独立于 heretic 评分器的实测显示,25条有害提示中基座模型拒绝22次,该版本拒绝0次;作者提醒仅25条提示、单一随机种子,不能将拒绝率数字解读为无能力损失,也未跑完整基准。

    推荐理由:原文给出了消融方法与独立实测的拒绝率对比,并坦承只有25个提示词、单种子运行,读者可据此自行评估其参考价值。

  14. GitHub · prompt 工程新仓库25

    awesome-agent-boom:GitHub 最热门 AI Agent 开源书单仓库精选

    gotonote/awesome-agent-boom 是一份 GitHub 上最热门的 AI Agent / LLM Agent 开源书籍、课程与代码仓库精选清单,Star 数由 GitHub Actions 每日自动更新。清单涵盖中文开源图书、英文课程、Agent Harness 生态与框架工具库等板块,收录李博杰《深入理解 AI Agent》(53.0k Star)、Hugging Face Agents Course(33.3k Star)、DeepSeek Harness(245.7k Star)、n8n(206.7k Star)等热门项目,并给出入门、进阶与面试的推荐阅读路线。

  15. Hugging Face · 新模型:abliterated41

    Huihui-Qwen3.8-27B-abliterated GGUF 量化版本更新

    Huihui-ai 发布 Qwen/Qwen3.8-27B 的 abliterated 去审查版 GGUF 量化模型,多次更新新增 UD、UD-DW、GSQ-RCO、Ternary、Swift 等系列,其中部分版本仅消融第 22 至 52 层(0 起始索引)。模型提供 Q2_K_L 至 Q8_0_L 等量化格式,支持上下文长度 262144,可通过最新版 ollama(huihui_ai/Qwen3.8-abliterated)或 llama.cpp 运行。官方提示安全过滤已显著降低,建议仅用于研究和测试环境。

  16. Hugging Face · 新模型:uncensored60

    GLM-5.3-UNCENSORED 的 EXL3 3.0bpw 量化版发布

    gopiprakan 发布了 GLM-5.3-UNCENSORED-FP8 的 EXL3 量化版本(平均 3.04 bpw,273 GiB),上游是 dealignai 对 zai-org/GLM-5.3 做权重编辑得到的无微调变体,编辑记录保存在 CRACK_SURVEY. 同目录的 CRACK_SURGERY.。量化版在 wikitext-2 上相对 FP8 源的 KL 散度为 0.089/0.097,perplexity 3.440 对 3.302;tau2-bench 实测中 airline 和 retail 两域与原版 GLM-5.3 FP8 的差异分别为 -0.070 和 -0.022,样本量下不具统计显著性。

  17. Reddit · r/LocalLLaMA57

    Qwen3.5-2B-RCOL 动态低比特量化发布,KLD 显著优于标准 imatrix 量化

    Reddit 用户 /u/jjusko20 发布 Qwen3.5-2B-RCOL 动态低比特量化(IQ1_M、IQ2_M、IQ3_M),基于对 ISTALab RCO 算法的修改,可在严格 VRAM 预算下量化模型,且无需将 FP16 教师模型载入显存。作者称在 1 比特和 2 比特范围看到显著 KLD 改进,并在与标准 llama.cpp imatrix 量化相同 wikitext 校准、双保留集测试下给出 KLD 对比表,IQ1_M 散度大幅下降;GGUF 文件在 https://huggingface.co/trubisky/Qwen3.5-2B-RCOL,后续计划应用于家族更大模型。

  18. Hugging Face · 新模型:abliterated69

    hotdogs 发布 Ternary Bonsai 2 27B 去对齐合并版,约7.6GB 单卡可跑

    hotdogs 在 Hugging Face 发布 Ternary-Bonsai-2-27B-Abliterated-swift-cap-PQ2_0-MTP,基于 BoldingBuilds 的去拒绝 v2 版,以 0.4 scale 合并 Swift 去对齐与 ThinkingCap 省 token 推理两个 SVD-LoRA。模型采用 PQ2_0 三元量化(约2.13 bits/weight),27.3B 参数仅约 7.6 GB,支持 262,144 token 上下文、视觉输入和 MTP 投机解码。仅能通过 PrismML 的 llama.cpp fork 加载,主线程 llama.cpp、Ollama 和 LM Studio 均不支持。

    推荐理由:原文给出abliteration的张数、MMLU损失和各LoRA保留能量,合并构建的局限与适用范围都写得很透明。

  19. Hugging Face · 新模型:abliterated21

    mradermacher 发布 Ostrich-27B-261008-Qwen3.8-Abliterated GGUF 量化版本

    mradermacher 在 Hugging Face 发布 Ostrich-27B-261008-Qwen3.8-Abliterated 的静态 GGUF 量化版本。提供多种量化格式,其中 Q4_K_S 为 15.9 GB、速度快且被推荐,另含 mmproj-Q8_0(0.7 GB)与 mmproj-f16(1.0 GB)多模态补充文件;weighted/imatrix 量化暂未提供,用户可通过 Community Discussion 申请。

  20. Hugging Face · 新模型:abliterated21

    hotdogs 发布 Ternary-Bonsai-2-27B-Abliterated-swift-cap-pq2_0-gguf GGUF 模型

    hotdogs 在 Hugging Face 上发布 Ternary-Bonsai-2-27B-Abliterated-swift-cap-pq2_0-gguf,提供 Q2_0 量化格式的 GGUF 权重。该模型可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或直接推理,也支持 Docker、Ollama、LM Studio、Jan、Pi、Lemonade、Hermes Agent、OpenClaw 等工具加载运行。

  21. Hugging Face · 新模型:abliterated33

    ThinkingCap-Qwen3.8-27B-abliterated UD-Q4_K_XL GGUF 量化版发布

    groxaxo 在 Hugging Face 发布 ThinkingCap-Qwen3.8-27B-abliterated 的 UD-Q4_K_XL GGUF 量化版,共 866 个张量,直接从 BF16 checkpoint 转换并采用 Unsloth 的张量布局与 imatrix。附带独立 MTP draft、视觉 mmproj 和 chat_template.jinja,支持 llama.cpp 的 --spec-type draft-mtp 投机解码、enable_thinking 以及 low/medium/xhigh 推理力度。模型采用 PolyForm Small Business License 1.0.0,仓库声明不提供新的质量基准。

  22. Hugging Face · 新模型:abliterated64

    Maximilian228 发布 Huihui-Qwen3.8-Flash-Next-abliterated 的 NVFP4 GPTQ 量化包

    Maximilian228 在 Hugging Face 发布了 huihui-ai 消融版 Qwen3.8-Flash-Next 的 NVFP4 量化包,全部路由专家用 GPTQ(而非 RTN)从 BF16 检查点量化,可在单张 RTX 20-50 显卡(12 GB 以上显存、64 GB 以上内存)上通过 Strata NVFP4 运行 125B 混合 MoE。在留出 token 上,GPTQ 的加权相对误差为 RTN 的 33.5%,48 层全部优于 RTN;实测 182.8 tok/s 解码、2810 tok/s prefill,解码成本与 RTN 持平。

    推荐理由:原文给出完整的 GPTQ 量化方法和 48 层误差对比数据,读者可以据此评估 NVFP4 消融模型的精度与部署成本。

  23. Hugging Face · 趋势模型60

    Cloudflare 开源 30B-A3B 多模态 MoE 模型 Clef-Omni

    Cloudflare 在 Hugging Face 发布 Clef-Omni,一个 30B-A3B 的 MoE 多模态模型,从 Qwen/Qwen3-Omni-30B-A3B-Instruct 后训练而来,把状态与类型化问题 schema 在单次前向中转为每个选项的概率,不做自由文本生成和输出解析。模型支持文本、JSON、图像、音频、视频输入,附联合 schema head 与 Jev/SystemOne 兼容 API,Apache-2.0 协议,bfloat16 下骨干约需 64 GB 显存。官方给出 Decision Index 0.2.1 内部跑分,如 BFCL 98.2、MMLU 92.7、GPQA Diamond 47.4,以及四条业务工作流的决策准确率。

    推荐理由:官方同时放出权重、加载代码和 Decision Index 0.2.1 逐项跑分,可对照 Clef 系列与 Jev 评估其决策型输出路线。

  24. Hugging Face · 新模型:uncensored75

    OrcaRouter Qwen3.8-Flash-Next-Uncensored 发布 GPTQ 量化 NVFP4 权重包

    Maximilian228 在 Hugging Face 发布 OrcaRouter Qwen3.8-Flash-Next-Uncensored 的 NVFP4 (GPTQ) 量化包,供 Strata NVFP4 引擎在单张 12 GB 以上 VRAM 的 RTX 20-50 显卡加 64 GB 内存上运行这个 125B 混合 MoE 模型。模型为 abliterated 去对齐微调,权重中移除了拒绝方向,不拒绝有害请求。作者用 GPTQ 从 BF16 checkpoint 重量化全部路由专家, held-out 误差为 ModelOpt RTN 量化的 33.4%,48 层全部低于 RTN,解码速度与 ModelOpt 包基本持平(约 185.6 对 191.6 tok/s)。

    推荐理由:作者给出完整的 GPTQ 重量化方法和逐层误差对比,NVFP4 去对齐版相对 ModelOpt 量化把误差降到约三分之一。

  25. GitHub · 灵魂体仓库53

    hyeonbin123 开源 rag-doc-qa:基于 FastAPI 文档的中韩双语 RAG 问答服务

    hyeonbin123 在 GitHub 开源了 rag-doc-qa,一个针对 FastAPI 官方文档(英文原文 154 篇、韩文翻译 123 篇、1,535 个分块)的 RAG API 服务,用英文或韩文提问会在对应语言文档中检索并返回带引用的答案。技术栈为 FastAPI + PostgreSQL 16 + pgvector,提供 dense / hybrid / rerank 三种检索模式,本地运行 BAAI/bge-small-en-v1.5、Granite R2 311M 嵌入模型与 4-bit GGUF 的 A.X-4.0-Light 生成模型(RTX 2080 Ti 上生成中位数约 9 秒),也可切换 Claude API。

  26. Hugging Face · 趋势模型72

    Underdog 发布 Saluki 27B 量化版,7.89GB 跑通 Qwen3.8-27B 并保留工具调用

    Underdog 在 Hugging Face 发布 Underdog-Saluki-27B-1.0,基于 Qwen3.8-27B 的 GGUF 量化版,仅 7.89GB(全尺寸 54GB),可在标准 llama.cpp 上运行。Underdog Bench 上工具调用 88/120,超过全尺寸模型的 84;并行工具调用 42 对 35,9 项基准平均保留 96%。竞赛数学保留约 82% 到 85%,弱点在字母级指令谜题,部分并行调用回复有小格式错误;可选 0.6 到 0.9GB 的 mmproj 文件添加视觉能力,Apache 2.0 许可。

    推荐理由:原文给出与全尺寸模型同 harness 的工具调用和基准对比数据,读者可以据此判断这个 8GB 量化版本到底保住了多少能力。

  27. Hugging Face · 新模型:uncensored40

    Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 版本发布,0/465 拒答

    HauhauCS 基于 Qwen3.6-35B-A3B 发布无审查 Aggressive 版本,测得 0/465 拒答,数据集与能力无改动。模型为 MoE 架构,总参数 35B、每 token 激活约 3B,原生支持 262K 上下文和文本、图像、视频多模态,并提供 Q8_K_P 到 IQ2_M 多档 GGUF 量化(含 K_P 自定义量化),兼容 llama.cpp、LM Studio 等 GGUF 运行时。

  28. Hugging Face · 新模型:uncensored24

    mradermacher/Gemma-3-Uncensored_v2-merged-GGUF 模型在 Hugging Face 上发布

    mradermacher 在 Hugging Face 上发布 Gemma-3-Uncensored_v2-merged-GGUF 模型,提供 Q4_K_M 量化版本。用户可通过 llama.cpp 在 macOS、Linux、Windows 上以 `llama serve -hf` 启动本地 OpenAI 兼容服务器(含 Web UI),或用 `llama cli` 在终端直接推理。该模型也支持预编译二进制、源码编译和 Docker 运行。

  29. Hugging Face · 新模型:uncensored37

    Connect AI Lab 发布 Qwen3-0.6B 实验性“去审查方向移除”模型 Uncensored

    Connect AI Lab 基于 Qwen3-0.6B 制作了一个实验性方向移除模型 Uncensored:通过激活值差异选出第 24 层方向,修改 57 个写入路径,修改后权重约 0.75B。在 CPU FP32 测试中,原始模型拒绝短语匹配 4/4,修改版本为 0/4,但作者明确说明这只是课堂实验,并非所有拒绝都被解除。权重尚未开放下载,准备的 GGUF 文件约 805 MB,已在 LM Studio 中验证可加载并运行 API。

  30. Hugging Face · 新模型:uncensored77

    jakeatx 发布 Swift 1.5 Qwen3.8-27B 无审查版 2.3bpw GGUF 量化,面向 12 GB 显卡

    jakeatx 发布 ATX-Swift-1.5-Qwen3.8-27B-Uncensored-2.3bpw-MTP GGUF 量化版,基于 UkisAI 的 Swift 1.5(构建于 Qwen3.8-27B)的 uncensored BF16 checkpoint 重编码为约 2.3 bits per weight,含 MTP 草稿层,面向 12 GB 显卡约 200K 上下文。

    推荐理由:发布者给出了拒绝率降低说明、KL 散度和 LiveCodeBench 实测对比,读者可以据此判断这个 2.3 bpw 极致量化在 12 GB 显卡上的实际表现。

  31. GitHub · 去对齐工具与仓库61

    llm-bayesian-coherence:用贝叶斯相干性证书检测语言模型事实概率是否自洽的开源工具

    GitHub 用户 trhlikfilip 发布 llm-bayesian-coherence 工具,检验因果语言模型的事实条件概率能否来自同一联合分布。核心是 Emerson (2026) 提出的四元组对数比证书,LR 不为 0 即证明两个方向的条件概率不相容;仓库提供 run.py、scorer.py、certificate.py 等 23 个测试覆盖的完整流水线,以及来自 Wikidata、ConceptNet 和 WordNet 的 140,751 个四元组(约 603,000 个 prompt-continuation 对),支持任意 Hugging Face 因果语言模型,输出 LR、F、B、R、K 等指标,并带评分缓存与断点续跑。

    推荐理由:工具把概率一致性检验做成了可直接运行的开源命令行,附带 14 万四元组数据和缓存续跑设计,便于复现和移植。

  32. GitHub · 去对齐工具与仓库24

    NeuroScholar AI:基于 LangGraph 多智能体的学术论文研究平台开源项目 Scholarly

    开发者 Trishna Jaiswar 开源了 NeuroScholar AI,一个 Agentic 多文档科研智能平台,支持研究对话、文献综述、论文对比与趋势分析。项目采用 LangGraph 6-Agent 工作流,结合 Hybrid RAG(FAISS + BM25 + Multi-Query)、HuggingFace all-MiniLM-L6-v2 嵌入与 Groq LLM,提供引用溯源验证、SQLite 持久会话和学术报告 PDF 导出,前端为 React,后端为 FastAPI,采用 MIT 许可证。

  33. GitHub · 去对齐工具与仓库22

    Khuzaima139/ATML-PA2-LLM-PostTraining:LLM 后训练课程作业学生起始仓库

    GitHub 上的 ATML PA2 学生起始仓库提供 LLM 后训练作业框架,代码有意不完整:任务 1-3 覆盖 DPO、PPO、GRPO 的训练循环与消融实验,且各含一个待学生发现和修正的算法缺陷。任务 4 提供固定的 AI safety judge,任务 5 提供精确的 RLVR verifier 与用于 RLAIF 评估的 pairwise AI judge,学生需自行实现评估与聚合代码。课程资产(固定数据集、缓存诊断与 continuation checkpoints)通过 GitHub Release 分发,参考环境锁定 Transformers 4.57.1、TRL 0.27.2、PEFT 0.17.1 和 Tokenizers 0.22.1。

  34. Hugging Face Blog70

    Hugging Face 博客:如何用 ML Intern 以约 103 美元自制 7 个小模型

    作者用 HuggingChat 里的 ML Intern 在几天内自制了 7 个开源模型(含 citrus-disease-vlm-instruct、Huggy LoRA、Pocket rewriter 0.8B、Agate 4-step 等),总算力成本约 103 美元。文中公开全部提示词(GitHub 仓库 yvrjsharma/ml-intern-prompts),并总结了三条关键写法:让 Agent 先报基线再训练、先跑小规模冒烟测试、设定预算上限并要求超支前请示;例如 citrus 项目用 3,017 张标注图微调 Qwen3.5-2B,测试集准确率从基座 14.9% 提升到 52.8%,成本约 1.90 美元。

    推荐理由:作者把 7 个提示词原样公开,预算上限、基线对比和冒烟测试的写法可以直接搬到自己的 Agent 训练项目里。

  35. Hugging Face · 新模型:abliterated68

    Dankpaws 发布 Swift 1.5 Qwen3.8-27B Abliterated 的 EXL3 4.25bpw 量化版

    Dankpaws 将 grimlee 的 abliterated 版 Swift 1.5 Qwen3.8-27B 转换为 EXL3 4.25bpw 量化格式,面向双 RTX 5060 Ti 16 GB 硬件,支持三路并发、每路 115,200 tokens 上下文,包含原生 MTP 和视觉权重。作者在 PCIe 拓扑受限的测试机上实测了单请求 66.1 tok/s、三短请求 41.9-43.3 tok/s 等吞吐数据,并明确说明未做额外微调或新的 abliteration,也未与 BF16 做成对评测;许可上同时适用 Swift Open License v1.0 和 Apache License 2.0。

    推荐理由:原文给出了完整的量化参数、实测吞吐和内存数据,读者可以按自己的双卡配置复现这套 EXL3 本地部署。

  36. Hugging Face · 新模型:uncensored20

    Gemma3-Prompt.Coder.it.Uncensored-270m 的 ONNX 版本在 Hugging Face 上线

    onnx-community 发布 WithinUsAI/Gemma3-Prompt.Coder.it.Uncensored-270m 的 ONNX 版本,可通过 Transformers.js 的 text-generation 管线使用。该模型基于 google/gemma-3-270m-it,用 mergekit 以 SLERP 方法合并 4 个模型而成,是无审查的提示词扩展模型。其安全过滤被大幅削弱,可能生成敏感内容,官方建议仅用于研究或受控环境,不适合生产环境使用。

  37. Reddit · r/LocalLLaMA41

    网友制作 Qwen3.5 2B/4B/9B 的 MLX 4-bit 本地运行包(含 abliterated 版本)

    Reddit 用户 sachasayan 为 Apple Silicon 本地推理制作了六个 Qwen3.5 MLX 4-bit 包,覆盖 2B、4B、9B 三个规模,各有原版和 Huihui abliterated 版本,均为去除视觉的纯文本模型,2B 版仅 1GB。模型已发布在 Hugging Face,作者已在写作软件 Minstrel 中用于摘要和上下文决策任务。