跳到正文
10月12日周一
  1. GitHub · 3D 生成新仓库40

    kvark 开源 mega-image:基于 Meganeura 的 Qwen-Image 2.1 扩散模型推理工具

    GitHub 新仓库 kvark/mega-image 提供基于 Meganeura 的 Qwen-Image 2.1 扩散 transformer 推理,用量化 Qwen3-VL 前端编码提示词。初始下载约 10.3 GB,默认 1024x1024 分辨率会生成 4096 个图像 token 并需较大 GPU 显存,首次跑通建议 512x512 和 1 步采样。支持断点续传、HF_HUB_CACHE 缓存复用、--offline 与 --pack-swiglu 等选项,但 VAE 解码器尚未实现,暂不能输出 PNG。

  2. Hugging Face · 新模型:uncensored41

    Qwen-Image-2.1 Uncensored GGUF 量化版本发布,支持 ComfyUI 本地图像生成

    maximUlya 在 Hugging Face 发布 Qwen-Image-2.1 的 Uncensored GGUF 量化版本,基于上游原始权重,提供 BF16、Q4_K_M 等多种量化文件,大小从 4.15 GB 到 14.23 GB 不等,推荐 Q4_K_M(约 4.6 GB)兼顾体积与质量。该版本移除内置安全检查与内容过滤,可直接生成成人及敏感图像,不拒答也不出黑图。需配合 ComfyUI 与 ComfyUI-GGUF(leejet fork)使用,文本编码器卸载到系统内存可节省 9–17 GB VRAM,采用 Qwen Research License。

  3. Hugging Face · 新模型:uncensored17

    jirka642/Qwen3.8-27B-Uncensored-Heretic-Native-MTP-Preserved-exl3 量化模型发布

    Hugging Face 用户 jirka642 发布了 llmfan46/Qwen3.8-27B-Uncensored-Heretic-Native-MTP-Preserved 的 EXL3 量化版本,基于 Qwen/Qwen3.8-27B 微调模型。量化使用 ExLlamaV3 1.6.1 转换,提供 4.0、5.0、6.0 bits per weight(MTP4,H6,V6)三种精度。由于原仓库缺少兼容的 preprocessor_config.json,作者改用了 Qwen/Qwen3.8-27B 官方仓库的配置文件。

  4. Hugging Face · 新模型:abliterated57

    Huihui-Qwen3.8-Flash-Next-abliterated 的 EXL3 3.05bpw 整数量化包发布

    gdeyoung 发布了 huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated 的 EXL3 3.05bpw 整数量化包,LM 层已消融,n-gram 嵌入表、MTP 头和视觉塔与基座逐字节一致。包内 75,277 个张量为 3bpw、472 个为 5bpw、2 个为 4bpw,大小 84 GB,可在单块 GB10(128GB 统一内存)上以 262,144 token 上下文运行,实测拒绝筛查 20/20 无拒绝、thinking-off 解码约 65 tok/s、226k token 海针测试可召回。模型继承 Qwen Community License 1.0,安全过滤显著减弱,输出责任由使用者承担。

    推荐理由:作者给出消融层的说明、拒绝率实测与完整量化配方,读者可据此复现这个 DGX Spark 上的去对齐部署方案。

  5. Hugging Face · 新模型:uncensored24

    xohaohe 发布 Qwen3.8-27B-TURBO-Fable5.5-Cold-Fusion-L-Uncensored MLX 量化模型

    xohaohe(华哥)发布 27B 级 MLX 多模态混合精度量化模型 Qwen3.8-27B-TURBO-Fable5.5-Cold-Fusion-L-Uncensored-fp16-oQ4e-mtp,使用 oMLX 0.7.1 处理,开放下载。模型基于稠密 Qwen 架构,默认 4-bit affine(group size 64),保留视觉编码器与 1 层 MTP,上下文配置 262,144 tokens,4 个 Safetensors 分片共 17.94 GB。本量化版本测试成绩待补充,上游成绩不代表其实测表现。

  6. Reddit · r/LocalLLaMA32

    DeepSeek 4.1 Flash 使用体验:目前最好的免费云端对话模型?

    一位 LocalLLaMA 用户分享 DeepSeek 4.1 Flash 免费版使用体验,认为它在规划与推理任务上表现出色:逻辑清晰、速度快、能识别多层问题,是旧版 Flash 的一次大升级。作者对比了 Gemini Pro、GLM 5.3、GLM 5.2、Qwen 3.8 27B 和 Qwen max 3.8,认为免费模型各有局限;4.1 Flash 模型体积过大已无法在本地 PC 运行,且仍会有小的逻辑错误。

  7. GitHub · 3D 生成新仓库28

    api-qa-intelligence:基于 OpenAPI 的 AI API 质量测试平台

    开源项目 berkantepli/api-qa-intelligence 上线,可将 OpenAPI 3.x 或 Swagger 2.0 的 JSON/YAML 文件或 URL 导入,自动生成可编辑的 happy-path、负面、边界、校验和安全类 QA 场景,并按 PASS、FAIL 或 ERROR 执行测试。后端采用 Python、FastAPI 与 HTTPX,AI 部分通过本地 Ollama 提供可配置模型的失败分析与填值建议,但结果仅供参考,确定性测试结果仍具权威性。敏感请求与响应证据会在 Run history 中脱敏保存。

  8. Reddit · r/LocalLLaMA27

    LocalLLaMA 用户自建 C# 网络电台播放器基准,实测本地模型真实代码能力

    一位 Reddit 用户分享了一个自建基准:让模型用 C# 写一个带 TUI 的网络电台流播放器,测试本地模型的真实能力而非速度。在 RTX 3090 上,Qwen 3.8 27B(119K 上下文,70tok/sec)与 Qwen Next Flash(128K 上下文,120tok/sec)各需至少两小时多轮调试才能跑通,但调试和探测能力出色;GPT 6.1 Sol(High reasoning)则一次生成可用 WUI 应用并附带电台搜索和收藏功能,约 20 分钟、花费 69 美分。

  9. Hugging Face · 新模型:uncensored73

    Qwen3.8-27B-Uncensored-Cyber 的 agentic imatrix IQ4_XS GGUF 量化发布

    balkhaisi9 发布 Qwen3.8-27B-Uncensored-Cyber 的 GGUF 量化,用真实 agent 编码会话日志构建重要性矩阵,而非通用英文语料,保留 MTP 头与视觉塔。提供 IQ4_XS(含/不含 MTP,14.96/15.38 GiB)与校准矩阵文件,配对评测显示 IQ4_XS 相对 Q5_K_M 的 PPL 代价为 +0.417%±0.187%,在单卡 V100 上端到端速度为 Q5_K_M 的 1.20x,逐字抄写保真 7/7。该仓库只做量化,无微调或行为改动,上游为 philbert440 的 abliterated 去拒绝模型。

    推荐理由:作者给出基于真实agent流量的imatrix校准语料构造方法与配对评测数据,做法可复现,对低比特量化部署有可迁移价值。

  10. Reddit · r/LocalLLaMA59

    在 AMD 7900 XTX 上实测 Qwen3.8-Flash-Next 500k 上下文本地部署

    /u/human_in_the_looop 在 AMD 7900 XTX 上本地运行 Qwen3.8-Flash-Next,实测上下文上限 506,849 tokens,decode 105–160 tok/s。排查出此前回声问题源自 `preserve_thinking: true` 把先前推理反复喂回 prompt,关闭后消失;质量在 thinking 关闭时 81–84%、开启时 88–94%,深度到 256k 时 decode 下降 18%,已设为日常主力配置。

    推荐理由:作者用约1.3万轮对话定位回声触发条件,并给出AMD上500k上下文的实测吞吐与质量数据,方法与配置可迁移。

  11. Reddit · r/LocalLLaMA17

    求助:Qwen3.8-Flash-Next 在 llama.cpp 上的运行参数推荐

    一位 Reddit 用户在 r/LocalLLaMA 求助如何用 vanilla llama.cpp 跑 Qwen3.8-Flash-Next 的 IQ3_XXS 量化。Strata 可在双 RTX3060 12GB + 64GB RAM 配置上达到约 35 tps(思考)/50 tps(代码),而他只跑到 15 tps;他还遇到 tensor split 不支持该模型(报 cudaMalloc failed)、以及在 HF 上找不到 Strata 使用的 800MB mtp q2_0 drafter(仅有 3.5 倍大小的 mtp-Qwen3.8-Flash-Next-Q4_K_M.gguf)等问题。

  12. Reddit · r/LocalLLaMA32

    实测不同 Qwen3.8 27B 量化版本的表现差异

    一位 Reddit 用户在 R9700 上实测了三个 Qwen3.8 27B 量化版本,用 gsm8k(数学)和 humaneval(代码)评测。结果出乎意料:Swift-1.5-Qwen3.8-27B-MXFP4-A-outQ6_K 在数学上最佳,Qwen3.8-27B-UD-Q6_K_L 反而最差,而 Swift-Qwen3.8-27B-Q6_K 速度最慢。作者表示需跑完整测试套件才能得出更精确结论。

  13. Hugging Face · 新模型:abliterated33

    Huihui-Qwen3.8-27B-abliterated GGUF 分叉版本上传至 Hugging Face

    AI-conn 在 Hugging Face 上传了 huihui-ai 制作的 Huihui-Qwen3.8-27B-abliterated-GGUF 分叉,基于 Qwen/Qwen3.8-27B,采用去除拒绝方向的 abliteration 方法,许可证为 Apache-2.0。在 20 GB 显存的 RX 7900 XT 上,推荐文件 UD-DW-Q4_K_M(15.41 GiB)8k 上下文约占 17.1 GiB、16k 约占 18.1 GiB,均可完全常驻显存。该文件是审核中唯一在 20 GB 显卡上留有 16k 上下文余量的顶级无审查版本,可通过 ollama pull 直接拉取。

  14. Hugging Face · 新模型:abliterated31

    Huihui-Qwen3-Coder-30B-A3B-Instruct-abliterated-i1-GGUF 量化版上线 Hugging Face

    AI-conn 在 Hugging Face fork 了 huihui-ai 的 Huihui-Qwen3-Coder-30B-A3B-Instruct-abliterated,由 mradermacher 完成 GGUF 转换,基础模型为 Qwen3-Coder-30B-A3B-Instruct,采用 Apache-2.0 许可。该 MoE 模型总参数 30B、每 token 激活约 3B,但全部专家权重需常驻 VRAM;20 GB 显卡推荐 17.28 GiB 的 i1-Q4_K_M 文件。社区实测基础模型在 HumanEval Pro 得分 60.4%,目前尚无任何 abliterated 版本的独立编程评测。

  15. Hugging Face · 新模型:abliterated84

    Qwen3.8-Flash-Next 剪枝版 GGUF 发布:每层保留 352 个路由专家,RTX 4050 笔记本跑 10.8 tokens/s

    shefowl 发布 Qwen3.8-Flash-Next 的 abliterated GSQ-RCO GGUF 剪枝版,每层保留 512 个路由专家中的 352 个,未重量化或重训,基于 IST-DASLab 的 RCO 专家搜索。在 RTX 4050 6GB 加 16GB 内存的笔记本上以 Strata 0.1.42 达到 10.8 tokens/s,全量 512 专家版为 9.0;代价是事实问答 NQ-open 得分 28.4%(全量 33.1%),greedy 代码答案循环次数明显增多。与 dense Qwen3.8-27B 在事实和代码上打平;相比专注代码的 ISTA Coder 速度更快且可在代码外使用。文件共约 56.5 GB,附带 Strata 运行配置和专家档位文件。

    推荐理由:原文给出完整速度与基准对照数据,读者可以直接判断这版 352 专家剪枝文件在自己的显存预算下值不值得用。

  16. Hugging Face · 新模型:abliterated40

    Huihui-Qwen3.8-27B-abliterated-GGUF 发布:基于 Qwen3.8-27B 的去审查版本

    huihui-ai 基于 Qwen/Qwen3.8-27B 发布去审查(abliterated)的 GGUF 版本 Huihui-Qwen3.8-27B-abliterated,无需 TransformerLens 移除模型拒答,MTP 与视觉部分未改动。后续多个系列仅对第 22 至 52 层(0 起始索引)做消融,其余层保留,并提供 Q2_K_L 至 Q6_K_L 及 Q8_0_L 的特殊量化以提升回复质量。模型可通过 ollama(huihui_ai/Qwen3.8-abliterated)或 llama.cpp 运行,支持 -c 262144,仅建议研究测试用途。

  17. Hugging Face · 新模型:abliterated39

    huihui-ai 发布 Huihui-Qwen3.8-Flash-Next-abliterated-v2 GGUF 去审查版本

    huihui-ai 基于 Qwen/Qwen3.8-Flash-Next 发布 abliterated 去审查版 GGUF 模型 v2,通过 abliteration 移除拒绝行为,且相比第一版调整了消融侧重、未消融任何专家。该版本支持最新 llama.cpp 与 Strata,提供 UD-Q4_K_XL 量化并以 SHA256 校验,可用 262144 上下文长度运行,适合小说写作和编程,但安全过滤大幅减弱,仅建议用于研究测试环境。

  18. GitHub · 灵魂体仓库35

    RedactFlow:本地优先的自动化 PII 脱敏开源工具

    开源工具 RedactFlow 结合正则校验规则与本地大模型,在文档离开本机前自动检测并脱敏 PII。其混合检测引擎用 Luhn、mod-97 等算法校验信用卡、IBAN,并通过 Ollama 运行 Qwen 2.5 识别人名和地址,配合反幻觉校验。在 30 份合成文档评测中,整体召回率从 60.0% 提升到 89.1%,单文档处理约 0.67 秒,比人工脱敏快约 75 倍。

  19. Hugging Face · 新模型:uncensored27

    Swift-1.5-Qwen3.8-27B-Uncensored ninfer3090 转换版本在 Hugging Face 上架

    wacomctl672 在 Hugging Face 发布 Swift-1.5-Qwen3.8-27B-Uncensored-ninfer3090,这是基于 d0xin abliterated 检查点、面向 ninfer-3090 转换的量化产物,并集成了 z-lab/Qwen3.8-27B-DFlash2。基座为 Alibaba Cloud 的 Qwen3.8-27B(Apache 2.0),指令微调来自 UkisAI 的 Swift-1.5-Qwen3.8-27b。Swift Open License v1.0 规定年营收低于 $1,000,000 USD 的实体可免费商用,超过需与 UkisAI 达成商业协议。

10月11日周日
  1. Hugging Face · 新模型:abliterated20

    huihui-ai 发布 Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 去审查模型

    huihui-ai 在 Hugging Face 上发布了 27B 模型 Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated,这是对 nerkyor/Qwen3.8-27B-Coder390-EfficientThink-Opus5.5-GPT6Astra-Grok4.7-DSV4Pro-K3-SFT-RLOO-MTP-DFlash2 的去审查版本,通过 abliteration 技术移除模型拒绝行为。该实现为概念验证版本,未使用 TransformerLens,仅对第 2 至 42 层进行了消融。

  2. Hugging Face · 新模型:abliterated25

    Ideogram 4 Qwen3-VL 文本编码器 abliterated 单文件合并版发布

    SizorCloud 发布 Ideogram 4 所用 Qwen3-VL 文本编码器(abliterated)的单文件合并版,将 noelthekke 原仓库的 4 个分片 safetensors 合并为一个 qwen3vl_text_encoder_abliterated.safetensors(398 个张量,BF16,约 15 GB)。合并仅是格式重打包,未改动任何权重或量化。该文件供 sd-webui-forge-classic 2.30 等 UI 在 Text Encoder 下拉框中加载,配合 Flux2 系 VAE 使用 Ideogram4 预设。

  3. Reddit · r/LocalLLaMA67

    27B 级三值权重模型登陆 llama.cpp,约 5.9 GB 即可在本地跑推理

    一个 27B 级推理模型以三值权重形式发布 llama.cpp 版本,语言模型约 5.9 GB,比 FP16 小约 9.3 倍,保留 98.2% 的 FP16 智能水平。14 项 thinking 模式基准平均 84.78,明显高于 IQ2_XXS 的 72.59,接近体积大三倍的 UD-Q4_K_XL;Apple M5 Max 笔记本上约 47 tok/s,支持 262K token 上下文,提供 PTQ1_0 和 PQ2_0 两种 GGUF 打包。

  4. Hugging Face · 新模型:uncensored26

    thebadking 发布 Qwen3.8-27B Heretic Abliterated Uncensored P1M GGUF 词表剪枝版

    thebadking 在 Hugging Face 发布 Qwen3.8-27B RVN Heretic Abliterated Uncensored 的 P1M 词表剪枝版本,基于 0bserverx 的 RVN-Q6_K GGUF 与 trohrbaugh 的 ARA abliteration 方法。词表从 248,320 条缩减至 129,272 条,保留 ASCII、常用符号和 256 个 byte-fallback token,模型张量逐字节保留,未重新训练或重新量化。Q6_K 量化文件 RVN-Q6_K-P1M.gguf 大小为 21.08 GB,可用 llama.cpp 运行,沿用 Apache-2.0 许可证。

  5. Reddit · r/LocalLLaMA27

    LocalLLaMA 网友实测 Qwen3-Coder-30B 不同 endpoint 下的编程表现

    一位 Reddit r/LocalLLaMA 用户用 Ryzen 9 AI HX 370、W7800 48GB eGPU 和 LM Studio 0.4.25 测试 QWEN3-CODER-30B-A3B-INSTRUCT-UD-Q8_K_XL 生成图片放大 webapp。VS Code + Cline 走 LM Studio endpoint 时,Vulkan 和 ROCm 分别在 310 秒和 250 秒一次成功生成 56kb / 71kb 的可用 html+js;而走 Ollama endpoint 时,agent 堆出 290MB 的 node_modules 项目,"Browse files" 按钮和拖拽功能反复修复 57 分钟仍失败,重复测试 20 分钟后才可用。

  6. Reddit · r/LocalLLaMA75

    Reddit 用户自建 agentic 基准实测 Qwen3.8 27B 各量化版本差异

    Reddit 用户 /u/FeydRowan 实测 Qwen3.8-27B 从 UD-Q4_K_XL 到 Q8_0 的五个量化版本,发现它们在 GSM8K、MMLU-Pro 和 IFEval 上差距均在 ±2 分内,而自建的 112 次运行 agentic 编码基准(隐藏测试、AST 注入 bug)拉开差距:27B NVFP4 解题 77%,Flash-Next NVFP4 达 98%。SWE-rebench 交叉验证趋势一致(69% vs 82%,McNemar p≈0.007),OpenCode 等测试框架的选择对结果影响也很大,Flash-Next 约 3-bit 的 Q3 版本可解决 12 项区分性任务中的 11 项。

    推荐理由:作者用自建、无污染的 agentic 编码基准区分了标准评测拉不开的量化差距,方法与数据都可复用。

  7. GitHub · 3D 生成新仓库59

    LocalAtelier 开源本地创作工作台,在自有 GPU 上集成图像、3D 与视频生成

    GitHub 仓库 MaratG2/LocalAtelier 发布,提供 MIT 许可的本地创作工作台,在自有 NVIDIA GPU 上组织项目并生成图像、带纹理 3D 物体和带立体声的视频。集成 Qwen-Image-2.1(INT8,约 17.3 GB)、HiDream O1(SDNQ 4-bit,约 10.7 GB)、TRELLIS.2 图生 3D(Q8,约 10 GB)和 VDN-H3/MiniMax H3 视频生成(约 56.7 GB),支持 GLB/glTF/OBJ 等导出;目标机器为 RTX 5060 Ti 16 GB 配 32 GB 内存,图像模型安装约需 55–65 GB 空间,队列为单任务运行、最多接受四个任务。

    推荐理由:仓库 README 给出各模型磁盘占用、硬件要求和队列限制等具体细节,想在自己 GPU 上跑图像、3D 与视频生成工作流的读者可以据此评估。

  8. GitHub · 去对齐工具与仓库22

    kanaharu20/movie_llm:本地检索未公开视频素材的小型视频理解模型项目

    开源项目 movie_llm 旨在用小型视频理解模型在本地检索未公开影像素材,让制作人员用日语查找特定场景,减少素材确认时间。目前已完成评测基础设施搭建,并在 MacBook Pro M2 Pro(16GB)上跑通 Qwen3-VL-2B(MPS)推理,训练与演示尚未开始。项目使用 Japanese Video-QA 数据集评测,采用 Apache-2.0 许可证。

  9. Reddit · r/LocalLLaMA32

    将稠密模型转换为 MoE:Qwen2.5-0.5B 与 SmolLM2-360M 的转换实验

    Reddit r/LocalLLaMA 用户 Bayliner1980 将 Qwen2.5-0.5B 和 SmolLM2-360M 两个稠密模型转换为稀疏 Mixture-of-Experts 模型,无需从头预训练,转换结果已发布在 HuggingFace。两个 MoE 模型均含 32 个专家、top-8 路由加共享专家,每 token 的 MLP 计算量约为原来的 40% 和 44%,但在 WikiText-2/C4 困惑度和五项评测的平均准确率上均低于原始稠密模型。作者在 RTX 4060 (8gb) 上完成实验,后续计划转换更大的模型并测试更细的专家布局。

  10. Reddit · r/LocalLLaMA70

    4张$500矿卡BC-250集群跑Next Flash IQ3_XXS达70 tok/s与100k上下文

    Reddit用户/u/Ok-Breadfruit-3523用4张单价不到$100的BC-250矿卡板、通过llama.cpp加Vulkan和RPC组成本地推理集群,跑Next Flash IQ3_XXS在100k上下文下维持约60-70 tok/s,或同时跑2个Qwen3.6-35B-A3B实例达约145 tok/s、可用上下文约258K。借助Claude Code做的优化包括MTP草稿头的投机解码链、Vulkan图录制重放、针对架构的定制kernel与上下文checkpoint本地复制,整体功耗负载下600-900W,下一步计划给每块板加装AIO水冷。

    推荐理由:作者完整记录了4张矿卡集群的优化路径、实测速度与功耗,方法可迁移到类似多板推理部署场景。

  11. GitHub · 去对齐工具与仓库37

    co-train:验证小模型共训能否逆转 bash 优于 PTC 的排序的可证伪优先研究仓库

    GitHub 上的 co-train 是一个可证伪优先的研究仓库,检验共训小模型能否逆转未训练模型上 bash 优于 PTC 的 +16.5pp 排序,并验证结果能否经受 harness 交换。目前 Step 1(51 项测试)与 Step 2 已完成:fp16 GRPO 在 Kaggle T4 上稳定,无需租用 GPU;Step 3-6 尚未开始。仓库含 24 份约 6500 行 markdown 文档,默认测试套件 266 项通过(2026-10-10 测得),完全离线、无需 GPU 即可复跑。

  12. GitHub · 灵魂体仓库29

    NLPilot-Smart-Admin:基于 Qwen2.5-7B 的自然语言商品管理系统(v0.2 实验性项目)

    NLPilot-Smart-Admin v0.2(L2)是一个实验性的自然语言商品管理系统,使用 Ollama 本地部署的 Qwen2.5-7B 通过 Function Calling 完成商品增删改查、销售/进货记录和数据统计,共支持 10 个 AI 工具。技术栈为 Angular 19+ 前端、Python Flask 后端、MySQL 8 数据库。由于 7B 模型能力限制,工具调用存在不稳定,项目采用最多 3 次的重试机制和删除、打折等危险操作二次确认来缓解。

  13. Hugging Face · 新模型:abliterated79

    gyang274 发布 Huihui-Qwen3.8-27B-abliterated-FP8 量化版并验证 abliteration 编辑足迹

    gyang274 发布了 huihui-ai/Huihui-Qwen3.8-27B-abliterated 的 FP8 量化版,权重为 FP8 E4M3、128×128 分块,保留 MTP head 和 vision tower,检查点 28.75 GiB。与官方 Qwen3.8-27B-FP8 对比只有 70/1,606 张量不同,且全部是写入残差流的 rank-1 编辑;SGLang v0.5.21 评测中 HumanEval 95.7%(官方 98.2%),GSM8K 前 200 题 94.5%(官方 97.5%),15 条易拒 prompt 中 0 拒绝(官方 2 partial),单流解码约 62 tok/s。完整笔记与脚本见 github.com/gyang274/ms-Qwen3.8-27B。

    推荐理由:作者量化了去对齐模型并给出与官方权重的逐张量对比和评测数据,读者可以看到去对齐编辑的具体痕迹和性能代价。

  14. Hugging Face · 趋势模型45

    AutoTrust 发布 JEV-35B-NVFP4:10,240 个路由专家量化至 NVFP4,权重体积降 65%

    AutoTrust 发布 autotrust/JEV-35B 的 NVFP4 量化版,将 40 层 × 256 个共 10,240 个路由专家 MLP 量化为 NVIDIA 4 位浮点格式,其余组件保持 bf16 不变。权重下载从 71.9 GB 降至 25.6 GB,vLLM 显存占用 23.3 GiB(−65%),单张 32-48 GB GPU 即可部署;文本 Decision Index 59.75 对比 bf16 的 59.18,五项能力均在 bf16 的 1.2 分以内。该模型基于 Qwen3.5-35B-A3B,与 TypeSafe AI 的闭源托管模型 TypeSafe Jev 1.13 无关联,可通过 vLLM 直接加载。

  15. Hugging Face · 新模型:uncensored19

    Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP 推出 MLX 版本

    DavidAU 的 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP 模型现提供 MLX 优化版本,用于 Apple Silicon 推理。该版本由 Q8_0 GGUF(30.24 GB)转换而来,866 个张量全部反量化为 float16(约 55 GB,12 个分片),质量与原 GGUF 权重一致、无精度损失。架构为 Qwen3.5 dense(65 层、5120 hidden、24 heads、248320 vocab),采用 Apache-2.0 许可证。

  16. Reddit · r/LocalLLaMA36

    TensorSharp 现已支持 Qwen Image 2.1 Turbo 与 LoRA

    本地 AI 推理引擎 TensorSharp 宣布支持 Qwen Image 2.1 Turbo 和 LoRA,可直接在应用内完成图像编辑。新功能包括内置蒙版编辑器选取图片区域、用自然语言提示词修改选中区域并直接查看生成结果。该项目目标是统一支持 LLM、多模态和图像生成模型的本地推理,并持续优化 GPU、CPU 与存储的内存管理。

  17. GitHub · 去对齐工具与仓库46

    MeridianAlgo/FinAI:Meridian.AI 金融大模型实现每小时持续训练

    Meridian.AI 是一个金融领域专用语言模型,基于 Qwen2.5-0.5B(约 494M 参数)backbone,利用 GitHub Actions 免费算力每小时持续微调,覆盖 25+ 金融与数学数据集,并通过 EWC(Elastic Weight Consolidation)防止灾难性遗忘。模型 checkpoints 开源在 HuggingFace(meridianal/FinAI),v1.0.0 为首个生产级版本,部署模型上下文窗口 32,768 tokens、bfloat16 训练,仓库内 meridian/ 的 Sparse MoE 架构仅用于实验,非部署版本。