跳到正文
今天10月26日周一25 条
  1. Reddit · r/LocalLLaMA53

    腾讯混元发布实时同传模型 Hy-SimulMT-30B-A3B 并开放 GGUF 权重

    腾讯混元发布实时同传模型 Hy-SimulMT-30B-A3B,支持中英双向语音到语音翻译,在说话人讲话时持续接收音频并同步输出译文文本和语音,并通过实时声音克隆保留说话人音色。在 RealSI 长音频评测中其 StreamLAAL 约 3 秒,为对比系统中最低,GEMBA 分数超过所对比的开源模型和五个商业 API 中的四个。GitHub 提供 SimulInfer 推理服务与 SimulTrain 训练工具,Hugging Face 开放了 GGUF 权重,语音输出和声音克隆需配置 TTS 服务,也可在 Hy Translate App 中试用。

  2. Hugging Face · 新模型:abliterated26

    Feyospace-v1.1-Abliterated-security-MTP-UD-Q4_K_S GGUF 量化版发布

    Hugging Face 社区发布 Feyospace-v1.1-Abliterated-security-MTP-UD-Q4_K_S,这是基于 OBLITERATUS/feyospace-s1-obliterated 的 GGUF 量化版,面向本地网络安全研究、代码分析与工具辅助调查。该构建采用 UD-Q4_K_S 混合精度布局、面向安全的 importance-matrix 校准,并保留 MTP 头以支持投机解码;上游模型约 28B 参数、Qwen3.5 架构、Apache-2.0 许可,最大上下文 262,144 tokens。该卡未提供此量化版的 benchmark 结果,最终张量清单与质量保留情况尚待验证。

  3. Hugging Face · 新模型:uncensored36

    Ornith-1.5-122B-UNCENSORED NVFP4 版本发布,可单卡 RTX 5090 运行 Infernix 格式

    dealignai 在 Hugging Face 发布 Ornith-1.5-122B-UNCENSORED 的 NVFP4-Infernix 格式导出,这是去 refusals 版本的量化模型,基于 Qwen3.5-122B-A10B 架构(48 层、256 个路由专家每层取 top 8),附带 MTP 与 DFlash2 drafter。模型经逐字校验与 checkpoint 无失配,可在单张 RTX 5090(32 GB)上运行,约需 70 GiB 主机内存和 76 GB 磁盘空间,速度仍待优化测定。

  4. GitHub · 3D 生成新仓库26

    Ruzivo:面向绍纳语的开源多模态对话 AI 系统上线 GitHub

    开发者 Recall T. Mabika 在 GitHub 开源 Ruzivo,一个专为绍纳语(ChiShona)打造的端到端多模态对话 AI 系统,采用 MIT 协议。系统在 4-bit 量化的 1.5B 基座模型上用 QLoRA(r=16, α=32)微调,下一 token 预测准确率从 32.1% 提升至 72.1%;RAG 子系统基于 14,201 句课程教材语料实现零幻觉检索。语音方面 WER 从 78.4% 降至 47.9%,并提供 Android App 与响应式 Web 客户端。

  5. Hugging Face · 新模型:uncensored75

    BoldingBuilds 发布 GLM-5.3-Flash-Uncensored 的 imatrix GGUF 量化并实测去对齐效果

    BoldingBuilds 放出 OrcaRouter 去 GLM-5.3-Flash-Uncensored(320B 总参数/18B 激活 MoE、288 路由专家、1M 上下文)的 imatrix GGUF 量化,含 IQ3_XXS、IQ2_M、IQ2_S、IQ2_XXS 四档,并修正共享专家与 attention 量化配方使 IQ2_S 等通过全部 48 项一致性测试。量化权重上实测 JailbreakBench 有害拒绝率 0.040(OrcaRouter FP8 为 0.120,base 为 0.930),HumanEval pass@1 0.927;作者指出空输出会计为服从,提醒评测时必须同时报告空输出数,文件已适配 mainline llama.cpp 与 LM Studio 模板。

  6. Hugging Face · 新模型:uncensored18

    MishraNepali/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF_Q2_K 模型上线 Hugging Face

    MishraNepali 发布 OrcaSAQ-2-Cyber-27B-Uncensored 的 GGUF Q2_K 量化版本,可在 Hugging Face 获取。该模型支持通过 llama.cpp、vLLM、Ollama、Docker Model Runner 等多种工具本地运行,并可启动 OpenAI 兼容 API 服务器供 LM Studio、Jan、Pi、Hermes、OpenClaw 等客户端调用。

  7. Reddit · r/LocalLLaMA22

    CrowdGPT:一个协作训练的大语言模型项目

    开发者推出 CrowdGPT 项目,目标是在不建数据中心、不投入数百万美元的情况下,协作训练一个 10 亿参数的模型。参与者可用自己的 PC 独立训练并将贡献汇入全局模型,项目开源且 100% 公开训练数据和权重。当前模型规模仅作概念验证,作者正在征集反馈以降低参与门槛。

  8. Hugging Face · 新模型:abliterated26

    Qwen2.5-7B-Instruct-abliterated-64k 发布:元数据修复版 GGUF

    R0U5 在 Hugging Face 发布 Qwen2.5-7B-Instruct-abliterated-64k,这是基于 huihui-ai 消融模型与 mradermacher GGUF 量化的元数据修复版,非新增消融。仓库将 context_length 重新声明为 65536 并添加 YaRN rope scaling 元数据(factor 2.0),以满足 Hermes Agent 64,000 token 最低上下文要求,权重与上游量化逐位一致。经 llama.cpp 验证 12 个拒绝测试提示 0 拒绝,Q4_K_M 版本 4.68 GB。

  9. GitHub · 去对齐工具与仓库41

    HAYAT:Windows 本地优先的私有 AI 助手开源项目

    GitHub 上的 HAYAT 是一个运行在用户自己电脑上的 Windows 本地优先 AI 助手,基于 Ollama 运行 HAYAT-35B-A3B(Qwen3.6-35B-A3B,约 3B 激活参数)模型,无需云端账号和付费 API。它支持语音对话、网络研究、摄像头与屏幕识别、Windows 应用控制、图像视频生成和长期记忆,外发操作需用户批准,另有 2.5-4.3 GB 的 HAYAT-Open-4B 轻量模型可选。

  10. Hugging Face · 新模型:abliterated22

    0xSojalSec 发布 GLM-5.3-Flash-abliterated 模型

    Hugging Face 上架了 0xSojalSec/GLM-5.3-Flash-abliterated,一个 abliterated(去抑制)版本的 GLM-5.3-Flash 多模态模型,支持 image-text-to-text 任务。页面给出 Transformers、llama.cpp(UD-Q4_K_XL 量化)、vLLM、SGLang、Ollama、Docker 等多种本地与服务器部署方式,并提供 OpenAI 兼容 API 调用示例。

  11. Hugging Face · 新模型:uncensored56

    Qwen3.8-Flash-Next-Uncensored 2-bit MLX 量化版发布,附 DFlash2 加速与 M1 Max 实测

    3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化版,目标模型采用 affine 2-bit/group-128 重建,搭配 Inco AI 的 BF16 DFlash2 草稿模型,完整下载 74.048 GB。在 M1 Max 64 GiB 实测中,代码与数学 warm 解码达 37.62 和 33.69 tokens/s,约为基线的 1.70× 和 1.56×,文本仅 1.048×;固定 50 题 GSM8K 子集全部答对且与原生参考一致,进程峰值内存 42.12 GiB。

    推荐理由:作者实测了 M1 Max 上代码与数学解码的加速倍数和内存峰值,并给出 32/48/64 GiB 的可行性判断,便于评估本地部署。

  12. Hugging Face · 新模型:uncensored48

    Qwen3.8-Flash-Next-Uncensored MLX 2/8-bit 优化转换包发布

    Hugging Face 用户 3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化转换包,基于 360 GB BF16 源检查点,专家投影采用 affine 2-bit/group128,其余投影为 8-bit/group64,文件约 72.8 GB。验证含 50 题 GSM8K 子集、烟雾测试(15/18 通过)及文本生成约 23.5 tokens/s 的计时结果;模型采用原生 qwen4_exp 多模态实现,可配合 run_qwen38_unsloth.py 以 16384 上下文运行。

10月25日周日
  1. Hugging Face · 新模型:abliterated24

    Qwen3.8-Flash-Next-Abliterated Sushi 3bpw 实验性量化版本发布

    sanasol2008 基于 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 BF16 权重制作了 Sushi 格式 3bpw 实验性量化包,路由专家采用 EXL3 K3 编码,未额外做 abliteration 或微调。完整下载约 79.22 GiB,在 Apple M3 Max 48 GiB 上冷解码 11.88 tok/s、热解码 12.88 tok/s,慢于 2bpw 版本;校准误差相对 2bpw(相对 Frobenius 误差 0.029 对 0.064)更低,支持 262144 上下文配置上限。

  2. Hugging Face · 趋势模型56

    南北阁发布 Nanbeige4.3-33B,主打约 30B 级开源模型中的智能体能力

    南北阁团队发布 Nanbeige4.3-33B,定位为 Nanbeige4.3 系列的教师模型,用于后续向更小模型(如 Nanbeige4.3-3B)蒸馏智能体能力。官方基准显示其在约 30B 参数开源模型中于 Terminal-Bench 2.1、DeepSWE、Automation Bench 等多数智能体编码与协作任务上领先,并说明在 35 个职业的 JobBench 评测中多数占优。模型支持 512K 上下文,提供 enable_thinking 与 preserve_thinking 等可配置聊天模板,可用 Transformers、SGLang 或 vLLM 部署。

    推荐理由:原文给出与同规模开源模型的完整基准对比和推理部署配置,可借此了解 30B 级开源智能体模型的实际水平。

  3. Hugging Face · 新模型:uncensored35

    Spark-X2.6-4B-Uncensored GSQ-RCO GGUF 量化版发布

    abenzerps 发布 XHToken/Spark-X2.6-4B 的混合精度 GSQ-RCO GGUF 量化版,面向 llama.cpp 本地推理。RCO 将 36 个 sigmoid 注意力门控和 9 个全局注意力投影保留为 BF16,GSQ 依 Hessian 灵敏度校准优化每层精度,推荐 IQ3_M(2.28 GB)。4-bit KV cache 下 131k 上下文约需 3.5–4 GB 显存,支持 llama.cpp 与 Ollama,采用 Apache-2.0 许可。

  4. Reddit · r/LocalLLaMA60

    Lure-TTS 与 Lure-Turbo:600M 语音模型跑出 4 倍实时速度,训练成本不到 $200

    /u/smirkishere 基于 Qwen3-TTS 0.6B 微调出 Lure-TTS 和 Lure-Turbo 两个语音模型,支持内联标签、语音方向控制和音色克隆,训练成本不到 $200。Turbo 的 RTF 为 0.14,对比 5B Fish S2 Pro 的 0.195,同时保持相同说话人相似度(ECAPA 0.699)。作者还发布了 Lure-TTS 推理引擎,基于 faster-qwen3-tts(CUDA)、mlx-audio(Mac)和 audio.cpp(CPU),在 4090 上首音频输出 0.17s(参考代码为 10.6s),整体快约 5 倍(RTF 0.53 vs 2.54),支持流式 0.32s 分块、CUDA graphs 和最多 8 路并发。

    推荐理由:作者公开了训练流程、RTF 与 ECAPA 对比数据和训练代码,可复现的低成本 TTS 微调路线有参考价值。

  5. GitHub · 3D 生成新仓库30

    GameForge-AI:面向 2D 游戏素材的多模型生成式 AI 流水线开源

    GameForge AI 是一个用于 2D 游戏素材设计的开源多模型生成式 AI 流水线,涵盖语义规划、对抗精灵图生成、隐空间分析与重建。其 DCGAN、AE、VAE 三个视觉模型均基于同一 282,511 张 2D 像素素材(Alucard 数据集)训练:DCGAN 以 64×64 RGBA 生成全新精灵图,AE 达到 MSE 0.000782、PSNR 28.52 dB,VAE 在 5,000 张候选池上取得 84.40% KNN 分类准确率。项目含 FastAPI 后端与 React/Vite 前端,数据集采用 CC-BY-NC-SA 4.0 授权。

  6. Hugging Face · 新模型:uncensored49

    Qwen3.8-27B-Uncensored 发布 MLX 5.0 bpw 混合精度量化版

    Hugging Face 上发布 orcarouter/Qwen3.8-27B-Uncensored 的 MLX 5.0 bpw 仿射量化版,体积 17.38 GB,比 bf16 小 3.2 倍,针对 M5 的 NAX 张量单元调优。模型保留 256 K 上下文、MTP 头与视觉塔,48 个注意力模块经 GPTQ 量化后中位数输出误差降低 32%。以 Apache-2.0 许可开源,需通过 oMLX 运行。