unsloth Qwen3.8 FN Q5 在 Strata 与 Radiance 上的行为差异
Reddit 用户 poofph 将 unsloth Qwen3.8 FN Q5_K_XL 模型从 NVIDIA 显卡服务器迁至 R9700 服务器后,发现模型行为出现差异:在 Radiance 上多次在回合结束时主动提及当前时间,如凌晨 1:30 的"胜利庆祝"、凌晨 1 点该睡了等。而在 Strata 上运行同一模型时从未出现这类"闲聊"表述。
新闻、仓库与研究,按时间排列。
Reddit 用户 poofph 将 unsloth Qwen3.8 FN Q5_K_XL 模型从 NVIDIA 显卡服务器迁至 R9700 服务器后,发现模型行为出现差异:在 Radiance 上多次在回合结束时主动提及当前时间,如凌晨 1:30 的"胜利庆祝"、凌晨 1 点该睡了等。而在 Strata 上运行同一模型时从未出现这类"闲聊"表述。
GitHub 上的 AI-Safety 仓库为有经验的 ML 工程师、安全工程师及有志于 AI 安全研究者提供开源研究课程与项目仓库,核心路径免费、无需付费 API 或订阅。目前为在建状态:24 章和 10 个项目中完成 0 个,规划与治理层已验证,内容按章节分阶段发布,提供对齐研究、AI 安全工程、评测与保障三条路线,代码采用 MIT 许可、文本采用 CC BY 4.0。
QWED 以 Apache-2.0 协议开源,是一个校验 LLM 与 AI Agent 输出中声明的验证层,使用 SymPy、Z3、SQLGlot、Python AST 等确定性引擎,无法验证的声明不会标记为已验证。它可作为 Python 库、CLI、自托管 API 或 Docker 镜像在本地运行,提供 TypeScript、Go、Rust SDK,包含 13 个引擎和 9 个策略守卫,返回 status 与 admission 两个独立判定,并定义了 Verification Context v1.0 结果记录格式。自然语言检查需调用所配置的 LLM 做形式化转换,该转换本身不被验证。
一个从随机初始化、无预训练权重开始训练的 GPT 风格语言模型项目,使用约 1MB 的 TinyShakespeare 文本(1,115,394 字符、65 个字符类别),字符级 tokenize,模型 3.24M 参数,上下文窗口 256 字符。经 next-token prediction 预训练,选中的 exp_c_small 配置验证损失 1.4338、测试困惑度 6.19,并通过 React 前端与 Vercel serverless 后端以纯 JavaScript 逐字符流式输出。
GitHub 上的开源项目 Intel60 每 30 分钟抓取 BleepingComputer 等 8 个安全资讯源和 CISA KEV 目录,用 Claude Haiku 4.5 为每条新闻生成 60 词卡片,标注严重级别并附 NVD CVSS 评分与 FIRST EPSS 利用概率。关键故事经 ntfy 推送,支持本地 watchlist 过滤、补丁期限倒计时和 7 天趋势,AI 每条只跑一次、读者数不影响成本,Anthropic API 成本约 $3–5/月。
Athletix 是一个基于 Strava 运动历史数据构建训练负荷分析的开源项目,通过计算急慢性负荷比(ACWR)评估疲劳与受伤风险,并用回归模型结合 Riegel 公式估算比赛表现。系统采用 Streamlit 界面与八模块架构,通过 OAuth 2.0 同步 Strava API 并以 Supabase 持久化数据,还提供解读指标的 LLM 对话智能体。项目源自 UNACH 数据科学与 AI 课程的课程作业。
开源命令行工具 clai 是一个为任意 AI 任务输送上下文的 context-feeder,测试覆盖率达 91.0%。它支持 shell 上下文注入、会话导入、Agent Skills、Profiles 和 MCP 客户端,可经 curl、go install 或 Nix flake 安装,也能作为 Go 库嵌入 agent 循环并支持结构化输出。工具接入了 OpenAI、Anthropic、Gemini、Ollama、DeepSeek、Mistral 等多家供应商。
OpenCode 个人 fork「opencode-personal」基于 OpenCode 1.14.48 源码,独立于上游项目维护,可在终端和浏览器中使用的开源 AI coding agent。该 fork 新增 /usage 中 Anthropic (Claude)、ChatGPT OAuth、ZAI、ClinePass 的用量与配额显示、Qwen3 兼容(含 thinking-mode 配置)、本地语义搜索(zvec)、Rust/WASM diff 层及 ACP 终端后端(如 Zed)支持,并包含 SSRF 防护、CORS 校验、symlink 安全等多项安全加固。
GitHub 上的 360-skills 是一个开源 Agent Skills 合集,将资深专家的流程、判断和质量关卡打包成可安装的技能文件夹,帮助 AI coding agent 产出可审查的高质量工作。技能遵循开放 Agent Skills 标准,可通过 skills.sh 安装到 Claude Code、Cursor、Codex、Copilot、Windsurf、Gem CLI 等 70+ 个 agent,包含 360-backend-audit、360-blueprint、360-execute、360-expert-review、360-faculty、360-optimize、360-token-efficiency 七项技能,采用 MIT 许可证。
SharpAI 2.0 发布,这是一个 .NET 本地 AI 推理库,支持嵌入、文本补全和聊天补全,仅使用 GGUF 模型,基于 LlamaSharp 构建,可提供 Ollama 兼容和 OpenAI 兼容的 REST API。新版本默认按各模型 GGUF 内置聊天模板渲染请求,重建了 React 19 仪表盘,新增多租户认证与 RBAC(默认关闭)、四种数据库支持、Prometheus/OTLP 可观测性,以及 C#、JavaScript/TypeScript、Python SDK。所有推理均在本地完成,无需云端依赖。
agent-gateway 是 AgentGuide 背后的 Apache-2.0 开源网关引擎,可让团队通过一个自托管控制点治理 Codex、OpenCode、A2A Protocol 1.0 智能体、LLM 和 MCP 工具流量。它支持 VirtualKey 认证、SQLite 持久化、Admin API、声明式 Bundle,并提供 OpenAI、Anthropic、Claude Code 兼容及 MCP 等入口。用户可用 Docker Compose 无需 provider 密钥即可完成 v0.7.1 首次运行冒烟测试,并可选启用 Prometheus、Grafana 等可观测性组件。
一位 Reddit r/LocalLLaMA 用户升级台式机内存后,可通过 RAM/VRAM 分层运行 50-150B 参数级 MOE 模型,向社区征集除 Qwen flash next 之外的推荐。其待试清单包括 GPT OSS 120b、Mistral 4 small 119b、Qwen 3.5 122b A10b 和 Ling 3.0 flash,并表示不看重 agentic coding,更关心其他能力上的强项。
Huihui-ai 发布 openbmb/MiniCPM5-2B 的无审查版本 Huihui-MiniCPM5-2B-abliterated,采用 abliteration 技术移除 LLM 的拒答行为,且不依赖 TransformerLens。该版本 abliterated 第 6-37、40 层(0-based),属概念验证实现,用于探测各层对消融的影响;由于模型太小,性能仍不足。模型可通过 Hugging Face transformers 库加载使用。
Reddit 用户 /u/DataCraftsman 在 RTX PRO 6000 上通过带 flint PR 的 vLLM 跑通了 Flint NVFP4 版本,模型可正常调用其知识库、网页抓取并按给定人设对话。他抽样实测 LiveCodeBench v6 得 82.2(官方称 80.8),SWE-bench Verified 抽测 50/500 任务得 80(官方称 74.1);单流约 110-180 tok/s,64 并发时峰值约 2500 tok/s。他称可能用它替换 qwen3.8 27b,附了 docker compose 配置和 chat_template 修复,并希望社区找到给它加上视觉能力的办法。
GitHub 新开源仓库 Yang-Tan-id/Trajectory-TracIn-for-Diffusion-Model-Data-Attribution 提供 JAX 实现的扩散模型数据归因工具,支持 das、traj_tracin、dtrak、end_tracin、journey_trak 等算法。代码位于 diffusion_jax_refined/,支持 cifar10、cifar2、artbench 数据集及 prompted/unprompted 两种工作流,可通过 ATTRIBUTION_RANGES 分片评分,并内置 counterfactual 与 LDS 评估;其中完整 counterfactual/LDS 评估目前仅限 CIFAR。
WestWaters 在 GitHub 开源 pollard-weights,一套按目标设备 RAM/VRAM 预算构建模型量化的工具,通过 pollard-sensitivity 测量各张量的 KL 敏感度后分配比特,保护 attention、router 和 embeddings,压缩专家 FFN。一次测量分配可输出 GGUF、GPTQ、MLX、EXL3、MX/NVFP4 五种格式,配套 pollard-verify 真实重建校验。在 Qwen2.5-7B 和 14B 上,同尺寸 1-bit 混合精度比均匀 trellis 量化困惑度低约 14%;其误差反馈 GPTQ 在 4-bit 恢复约 46% 的 round-to-nearest 误差。
推荐理由:原文给出了在 Qwen2.5-7B/14B 上与均匀量化的困惑度和 KL 对比数据,读者可以据此评估这套按内存预算分配精度的方法是否值得用。
nejib1 在 GitHub 发布 Free-LLM 仓库,并配套 free-llm.com 在线目录,汇总51家提供免费 LLM API 的服务商共270多个免费模型,区分永久免费、周期续充值和一次性试用额度三类,标注是否需要信用卡、速率限制和 key 获取方式。仓库提供 Python/JavaScript/curl 示例及 Claude Code、Cursor、Codex CLI、OpenCode 配置,附9个本地自托管工具清单,支持中英日韩多语言。
推荐理由:把51家免费LLM API的限额、是否需信用卡和key获取方式做成结构化目录,可直接按表选服务商省去逐家试用。
Axolotl 是一个免费开源的大语言模型微调框架。2026/10 更新加入 Reflection 的 Beam 支持(含 QLoRA 与 NVFP4 expert-parallel LoRA 配置)、DeepSpeed Ulysses 上下文并行及 expert-LoRA resume 修复;此前版本新增 Qwen3.6、MiniCPM5、K2 Horizon 等模型支持,并提供 `axolotl export` 的 GGUF 导出以配合 llama.cpp 和 Ollama 部署。
Ollama 是可在本地或云端以完全隐私方式运行开源模型的工具,支持 macOS、Windows 和 Linux 安装,并提供官方 Docker 镜像。用户可通过 ollama launch 连接 Claude Code、Codex、Copilot CLI、DeepSeek Harness、Droid、OpenCode 等集成,也可运行 Gemma 4 等模型,用 REST API 或 Python、JavaScript SDK 进行调用,后端基于 llama.cpp。
MergeWatch 发布开源 GitHub App,用 6 个并行专项 Agent(安全、bug、风格、错误处理、测试覆盖、评论准确性)加编排器去重并给出 1-5 合并就绪分,审查每个 PR。支持 Anthropic、LiteLLM、Bedrock 或 Ollama 本地模型,Docker 一键自托管,提供 .mergewatch.yml 按仓库配置、@mergewatch 评论交互、Mermaid 架构图和 Next.js 仪表盘,许可证为 AGPL-3.0。
GitHub 仓库 rmems/Dioscuri-Cloud 提供面向学生/免费云额度训练的云运维层,涵盖对象存储(S3)、CUDA 镜像、GPU 节点、SageMaker/Azure ML 托管训练任务、成本追踪与 HCP Terraform 控制平面。训练实现位于配套仓库 rmems/agoge-forger,使用 TRL SFTTrainer + PEFT + bitsandbytes QLoRA,通过 `uv run agoge train-qlora` 执行;仓库以 AWS 为主、Azure 为备份,并用 cost-ledger.md 跟踪云支出。
cc1244578151 在 Hugging Face 发布 Qwen3.8-Flash-Next-Abliterated-Uncensored GGUF 量化模型,规格为 120B 参数、180B 级 512 专家 MoE(每 token 激活 10 个),并搭载 Turbo Brilliance 50x 系统(27 推理 + 27 instruct 模式,另有 9 个 xhigh)与 15 个 AI Constructs。该版本经 abliterated 去审查处理、无 censorship,支持在提示词、API 或 VLLM 中实时切换模式,可在 12GB 显存 GPU 上运行;实测 46GB 双 GPU + 内存 offload 达 17 t/s,全 GPU offload 达 60-90 t/s。
一位 Reddit r/LocalLLaMA 用户下载了 30B A4B 的 Raon-1-mini 和 40B A2.5B 的 Flint 后感叹,如今来自多国的开源模型选择丰富到令人惊叹。他称赞能直接与电脑对话并获得如《星际迷航》般的交互体验,并表示每次使用这项技术都更感震撼。
一位 Reddit r/LocalLLaMA 用户因 RTX 5090 以 $2,900 购入后几乎闲置,决定出售,并保留 5060ti 16gb。他向社区征询在 16gb VRAM 加 64gb DDR4 条件下的替代方案,选项包括再买 5060ti、升级 128gb RAM、换 AMD 或 Intel 32gb 显卡、旧 V100,或直接购买 API tokens。
ComfyUI 发布 v0.42.4 版本,tag 为 3f438ca,于 21 Oct 23:31 打上标签。本次发布随附 2 个 assets。
开发者开源了 Lumina Capital v6.0.0,一个可本地运行的多智能体量化对冲基金引擎,基于 LangGraph 构建 7 人格反谄媚委员会,并集成 Microsoft Qlib Alpha158 因子与 LightGBM 做本地选股。系统还包含 10 秒高速 Sentinel 线程执行止损、Google TimesFM 提供 5 天概率预测(80% 置信区间),支持纯 CPU 运行,通过 Docker Compose 一键部署,以 CC BY-NC 4.0 许可发布。
Reddit 用户 /u/Numerous-Ad6217 分享了围绕 MoE 模型搭建预算型本地推理工作站的思路:用单张 32 GB VRAM 的 AMD Radeon AI PRO R9700 加廉价 DDR4 ECC RAM 存放闲置专家。作者对多个主流开源 MoE 模型在 Q4 和 Q8 量化下的活跃与闲置参数量作图,拟合出约 0.0565 的斜率,即每 1 GB 活跃 VRAM 权重对应约 18 GB 闲置 RAM 权重;据此 384 GB DDR4 配 32 GB VRAM 是其配置的平衡点,可给 KV cache 和运行时开销留出余量,而升到 512 GB RAM 会逼近 GPU 上限。作者提醒实际结果取决于模型架构、专家路由、缓存效率和推理后端。
推荐理由:作者用主流开源 MoE 模型拟合出活跃与闲置权重约 1:18 的经验比例,可据此判断 RAM 与 VRAM 的加配时机。
SAP 开源的 SAP Cloud SDK for AI 是接入 SAP AI Core、SAP Generative AI Hub 与 Orchestration Service 的官方 JavaScript/TypeScript SDK,支持在业务应用中集成 chat completion。它提供 @sap-ai-sdk/ai-api、foundation-models、langchain、orchestration、document-grounding、prompt-registry 等多个 npm 包,覆盖模型训练流水线、批量推理、模板、数据脱敏、内容过滤与文档 grounding 等能力。
giahuy1310 开源的 topicmodeling 仓库以 stacked ensemble 为核心,用多个基分类器加 Gemma 元模型(google/gemma-2-9b-it,4-bit QLoRA 训练)做越南语细粒度情感识别(UIT-VSMEC)与情感分类(UIT-VSFC),目标是提升 macro 与少数类表现。流水线含 LLM 数据增强与预处理 notebook,需在 Google Colab GPU(A100/T4/G4)上运行,notebook 06 峰值内存约 80 GB、VRAM 约 24 GB。
maxsoldev 在 GitHub 发布 eduagent,提供 Codex 和 pi 两个真实 coding-agent harness 的可读复现实现,包括 Python 版 educodex 和 TypeScript 版 edupi,并用一个 web 可视化界面展示每个隐藏步骤。可视化面板覆盖时间线、上下文输入数组、原始请求体、工具规格、审批策略和 JSON-RPC 消息,支持逐步暂停模式;educodex 保留 Codex 的设计、线格式、系统提示词和 Seatbelt 沙箱策略,默认通过 OpenRouter 使用 openai/gpt-6-luna,也可用 fake model 离线运行。项目地址:https://github.com/maxsoldev/eduagent
frederico-kluser 在 GitHub 发布 prompt-builder,一个基于 OpenRouter 的 LLM 并行基准竞技场,提供 Web、CLI 和 MCP 服务器三种界面,支持比较多个模型、测试多个提示词版本和让提示词自动迭代三种模式。裁判按参考答案打分(resolve/parcial/não),默认用 TypeSafe 的 Jev 决策模型并将低置信度结果升级给 LLM 裁判,赛后 finalists 两两对决得出排名,全程经 SSE 实时显示阶段、verdict 热力图和相对预算的支出。
推荐理由:这个 LLM 基准竞技场用裁判参照答案打分并按角色核算成本,还带 holdout 与显著性检验来决定提示词是否晋升。
GitHub 开源项目 agent-orchestra 是一个本地持久化、可审计的多模型编排内核,把一句话需求拆成规划 → 实现 → 独立审查 → 测试 → 汇总五个固定阶段,强制实现端与审查端使用不同厂商的模型互相校验。任务与事件落 SQLite 支持断点恢复,审批绑定操作摘要与 revision,未知成本记为 null 而非 $0。项目基于 Python 3.12+、零运行时依赖、Apache-2.0 许可,仅监听 127.0.0.1:8765 回环地址,当前只带 Mock 适配器,真实适配器待接入。
GitHub 上独立开源项目 rule-test-bench 让管理员无需对语料库做 dry run、不读取任何真实文档,即可用标注示例即时评测内容规则,得出 precision、recall 及每条置信度落在 auto / review / ignore 区间的结果。示例中薪酬过滤器从 v1 的 67% precision(2 个误报)提升到 v2 的 100% precision、0 误报,客服通话共享规则达到 9 条中 7 条自动共享、0 误共享并标记 ready。默认使用确定性的 LocalJudge,可配置 Claude(claude-opus-5-5)作为 LlmJudge,技术栈为 Next.js 15 + React 19 + TypeScript,含 90 个 Vitest 测试。
EmpirioLabs 发布 llm-empiriolabs 插件,让 LLM 工具通过 OpenAI 兼容 API 调用 Qwen3、DeepSeek V4、GLM-5.1、Kimi K2.7 Code、MiniMax M3 等前沿开源模型。插件用 `llm install` 安装,支持模型列表查看、单次 prompt、交互式 chat 和管道输入,模型列表首次使用时获取并缓存一小时,不可用时回退到内置模型列表。项目以 Apache-2.0 许可证开源。
RickyLeRoi 发布 OnFeather 仓库,包含三个可独立安装的 Apache-2.0 工具。
推荐理由:仓库把三个独立工具打包在本地优先的理念下,README 对已测试和未完成部分作了明确区分,可按需单独取用。
GitHub 项目 capek-chat 推出 Axiom,一个自托管的认知编排器,可让 GPT-4、Claude 3 及开源模型协同“辩论”并综合答案,数据不出自有基础设施。它基于模块化认知单元(MCU)架构,提供多模型辩论室、持久认知会话、可视化工作流构建器,支持 Docker、Kubernetes 部署,也可完全用本地开源模型运行。
YoKONCy 开源了 infOS,一个以主 Agent 为中心的 AI 伙伴运行时内核,配套桌面陪伴应用 PeroperoChat(萌动链接),项目已从 Python 全面重写为 TypeScript 全栈(Hono + Vue 3 + Electron),核心算法用 Rust 实现。记忆引擎基于自研 TriviumDB(向量 + 图谱),以 EventNote 记事为主干,记忆经候选、门控到正式三层把关,1 亿条噪音数据测试中检索约 2.95ms 出结果;支持桌面、QQ、Discord 等场景跨端共享记忆,并提供 Docker 一键部署。
推荐理由:README 详细拆解了记忆引擎的写入、检索与反思链路,含 SA-PPR 管线与分层存储设计,可作人格记忆工程的参考实现。
开源本地 AI 平台 Vortelio 发布,用单个 Go 二进制在本机运行 LLM、Stable Diffusion/FLUX.1 图像生成、Whisper large-v3 语音转写、Kokoro TTS、WAN 2.1 视频生成、TripoSR 3D 生成,并通过 CrewAI 编排多智能体工作流,无需云端、API 密钥或订阅。平台提供 OpenAI 和 Ollama 兼容 API,可无缝替换现有 SDK 代码,还内置类似 Claude Code 的终端编程智能体 vortelio code。
Recursive 在 Hugging Face 开放其面向编码智能体的 MoE 模型 Flint 权重,总参数 39.8B、每 token 激活约 2.5B,Apache 2.0 许可。官方评测中 Terminal-Bench 2.1 得分 54.9%、SWE-bench Pro v2 为 89.7%、SWE-bench Verified 为 74.2%;仓库含 BF16 checkpoint 和 SGLang 部署套件,支持 262,144 token 上下文与 OpenAI 兼容工具调用,单个 B300 或 H200 GPU 即可运行一个副本。
推荐理由:官方模型卡完整给出架构规格、评测设置和单卡部署方法,读者可以据此判断这个编码智能体模型的实际部署成本。
SreyaThota 的开源项目 PipelineMedic 旨在对 CI/CD 失败做 AI 辅助诊断与安全修复:解析失败日志、引用证据、检索相似历史故障并提出根因和补丁,特权操作需人工批准。Phase 1–2 已交付基于 Ollama 的日志诊断 API 与 GitHub Actions/Jenkins 解析、密钥脱敏;基于 46 条真实 GitHub Actions 日志测得 Last 15 lines 分块 Recall@1 为 0.413,v0.2.5 的 Neo4j 混合检索在 64 条 held-out 日志上 MRR 0.504,flat 检索仍是默认。