混合生成-标注解码方法用于高效电商商品属性值抽取
研究者提出混合生成-标注解码架构,用于电商商品属性值抽取:对高频属性用标注头直接从源文本抽取值,生成头则专注稀有属性和不可复制的隐含/归一化值。集成进 vLLM 推理后,该方法将属性覆盖率提升 10%,多抽取出 63% 的正确属性值对,精度不受影响,同时延迟降低 44%。
新闻、仓库与研究,按时间排列。
研究者提出混合生成-标注解码架构,用于电商商品属性值抽取:对高频属性用标注头直接从源文本抽取值,生成头则专注稀有属性和不可复制的隐含/归一化值。集成进 vLLM 推理后,该方法将属性覆盖率提升 10%,多抽取出 63% 的正确属性值对,精度不受影响,同时延迟降低 44%。
一项 arXiv 研究提出通过对注意力头按梯度范数排序和划分,实现语言模型的稀疏与持续强化学习微调。实验覆盖数学、指令遵循和编码任务,微调高排名注意力头的效果稳定优于低排名者,且常能匹敌更稠密的微调基线;按任务划分注意力头可减少跨任务干扰、提升旧能力保留,同时保持对新任务的适配。
研究者提出 DPA-MoE,一个运行时精度控制框架,让 MoE 模型中被路由的专家支持任意精度。该方法用 SharedScale AnyBCQ 将专家前馈权重编码为可前缀解码的分块,并在推理时依据实时 router gate 分数分配。在 Qwen3-30B-A3B 和 DeepSeekMoE-16B 上的实验显示,相同预算下 DPA-MoE 比均匀分块分配改善了 KL 散度和下游准确率,原型系统稳态吞吐开销适中。
HyCo 将服务器模型的 MTP 头部署到设备端执行,结合一次 SLM 前向作为备选分支,通过量化、受限词表和 1K-token 窗口适配移动 NPU。在 Galaxy S26 Ultra 上经 LTE/5G 测试,HyCo 在 Spec-Bench 上较服务端 MTP 自推测减少 38.6% 的服务器 GPU 时间,在 32K-token 摘要任务上减少 29.2%;相比仅用 SLM 草稿多节省 9.0 个百分点、提速 1.9x,且输出质量与 Cloud+MTP 基本持平。
Waypoint-OPD 是一种门控在线策略蒸馏方法,利用同一 RL 训练中的中间 teacher checkpoint,比较早期与后期策略偏移的方向一致性,并在两者方向相反时抑制端点偏移的迁移。该方法只需额外一次 frozen-teacher 打分,以 RL 训练的 Qwen3-4B 为 teacher,在 Qwen3-8B、Qwen3-14B 和 Qwen3-30B-A3B 学生模型的数学与代码推理任务上,全部六个领域-学生设置中取得最高领域平均分;消融实验显示移除或打乱门控会降低 Qwen3-8B 的数学推理表现。
新开源项目 Dream Lab 提供基于 FastAPI 的 Stable Diffusion 与 SDXL 推理服务器,支持模型与 LoRA 运行时热切换、YAML 定义多模型"mode"配置,以及 CUDA(GPU)和 RKNN(NPU,针对 RK3588/RK356x)双后端。项目源于在嵌入式 IoT 设备上跑 LCM/SD 的概念验证,还包含实时 VRAM 追踪、可扩展任务队列、超分辨率管线与 REST API,后续将向 RKNN 上游回移新特性。
arXiv 论文提出 SPRA(Structured Paper Representation for Agents),一种以研究对象和类型化关系组织的论文级结构表示,并在超 100 万篇 AI 论文上实例化,含 19.95M 研究单元和 24.07M 内部关系。通过 Schema-RAG 访问时,SPRA 在七个子领域上使源条件科学问答较段落检索提升 0.381/5,配对任务的 input+output tokens 较段落检索减少 28.5%。该资源可通过 SciVerse 平台获取。
研究者提出局部上下文蒸馏方法 LoCD,让大语言模型从交互经验中持续学习。LoCD 先定位学生模型轨迹中需修正的关键片段,由教师模型基于学生自身前缀重新生成这些片段并用于训练,兼顾信息量与低曝光偏差。在数学推理、代码生成和智能体任务上,LoCD 持续超越强基线,训练更稳定且参数更新更小更稀疏。
研究者提出 TIR-EC,一个工具集成强化学习框架,让 LLM 将 EHR 特征组作为工具调用,并以梯度提升树教师提供参考工具集和分级风险目标进行奖励,通过反向课程把临床技能蒸馏进模型权重。在三项临床预测任务上,其 4B 智能体取得所有对比模型中最高的 macro F1,超过传统 ML 基线,可与更大的前沿 LLM 竞争,且用更少的工具调用选出更有用的证据。
研究者提出 QREF,一个即插即用的查询改写器与证据过滤器,通过 SFT 初始化并用强化学习在真实网络搜索环境中优化,缓解 DeepSearch 智能体检索意图错位与噪声累积问题。方法在四个基准上平均将 WebSailor 的 Pass@1 相对提升 33.55%、TongyiDeepResearch 提升 11.04%,无需修改架构或重训推理策略;RL 训练的改写器比原始骨干减少 95% 缺乏判别性检索锚点的查询批次。论文地址 https://arxiv.org/abs/2610.21512
推荐理由:论文给出即插即用的查询改写与证据过滤方案,不改架构即可提升 DeepSearch 智能体表现,数字与对比数据齐全。
一篇被 TPAMI 接收的综述首次系统梳理了强化学习驱动的扩散模型(RL-driven DMs),涵盖扩散式语言、多模态、机器人和科学模型,重点分析扩散轨迹优化与奖励工程。作者通过多任务 benchmark 实验对比了不同 RL 后训练策略的优势,并指出三大瓶颈:奖励设计脆弱、高维生成空间中的探索-利用权衡,以及稀疏奖励下的训练不稳定。团队还建立了公开仓库持续追踪该领域进展。
一项 arXiv 基准研究在单张 A100 GPU 上,以 17.7M 和 33.6M 参数因果语言模型及 2.70M 参数视觉 Transformer 比较 Muon 与 AdamW。相同数据下 Muon 将验证损失曲线下面积降低 3.25–22.44%,20 组主要配对全部降低测试损失;但 Muon 优化器调用耗时占训练时间 56.1–69.6%,AdamW 仅 6.1–9.1%,时间归一后 Muon 在视觉任务上领先 19.68–22.31%,语言任务上 AdamW 反而好 3.38–6.96%。结果表明该结论仅适用于小模型和参考实现,不能推广到更大模型或优化实现。
arXiv 论文提出 ClaimScope,一个包含 72 个任务的基准,通过裁决、范围、反例和修复审计数学智能体提出的命题,并评估 Qwen3-8B 在直接生成与四种两轮条件下的表现。结果显示,验证器反馈使无效命题的反例接受数从 15/39 提升至 23/39,安全完成数从 20/72 提升至 25/72,而严格完成保持 17/72,裁决准确率从 47/72 变为 46/72。该论文已被 NeurIPS 2026 Workshop(Mathematical Reasoning and AI)接收。
LoopAhead 是一个面向 Looped Transformer 的推测解码框架,用轻量级 lookahead drafter(LAD)基于 early-loop 状态提前起草多个未来 token,并结合 deeper-loop 反馈决定草稿分支的继续或暂停,由全深度模型做最终决定。该框架相比自回归解码最高实现 7.82x 解码加速,同时保持目标模型的输出分布。
一项研究评估用 Claude Opus 4.8 和 Codex GPT Sol 5.6 直接重建 iPhone 发往 Apple 定位服务的 protobuf schema,发现多数结果含严重错误且难以察觉,不适合取证与隐私分析。研究者改用 Claude 编写 Python 工具 Extractor,可从 Apple 二进制文件可靠恢复 protobuf schema,并通过已知答案、已发表 schema 和网络实测验证。该工具被用于解码越狱 iPhone 8(iOS 16.7.11)的定位服务网络流量。
PiratePai.github.io 仓库收录 10 篇大模型效率技术综述,覆盖推理效率栈五层:投机解码、注意力结构(MHA 到 MLA)、KV Cache、模型量化与推理服务优化,另含 MoE、并行策略、Agent 与强化学习等延伸主题。文章源文件在 posts/ 目录,均为自包含 HTML,支持暗色主题与移动端适配。
/u/brainchillzZ 在 Threadripper PRO 9955WX 加 4 张 R9700 上验证了 affinity 引擎此前被拒的 4 卡配置,DeepSeek-V4-Flash-0731 以 2.875 bpw 量化跑出 79 tok/s greedy、63 tok/s(temp 1.0),全部 11,008 个专家驻留显存,无退化输出。双卡仅 36 tok/s 且 82% 时间等待主机流式读取;作者指出原作者遇到的 bug 出在 4-on-2 模拟而非 4 rank 执行,并提示需加 --placement-strategy static。
推荐理由:作者在四张真实 R9700 上复现了此前只能双卡模拟的 affinity 配置,给出双卡与四卡的实测吞吐对比和绕过启动报错的具体参数。
Reddit r/LocalLLaMA 用户发布了一个面向 LLM 的反向代理项目,可在收到请求前自动唤醒推理服务器,并在长时间无请求后关机省电。它缓存 /v1/models 端点以避免 OpenWebUI 等客户端频繁唤醒机器,还支持配置检查登录用户的命令以防误关机。项目几乎全部由本地模型 vibe-coding 生成,作者称目前运行可靠,欢迎 PR。
SGLang 团队宣布对 Meta 开源多模态 MoE 模型 Muse Spark Open 提供 Day-0 推理支持。该模型共 816B 参数、约 42B 激活、支持 1M token 上下文,权重提供 NVFP4 和 BF16 两种格式。
VeriLLM 项目用 PyTorch 从零构建带 KV cache 的极简 GPT 风格 Transformer,并通过 Merkle 承诺与抽查协议让不可信节点提供可验证的 LLM 输出。项目还模拟了去中心化验证者委员会,含奖励与 slashing 机制,量化了篡改检测概率与验证成本相对重新执行的比例。
swanchain 的 computing-provider 发布 v0.6.1,可将自有 GPU 或订阅型模型代理接入 Swan Inference 市场按 token 收费。无需钱包、区块链注册或公网 IP,通过 WebSocket 出站连接即可在 NAT 后运行;支持 llama.cpp、vLLM、SGLang 的 Docker 部署和 Mac 上的 Ollama,激活需小于 24 小时审核与可退押金(USDC、SWAN 或刷卡),并内置自检、告警、仪表盘、本地网关与 REST API。
/u/FeydRowan 发布 capy-flash,基于其 ninfer-tp2 引擎,可在两块 16GB 消费级 GPU 上以 NVFP4 运行 Qwen3.8-Flash-Next 125B-A6B(专家卸载到内存),也支持 Qwen3.8-27B,一个参数即可切换。在 2× RTX 5070 Ti 上生成约 100 tok/s(Strata 为 78),15k prompt 的 prefill 约 3.4k tok/s(Strata 为 2.7k);质量对照数据中心 NVFP4 参考用 GSM8K、MMLU-Pro 和 agentic coding 任务检验。
推荐理由:作者给出与 Strata 在相同 NVFP4 权重下的生成和 prefill 速度对比,以及 TP=2 下 BF16 舍入误差的实测数据。
作者在 RTX Pro 6000 Blackwell 上对比 Ninfer6000、vLLM(NVFP4)与 llama.cpp(Q4_K_XL)运行 Qwen3.8-Flash-Next 的表现。Ninfer6000 平均 decode 238 tok/s,约为 vLLM 的 1.59 倍、llama.cpp 的 2.21 倍,但 prefill 低于 vLLM(约 10k 对 16k tok/s);BFCL v4、IFEval、MMLU-Pro、HumanEval+、MBPP+、Arena-Hard、RULER 等基准三者基本持平。
推荐理由:作者在 RTX Pro 6000 上实测三套引擎跑 Qwen3.8-Flash-Next 的吞吐与基准数据,并给出真实使用中工具调用异常的细节。
作者在双 AMD AI Pro R9700(Lenovo P620、Threadripper Pro 3945WX、128 GB DDR4)上对比了 Qwen3.8-Flash-Next 的三种推理方案:radiance 1.4.0、Strata 0.1.42 和 Unsloth 的 llama.cpp fork。radiance 生成速度最快达 147.2 tps,Strata 为 79.1 tps,llama.cpp 仅 17.6 tps;三者与 OpenRouter 上 Alibaba 托管的 Qwen3.8-Flash 输出一致性接近,作者认为可视为等效并按速度选择。
GitHub 上的 Trading_Python 项目结合双流 LSTM 模型,利用价格走势、新闻情绪和 LLM 生成的 alpha 信号预测次日股价,并接入 Go + React 交易平台。用户可在图表上查看模型预测与回测表现,刷新预测或对任意支持的股票及加密货币交易对重新训练模型,并实时跟踪任务进度。技术栈包括 FastAPI、PyTorch、Groq LLM、Polygon 与 yfinance 数据源。
Reddit 用户 /u/WorldlyAd7946 实测 £299.99 的 Lenovo IdeaCentre Mini(Snapdragon X1-26-100,32GB,纯 CPU)运行本地大模型:Qwen3.6 35B A3B coder 在 llama.cpp 下写入 24.5 tok/s,开 MTP 后约 29-33 tok/s;Qwen3-Next 80B A3B 用 Janas 开 MTP 达 17-18 tok/s,而 llama.cpp 无法加载该模型。
推荐理由:作者把 Janas 移植到 ARM 并给出实测速度数据,读者可据此评估低价骁龙迷你机跑本地大模型的可行性。
微软正在继续开发 Windows ML,以支持 llama.cpp 和 gguf 模型格式。若微软能让用户无需自行搭建底层环境即可便捷运行 gguf 模型,将有助于本地 AI 在主流用户中的普及。
Apple 机器学习研究团队演示在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open 等前沿模型,使用新版 MLX(v0.30.1 起)与 macOS 26.2 的 RDMA over Thunderbolt 驱动。
/u/Chuyito 在 r/LocalLLaMA 分享了在 llama.cpp 上混用 Nvidia 与 AMD 硬件的方案:保持 split-mode tensor 张量并行跑主模型权重,并通过修改 llama-rpc 把 drafter 卸载到 AMD Strix,释放 2-3GB 显存用于上下文,上下文从 150k 提升到 195k,张量并行速度不变。
/u/isoos 与朋友发布了自托管模型的首轮往返翻译基准结果,涵盖 8 个语言对、12 条测试提示词,用嵌入向量距离打分并惩罚不一致与指令遵循错误,测试了 15 个模型的不同量化版本,结果见 selfhostedintelligence.com。观察包括:16GB VRAM 足以自动化翻译;推理模式对 Qwen 模型提升巨大;大型 MoE 模型最低量化档与上一档差距明显;abliteration(huihui quants)对大模型通用能力的影响远小于小型稠密模型。测试在 1-2 台 Strix Halo 上运行。
推荐理由:实测覆盖 15 个模型不同量化版本,并给出量化层级与 abliteration 影响的具体观察,可按硬件条件选型。
Hugging Face 上发布了一个 NInfer v3(.ninner)工件,将 orcarouter/Qwen3.8-27B-Uncensored-NVFP4 转换并加入 DFlash2 投机解码支持,草稿模型来自 z-lab/Qwen3.8-27B-DFlash2。该 Qwen3.8-27B 视觉语言模型可在单张 RTX 5090(32 GB)上运行,启动占用约 31.6 GB,实测约 164 tokens/s,DFlash2 草稿接受率约 26%,保留 abliterated 无审查行为,采用 Apache-2.0 许可证。
Beast-jr 在 GitHub 发布 llm-gateway,一个介于应用与 LLM API 之间的 FastAPI 服务,优先使用 Groq、以 Gemini 作为回退。它提供 Redis 精确缓存、pgvector 语义缓存、带每日 token 预算的 API key、熔断回退,以及展示缓存命中率、省钱金额和加速比的 /stats 端点。测试无需 .env、数据库、Redis 或 API key,完整 README 将于 Day 14 发布。
Anvil-Q 是基于 Vulcan 0.8 开发的量化因果 LLM 推理加速器系列,将 HuggingFace AWQ 混合精度模型规格转化为可综合 SystemVerilog RTL、自检验证套件和可复现交付包。
NeuroBrix 是一个开源推理引擎,用统一的 .nbx 容器格式和 CLI 运行 LLM、VLM、语音识别、TTS、图像与视频生成及超分模型,当前版本 0.5.4 支持 NVIDIA GPU(CUDA)和 CPU,引擎与工具链采用 Apache License 2.0。容器内含计算图、权重与拓扑,默认走 PyTorch 分支,--triton 走自研 Triton 内核,可自动规划组件在单卡、多卡或主机内存上的放置;Hub 截至 2026-10-12 列出 10 类共 45 个公开模型,Apple Silicon 支持计划在 0.5.5 推出。
推荐理由:原文给出了 .nbx 容器结构、双计算分支和硬件适配细节,读者可以据此评估这个统一推理引擎是否适合自己的本地部署场景。
一位 M3 Max 用户在 r/LocalLLaMA 发帖称,Qwen 27b、Qwen Flash Next 等定制模型的 decode 速度已提升,其 QFN 运行达 40tk/s,但 prefill 进展停滞。他尝试用 QFN 优化层/注意力传播并近似 KV cache,将 prefill 从 400tk/s 提到约 850tk/s(约 2 倍),但 needle 测试准确率明显下降,发帖询问是否有人在研究更聪明的 prefill 加速方案。
上海AI实验室在 Hugging Face 开源 Sage-A1.5,一个 35B MoE 智能体模型,支持子智能体并行编排、可选验证模式和原生函数调用,原生 256K 上下文可经 YaRN 扩展到 512K。官方评测称其在 XBench-DS-2510(92.0)、IFBench(81.6)等多个基准取得 SOTA,GAIA 达 95.1,高于所对比的 Kimi-K3、GLM-5.3、GPT-5.6-sol 等更大规模模型;相比 A1,SWE-bench Pro 提升 17.6。评测框架已开源,SGLang 和 vLLM 部署命令见模型卡(arXiv: 2610.28578)。
推荐理由:官方模型卡同时给出与 35B 同级和更大模型的横向跑分与完整评测代码,读者可以按同一协议复现或对比。
一位 Reddit 用户在 r/LocalLLaMA 询问 Strata 在无 NVLink 的异构多 GPU 上是否值得使用。其配置为 Titan RTX 与 RTX 3090(均 24GB),单张 3090 运行 qwen3.8-27b 在 300k 上下文下达到 32 tok/s,Titan RTX 基本闲置;另有约 48GB 空闲系统内存。他想知道多 GPU 是否会大幅降低 prefill 速度,还是单卡加系统内存更快。
cognitio-org 的 mgm-pi 仓库记录了在 MacBook Pro(M4 Pro,48 GB 统一内存)上用 LM Studio 与 MLX 后端运行本地大语言模型的方案,模型为 qwen/qwen3.6-35b-a3b(Qwen 3.6 35B MoE,3B 激活,4-bit MLX,20 GB,256K 上下文),实测 73-82 tok/s、首 token 约 0.3 秒。仓库还包含基于 pi 的 kernal 编程智能体,支持连接 LM Studio、LiteLLM 路由与 OpenRouter、预算追踪、语音输入,并通过 kernal local 将本地模型共享到 Outfitter 账户。
GitHub 上的 JOE-TRON-LLMA 是一个面向本地模型推理的张量执行核心,主打裸机指针级 KV-cache 张量管理、SIMD 寄存器优化和零中间运行时的原生编译部署。它作为 Fire-Gem 与 Robo Rook Universe(RRU)架构的高性能智能核心,采用 MIT License 开源,并配套 20 页工程文档与 gcc 编译示例。
一位电气工程学生在 r/LocalLLaMA 征询本地 LLM 硬件升级建议:现有 i7-7800X + X299 + 双 RTX 3090,跑 Strata IQ3_S 约 100 tokens/s,另有五张 3090 待处理。他在升级 i9-10940X(约 $300)、组建 96GB VRAM 第二台机器、或以约 $1,300/张卖掉 Zotac 卡之间权衡。