跳到正文
10月7日周三
  1. GitHub · 灵魂体仓库53

    doc-scraper:面向 LLM 训练与 RAG 的 Go 文档站爬虫开源

    Sriram-PR 在 GitHub 开源 doc-scraper,一个用 Go 编写的可配置、并发、可断点续爬的文档站爬虫,把技术文档抓取并转为干净的 GitHub-Flavored Markdown,供大语言模型摄取。支持 YAML 配置、robots.txt、限速与重试、BadgerDB 状态持久化、JSONL 输出并按 llmstxt.org 规范生成 llms.txt 与 llms-full.txt;可自动检测 Docusaurus、MkDocs、Sphinx 等 30 多种文档框架,内容选择器设为 auto 时自动匹配,失败时回退到 Mozilla Readability。

  2. GitHub · 去对齐工具与仓库45

    KevinDeBenedetti 开源 dataset-generator:自动生成问答数据集的工具仓库

    GitHub 上的 KevinDeBenedetti/dataset-generator 是一个自动问答数据集生成工具,可从上传文件(PDF/图片经 vision model)和网页提取内容,调用用户自己的 OpenAI 兼容 key 或 Claude 订阅生成问答对。数据集以 PostgreSQL 存储并支持版本化(v1、v2…),可导出为 JSON、JSONL、CSV 及 Hugging Face Hub 私有仓库、Qdrant 向量库等格式,支持法、英、西、德四种语言,并内置语义去重和自动校验。

  3. GitHub · 去对齐工具与仓库52

    marin-research-tools 发布 Zero to Cited 研究:全新作者身份 6 天内首次被 LLM 引用

    marin-research-tools 仓库发布 Zero to Cited in Six Days 单体测量研究:虚构奇幻作家身份 Marin T. Kael 于 2026-05-11 上线,23 天内每日轮询 5 个联网 LLM、16 个标准化问题,产出约 16,000 个评分数据点,T+6 天出现首次有来源引用,T+4 天进入 Google Knowledge Graph。

  4. GitHub · 灵魂体仓库64

    novel-refpack 开源:把长篇小说加工成大模型续写用的整书总结与文风语料

    GitHub 仓库 scp3500/novel-refpack 提供一套流水线,把十万到几百万字的长篇小说加工成两份文件:整书总结(事实圣经,覆盖世界观、剧情走向、伏笔、IF 分歧点和禁区)和逐字摘录的文风例子集,用于喂给大模型做续写、写 IF 线、同人或仿写。摘要任务走任意 OpenAI 兼容接口或 shell 命令,不绑定 agent 框架;摘要阶段一片一个任务可开几十路并发,实测 114 万字 25 路、444 万字 76 路;stylefit 工具包从语料本身拟合文风,verify.py 提供门槛、结构、逐句 z 值和零频探针四层验收。License 为 MIT。

    推荐理由:给出了把长篇小说加工成事实圣经和文风语料两份文件的完整流水线与并发实测数据,方法可直接迁移到续写和仿写场景。

  5. GitHub · 去对齐工具与仓库55

    法国政府开源 LLM 竞技场 compar:IA,支持机构自建实例

    法国政府项目 compar:IA 是一个开源 LLM 竞技场,用户提交提示词后由两个匿名模型作答并投票,事后揭晓模型名。项目由 DINUM、法国文化部和欧盟 ALT-EDIC 支持,2026年6月已累计 70 万次对话、25 万次投票(约89%为法语),测试超过 130 个模型。公共榜单以 Bradley-Terry 分数和 95% 置信区间呈现盲投票偏好,数据集以 Etalab Open Licence 2.0 与 CC BY 4.0 发布在 Hugging Face。2026年9月发布的 2.0 版新增消息历史、个人榜单和管理后台,支持企业、行业或语言社区用 Docker 自部署实例,丹麦的 AI-arenaen 已上线第二个实例。

  6. GitHub · 去对齐工具与仓库13

    mc-next-llm-wiki:面向人类与 LLM 的 Salesforce Marketing Cloud Next 知识库

    GitHub 仓库 supanmaniar/mc-next-llm-wix… supanmaniar/mc-next-llm-wiki 是一个为 Salesforce Marketing Cloud Next 顾问认证考试(Summer '26 release)构建的结构化知识库,含 78 个概念页、1113 张闪卡和 353 道情景题,覆盖考试全部 6 个板块。页面用 [[wiki links]] 交叉链接,可通过 Obsidian 浏览或通过 llms.txt 索引供 LLM/RAG 管道摄取,另有 GitHub Pages 交互式学习站点。考试为 60 道计分题、105 分钟、72% 及格,且不允许携带参考资料。

  7. GitHub · 灵魂体仓库65

    Nutomic 开源 RAGnarok:单 PostgreSQL 实现权限感知的企业文档 RAG 参考实现

    Nutomic 发布 RAGnarok,一个 DSGVO 优先、权限感知的企业内部文档 RAG 参考实现,全部跑在单个 PostgreSQL 上(pgvector + 德语全文检索),提供可点击引用、拒答、审计日志和删除传播,在线演示在 rag.nutomic.com。检索评测显示 hybrid(RRF 融合 pgvector 与 tsvector)hit@5 为 83%、SQL 延迟 7.1ms,rerank 达 mrr@5 63% 但每查询约 4.7 秒;生成用 EU 托管的 Mistral API,由 GLM 5.3 Flash 做 LLM 评测,检索确定性门禁在每次 push 的 CI 中运行。

    推荐理由:这份参考实现把权限过滤、引用、拒答和审计都做进单个 PostgreSQL,还附带可复现的检索评测数据,适合想搭企业内部 RAG 的开发者参考。

  8. GitHub · 灵魂体仓库44

    Data-Crawler:一个配置驱动、可断点续跑的 GitHub Python 代码爬取工具

    GitHub 开源项目 Data-Crawler 是一个配置驱动的 Python 源码爬取器,可发现 GitHub 仓库、按查询组权重和 star 分层抽样、清洗校验代码、扫描密钥并去重,最终产出适合代码 LLM 训练的 JSONL 数据集。它通过 SQLite 持久化状态支持断点恢复与 append 模式多轮扩展语料,并按仓库级划分 train/validation 以减少数据泄漏,输出保持模型无关。

  9. GitHub · 去对齐工具与仓库28

    najahpokkiri/llm-labels-for-object-detection-training:将 LLM 边界框标注转成 COCO 格式的目标检测训练示例仓库

    该仓库将经人工复核的 LLM 边界框提案转换为 COCO 标注,并提供托管与本地两种推理入口,用于航拍/卫星目标检测训练。最终训练权重以 GitHub release 资产发布,代码 MIT、权重 CC BY 4.0 许可,源影像不随附。该 RF-DETR Small checkpoint 曾于 2026 年 10 月 7 日在 Python 3.12、rfdetr 1.11.2、torch 2.14.1 环境下加载运行,仓库提示其仅为能力测试产物,未经独立验证。

  10. GitHub · 灵魂体仓库31

    mard4/music-ai:基于 LLM 与 CLAP 的音频原生 Agentic RAG 助手开源项目

    GitHub 上的 mard4/music-ai 项目结合 LLM 与 CLAP,构建了一个面向音乐制作的 Audio-Native Agentic RAG 助手,弥合机器元数据与主观听感描述之间的语义鸿沟。项目采用三层架构:MongoDB + GridFS 存储音频、LLM 生成字幕并经 CLAP 余弦相似度校验防幻觉、1536 维文本向量与 512 维 CLAP 音频向量存入 Qdrant。消融实验显示,用 LLM 字幕替代原始标签后 Text-to-Audio 检索的 nDCG@5 从 0.5851 提升至 0.8460。

  11. GitHub · 去对齐工具与仓库39

    Amazon VOC 证据复核工作台 evidence-backed-amazon-voc-copilot 发布新版

    这是一个 AI 工具辅助构建的 Amazon VOC 证据工作台,面向跨境电商选品,每条结论都能回溯到评论原文。内置 Evidence Ledger 将洞察标记为 fact、inference 或 unknown,并列展示支持与反向证据,证据不足时强制标记 unknown 并停止确定性建议。新版于 2026-10-06 发布,内置 30 条合成评论和 4 个商品,Mock 模式无需 API Key,可选 BYOK 调用 OpenAI-compatible 模型提取,截至 2026-10-07 本地 287 项测试全部通过。

  12. GitHub · 灵魂体仓库51

    Tinybird 开源 llm-benchmark:测试各大模型生成分析型 SQL 的能力

    Tinybird 发布了开源工具 llm-benchmark,用于评测各 LLM 依据自然语言问题生成分析型 SQL 的正确性,结果发布在 https://llm-benchmark.tinybird.live/。评测基于 2 亿行 GitHub archive 数据,每个模型需回答 50 个问题,支持通过 OpenRouter 测试 Grok-4、Claude Sonnet 4、DeepSeek Chat v3、Gemini 2.5 Pro、O3 等模型,测量的指标包括 SQL 正确性、执行成功率、首 token 时间、总耗时和 token 用量,生成的 SQL 无效时会将报错回传给模型自动重试最多三次。

  13. GitHub · 灵魂体仓库66

    itact-785:印度新所得税法合规评测集发布,最佳模型严格准确率仅30.2%

    Prasthana Lab 发布 itact-785,一套针对印度《Income-tax Act 2025》的 785 道合规任务评测集,sha256 锁定、严格实体匹配判分、不用 LLM judge。最佳前沿模型 glm-5.3-flash 严格准确率 30.2%;四部分 ICAI 式合规任务所有模型 0/99;基于 Qwen3.5-4B 微调的 karsastra-4b 得 45.7%,超过全部前沿模型。数据与文档 CC BY-4.0,评测代码 Apache-2.0。

    推荐理由:评测集在跑分前锁定题目并用严格实体匹配判分,读者可以借此核对各家模型在印度新税法合规任务上的真实差距。

  14. GitHub · 灵魂体仓库18

    Structured-ACOPF-LLM:面向 IEEE 9/30/118 系统的 ACOPF 结构化序列化数据集

    GitHub 仓库 yllmcode/Structured-ACOPF-LLM 发布了针对 IEEE 9、30 和 118 每个系统的 ACOPF 结构化序列化数据集,每个系统含 9,000 条训练记录和 1,000 条测试记录,合计 30,000 条。输入为确定性、物理结构化序列,包含显式组件块、拓扑感知规范排序、标幺值和四位小数精度,目标输出为对齐的 IPOPT ACOPF 序列。仓库提供序列化脚本 `serialization.serialize_samples` 和校验器 `serialization.verify_release`,可验证文件哈希、划分大小与不相交性、目标完整性及文档记载的 IEEE 118 token 数。

  15. GitHub · 去对齐工具与仓库46

    Docgrain:为 AI 提供带来源引用的企业文档知识库项目(Pre-alpha 开源)

    Docgrain 是一个 Pre-alpha 开源项目,可将公司文件夹中的 PDF、DOCX、XLSX、TXT、PNG 和 JPEG 统一为带证据(页码、单元格、文本框)的规范化数据,并自动发现集合、提取记录。文档冲突时不猜测而是向人提问,每次发布生成不可变版本,通过 preview/approved JSON、OpenAI 兼容工具和 MCP stdio 适配器供 AI 使用。文件版本管理与认证尚未实现,基准评测分数也未发布。

  16. GitHub · 去对齐工具与仓库64

    开源项目 llm-pricing 上线大模型价格与评测聚合查询页

    作者因现有价格表不区分来源、缺少国产模型,自己写了一个大模型价格查询页,在线版在 https://aazjzkskkw.github.io/llm-pricing/ 。页面含价格总表(约 2600 行)、19 个评测榜单、订阅档位和中转站/公益站名单,价格以 LiteLLM 价格库为主力并经 OpenRouter 等四个接口补充,三源报价差超 20% 时去官网人工核对;GitHub Actions 每天自动更新,MIT 协议开源。作者提醒公益站无正经上游授权,请求经对方服务器可能被换模型或留存内容。

    推荐理由:作者自建的模型价格查询页说明了数据来源、命名归一和三源对账的处理细节,读者可以据此了解聚合价格表的常见坑与做法。

  17. GitHub · 灵魂体仓库54

    bwu109-netizen 开源 review-insight:用 LLM 把电商评论转成按团队归类的整改清单

    前电商从业者发布开源工具 review-insight,读取电商平台评论导出,自动生成品类维度、标注情感与根因,并输出按责任团队排序的整改清单。在 900 条京东评论上与人工标注一致率 89.3%,AI 明确判断正负时达 98.2%;支持 Web 应用、Claude skill 和命令行三种用法,可接 Gemini、DeepSeek、OpenAI、Claude、Qwen 等多种模型,另在 Amazon 茶叶评论上做了跨市场对比。

  18. GitHub · 灵魂体仓库45

    NVIDIA Auto Ontology:面向智能体的开源企业本体库

    NVIDIA 推出开源项目 Auto Ontology,从企业元数据生成本体层,为智能体提供指标、实体与关系的可信业务语义,并校验生成查询的来源。它通过 MCP、CLI 和 API 向任意 agent harness 暴露上下文,支持自然语言转 SQL,默认使用 NVIDIA NIM 端点(nemotron-3-nano-30b-a3b 等),采用 Apache License 2.0,可经 Helm 或 Docker Compose 部署。

  19. GitHub · 去对齐工具与仓库32

    GoldenMatch v3.22.0 发布:零配置实体去重提速 18-30 倍,保留原始记录值

    开源实体解析工具 GoldenMatch 发布 v3.22.0,零配置人员去重提速 18-30 倍,250k 行处理时间从 520 秒降至 18 秒且聚类结果一致,输出表格改回保留原始输入值。此前版本还修复了小文件误报 RED 警告、LLM 评分器不再因检测到 OPENAI_API_KEY 或 ANTHROPIC_API_KEY 就自动启用,以及整数 ID 列导致的 ArrowNotImplementedError 崩溃。该工具声称在脏数据上零调优即可胜过专家调参的 Splink,支持 250M 行 11.2 分钟去重、Python/TypeScript/SQL 接口及 70+ MCP 工具。

  20. GitHub · 灵魂体仓库52

    gdpval-realworks 仓库发布可复现的 GDPVal 评测流水线与证据面板

    作者开源了 gdpval-realworks,为 GDPVal Gold Subset 构建可复现的实验流水线和静态面板,覆盖 9 个行业 44 种职业共 220 项真实专家任务,要求模型产出表格、报告、演示等可审阅文件。仓库将执行完成、产物完整性、Self-QA 与外部评分四类信号分开记录,本地面板无需云端凭据即可运行,云上路径通过 OIDC、镜像摘要固定和 Docker 断网等控制限定边界;默认冒烟配置用 gpt-5.2-chat 生成、gpt-5.6-sol 评分,任务级成本按产生与评分两类分别记账。

  21. GitHub · 去对齐工具与仓库61

    autonomous-ads-pipeline-multimodal-evals 仓库开源:像素与音频门禁驱动的无人值守广告生成流水线

    作者 jameswniu 开源了一套自主广告生产流水线仓库,包含 LangGraph 图、门禁、探针和标注样本,广告在自身检查通过前不许花一分钱。评测对像素和音频而非文本打分,10 个命名门禁阈值全部由标注的通过/拒绝样本对推导,无需账号、密钥或 GPU 即可复现。质量评测基于 Prolific 上 90 名评审的 450 次盲投,四引擎路由的 picks 平均胜率 52%,低于总是选 Seedance 2.0 的 59%,十支真实产品 spec 广告在 Omni Flash 上约每场景六十美分。

    推荐理由:作者把评测同时用作路由和花钱前的门禁,并公开了阈值推导方法,读者可以复现这套无人值守投放的可检验做法。

  22. GitHub · 灵魂体仓库64

    arxiv2agent:把 arXiv 论文转成智能体可检索的结构化文件树

    作者发布 arxiv2agent(https://github.com/wuyoscar/arxiv2agent),基于纯规则解析 LaTeX 源码,把 arXiv 论文转成结构化、多模态、可被智能体检索的文件树,全程不用 LLM。实测单篇解析 0.1–0.3 秒,10 篇新论文含下载端到端 42 秒,10 篇缓存论文重建 0.9 秒;输出含统一 schema 的 paper.、章节 markdown、原始矢量图、LaTeX 公式与表格、代码及解析为 BibTeX 的引用,每个实体有稳定类型化 ID,并附 warnings 字段标记残留 LaTeX,项目采用 MIT 许可。

    推荐理由:作者展示了把 arXiv 论文解析成结构化文件树供智能体检索的完整方法,包含实测速度和调用示例,读者可以直接复用。

  23. GitHub · 灵魂体仓库60

    ask-the-data:面向诊所分析的双语 text-to-SQL 助手开源,本地 Qwen3-8B 在 100 题金集上达 79%

    A7mad8asim 开源了 ask-the-data,一个阿拉伯语/英语双语 text-to-SQL 诊所分析助手,默认通过 Ollama 本地运行 Qwen3-8B,数据不出本机。系统设计原则是 LLM 只写 SQL 和措辞答案、永不计算数字,SQL 经 sqlglot 规则沙箱、只读 DuckDB、小于 10 人分组遮蔽三层防护。在 2026 年 10 月 7 日的评测中,完整流水线在 100 道金题上答对 79%(英语 84%、阿拉伯语 74%、海湾方言 63.2%),拦截全部 20 次隐私与安全攻击;消融显示检索 few-shot 示例贡献最大(整体 +22 分),修复循环再加 6 分,全部本地运行成本为 $0。

    推荐理由:原文用消融实验拆解了双语 glossary、few-shot 检索和修复循环各自的贡献,方法可迁移到其他 text-to-SQL 项目。

  24. GitHub · 灵魂体仓库65

    Yingshu-Li 开源 llm-price-tracker:589 个模型的价格自动追踪仓库

    Yingshu-Li 发布 llm-price-tracker 仓库,为 33 家公司 589 个模型的人工清单 raw.csv 自动补全价格与输入模态,GitHub Actions 每天 UTC 00:00 从 38 个无需 API key 的源抓取,约 95 秒完成。价格分官方牌价与全网最低价两组并附完整溯源链接,实测官方价与最低价差距可达 27 倍(GPT-5.5 官方 $5.00 到最低 $0.1875);输出按 Coding、Embedding、音频、图像等拆分多张分表,闭源拿不到价与开源无报价分开标注,主表共 379 行、365 个模型,真缺口 28 个。

    推荐理由:原文给出可复现的价格采集与溯源设计,还实测了官方价与第三方最低价的倍数差距,可作比价工具参考。

  25. GitHub · 去对齐工具与仓库39

    Prism:基于 LLM 的内容元数据提取与团队校对工具(onam2518/prism)

    GitHub 开源项目 Prism 用 LLM 提取内容的导语、实体、意图、类别等元数据,核心思路是把团队校对共识积累成 golden 正确答案集,用于评估模型一致率与 A/B 对比,并产出 SFT/DPO 等训练数据。项目仅用 Python 标准库(3.8+)零依赖运行,支持 --mock 无密钥体验、Docker 团队部署,可连接 Upstage Solar 或任意 OpenAI 兼容端点,采用独立 4 调用策略并内置等级、徽章等游戏化机制,MIT 许可证发布。

  26. GitHub · 去对齐工具与仓库61

    epistemic-policy-divergence 基准测试多轮对话中 LLM 采纳注入假前提的差异

    fahrellgiovanny 发布 epistemic-policy-divergence 基准,测试大语言模型是否采纳注入会话历史的假前提,覆盖5种攻击协议、10个知识域和3个模型族。结果显示 GPT-5.4 Mini 在500个会话中从未采纳假前提(0%),Gemini-3.1 Flash-Lite 在指令覆盖下采纳率达94.0%,GLM-4.5-Air 抵抗系统注入权威(15.8%)但服从指令覆盖(84.2%)。自动裁判经120轮人工金标准验证(Track 1 κ=1.000)。论文见 arXiv:2609.35308,配套仓库与完整复现 RUNBOOK.md 已开放,MIT 许可。

    推荐理由:同一假前提在不同模型上的采纳率从0%到94%,作者据此主张会话历史应被视为不可信攻击面并给出部署建议。

  27. GitHub · 灵魂体仓库55

    EvalPort 1.0.0-rc.5:LLM 评测互操作规范开源,提供 70 个框架适配器

    adhabnr-ux/evalport 是一个可移植 LLM 评测规范的开源仓库,版本 1.0.0-rc.5,Apache 2.0 协议,让评测数据集在 DeepEval、Promptfoo、Inspect AI、OpenAI Evals 等框架间转换而不丢失语义。仓库含 70 个独立适配器包、14 个公开基准转换出的 22 个验证套件(8,012 条测试用例),evalport run CLI 支持 OpenAI 与 Anthropic 及 OpenAI 兼容端点,带 dry-run 成本估算;已列入 Inspect AI 社区扩展文档,并向 IBM/ares、ClawBench、PraisonAI 合并了上游 PR,TruLens 连接器 PR 尚未合并。

    推荐理由:这是一个 LLM 评测互操作规范仓库,README 逐条核实了各框架的采纳状态与合并情况,可信度交代得比较少见地细致。

  28. GitHub · 去对齐工具与仓库60

    开源关系型合成数据引擎 Misata 发布

    rasinmuhammed 在 GitHub 开源了关系型合成数据引擎 Misata(MIT 协议),可从一句话描述、YAML schema 或现有数据库生成多表数据集,外键零孤儿、聚合结果误差 $0.00,机制来自 arXiv:2606.08736。内置 MCP server 供 Cursor、Claude Code、Windsurf 调用 create_sandbox 生成隔离 SQLite 沙箱,支持 misata seed 内省并填充 PostgreSQL、MySQL、SQLite,单核吞吐 50 万至 1600 万行/秒,覆盖 20+ 行业模板。

    推荐理由:原文给出与 Faker、SDV 的具体对比和吞吐数字,读者可以据此评估这个合成数据引擎是否值得替换现有方案。

  29. GitHub · 去对齐工具与仓库34

    PLSemanticsBench:首个用于评估 LLM 规则条件推理的反事实编程语言语义数据集

    PLSemanticsBench 是首个反事实编程语言语义数据集,用于评估 LLM 的规则条件推理能力,包含轻量级 C 语言 C* 的小步操作语义和 K-framework 两种形式化。数据集通过 PredState、PredRule、PredTrace 三个任务及 NL2Rule、Rule2NL 辅助任务进行评测,支持通过 OpenAI API 或 Ollama 运行 DeepSeek-R1 1.5B 等模型,数据可用 datasets 库加载。

  30. GitHub · 去对齐工具与仓库45

    Radar HuggingFace Dataset:每日三次追踪 HuggingFace 生态的开源数据集

    Radar HuggingFace Dataset 是一个开放、持续更新且版本化的 HuggingFace 生态数据集,由 HF//RADAR 生成,每天 06:00、14:00、22:00 三次导出,记录新发布模型、作者、许可证、下载与 likes 等真实热度、参数量及格式(GGUF、MLX、safetensors),并用 removed/removed_at 标记被悄然下架的模型。每个模型含 JSON 元数据与西班牙语技术卡片,通过编号 release 提供可审计历史快照,采用 CC-BY-4.0 许可。

  31. GitHub · 灵魂体仓库26

    imaginetheatre 仓库:用 Python 脚本为 imaginetheatre.co.uk 生成 llms-full.txt

    GitHub 仓库 ConnorJames12/imaginetheatre 提供 llms-full.txt builder,用 build_llms_full.py 脚本为 imaginetheatre.co.uk 生成 llms-full.txt,把 llms.txt 索引中所有页面的正文合并成单个 markdown 文件,让 AI 助手一次抓取即可读完整站。llms.txt 索引托管在 GitHub Pages(因 Squarespace 无法在站点根目录返回自定义 /llms.txt),页面内容则从 Squarespace 站点抓取,脚本会用 beautifulsoup4 和 markdownify 清除模板代码并转为 markdown,支持 GitHub Actions 自动运行。

  32. GitHub · 去对齐工具与仓库22

    Trishula-DataFlow:Trishula Software 推出的算子式 LLM 数据准备与合成引擎

    Trishula Software 推出 Trishula-DataFlow,一个面向 LLM 的算子式数据准备与合成引擎,重构自被 ACM SIGMOD 2027 接收的 OpenDCAI/DataFlow。它以解耦的清洗、过滤与合成算子生成高质量训练数据集和 RAG 语料,纯 Python 与 Pydantic 执行、零第三方包装依赖,支持 NVMe 上的快速过滤与去重,采用 Apache-2.0 许可证开源。

  33. GitHub · 去对齐工具与仓库22

    Govi Rare Books 发布 Comprehensive-Antiquarian-and-Rare-Books-Archive 古籍书目数据集

    Govi Rare Books Archive 在 Hugging Face 发布古籍与珍本书目数据集,为 LLM 训练和 RAG 检索提供无商业内容的结构化书目元数据,以减少 AI 幻觉。数据集涵盖摇篮本、科学史与数学史、历史美食学、版画与现代文学等主题,书目记录由人类专家撰写,人物传记权威层由 AI 系统 Abu 辅助生成并经人工审核,附 EDIT16、USTC、VIAF 等交叉引用标识符,采用 CC-BY-NC-4.0 许可。

  34. arXiv · cs.CL40

    让 COMET 跨文字系统可比:诊断并修正分词器导致的印度语系 MT 评测文字偏差

    研究发现 COMET 翻译评测分数受目标语言书写系统影响:在 IndicMT Eval 上,文字身份解释了母语文字分数方差的 22.9%,与标注者的一致性在全部五种语言中均下降。COMET-QN 可将各 (language, script) 组合映射到统一参考分布,使混合一致率从 0.300 升至 0.399,且保证语言内排序不变;基于 parity 特征的回归器再恢复 17.1% 的灵敏度,剩余偏差属编码器,无法通过后处理修复。论文被 WMT 2026 接收。

  35. arXiv · cs.CL34

    Symphony for Text Generation:临床笔记生成的基准评测(MedConv 数据集 + ACI-BENCH 对比 Corti 与通用 AI 语音记录工具)

    研究者发布 MedConv 多语言数据集(含英、丹、德三语共 300 例临床就诊记录),并结合 ACI-BENCH 基准,将临床 AI 平台 Corti 与两款基于通用 AI 的主流环境式语音记录软件进行对比。评测框架结合蕴含指标与 LLM 判 pairwise 比较,覆盖 PDSQI-9 的八个维度。结果显示 Corti 的 API 文本生成能力与商业语音记录工具相当或更优,且其可配置 API 可针对具体文档场景微调质量维度,数据集已开源以支持可复现比较。

  36. arXiv · cs.CL30

    STRUCTURALCOST:用于建模人类句子加工难度的自定步速阅读数据集

    STRUCTURALCOST 是一个包含 475 名参与者、40,800 条观测的自定步速阅读数据集,用于分离长距离主谓依存解析的加工成本。研究在 NLP 规模上复现了心理语言学发现:主句动词处的阅读时间随依存长度增加,且受句法嵌入而非仅线性距离驱动。n-gram、SSM 和 Transformer 等模型只能部分反映这一难度曲线,并低估人类的整合成本,说明它们捕捉了预测成分但未捕捉工作记忆带来的整合成本。

  37. arXiv · cs.CL55

    arXiv 论文受控评估分层检索的记忆深度与重建上下文宽度

    Michael Andreev 在 arXiv 发布论文(arXiv:2610.08300,已被 NeurIPS 2026 PALM Workshop 接收),用 EverMemBench 受控评估对话长期记忆中结构深度与上下文宽度两个参数的作用。结果显示上下文从 1K 扩到 4K 可让 Accuracy 提升 10.11-17.98 个百分点,而加深记忆层次无单调收益;超过 8-16K 后 Production 条件性能进入平台期但每个正确答案的 token 开销持续上升,Oracle 条件在 68-71K token 完整档案上保持质量。

    推荐理由:论文用受控实验比较记忆结构的深度与上下文宽度,给出了随宽度变化的量化收益和平台期数据,方法可复用于长期记忆系统评估。

  38. arXiv · cs.CL27

    语言不可对齐性:为什么某些概念无法进行跨文化 benchmark 评测

    一篇 arXiv 立场论文指出,多语言 LLM 评测依赖的“翻译同构假设”对语用标记、敬语、历时分层词汇等概念在原理上不成立,并定义了 α-unalignability 形式化刻画。论文用 usage-cloud 框架给出三层证据:FLORES-200 翻译失败与语系和资源等级相关而与文字无关,以及九模型 Yami 案例中的 Representation-Intervention Gap。作者提出 Cycle-Consistency、Pragmatic-Load Disagreement、Manifold-Curvature Mismatch 与 RIG 构成的多维诊断框架。