Reddit · r/LocalLLaMA· /u/Effective-Ad2060·· 3 小时前AI 评分54
PipesHub 优化 PDF 解析,速度与内存占用大幅下降
We spent some time fixing PDF parsing in PipesHub. Sharing what worked and what didn’t.
来源与原文
Reddit · r/LocalLLaMA
作者:/u/Effective-Ad2060
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xijr0b/we_spent_some_time_fixing_pdf_parsing_in_pipeshub/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
PipesHub 创始人分享团队为开源上下文层修复 PDF 解析的过程:因 Docling 在消费级设备上内存过高且过慢,他们围绕 pdfplumber 构建了新的解析路径,仅在需要的页面运行布局模型,并保留 Docling 的 heron 模型。在 58 份文档回测中,中位解析时间从 0.98 降至 0.48 秒/页,1228 份文档的 P95 峰值 worker 内存从 2.91 降至 1.97 GB,文本丢失超半数的页面占比从 2.9% 降至 1.2%;初版曾把财务表格当图片处理导致数字缺失。Docling 在图表检测、表格结构和标题识别上仍更好。完整.write-up 和代码见 github.com/pipeshub-ai/pipeshub-ai。
来源:Reddit · r/LocalLLaMA · reddit.com