一千篇 arXiv 论文的转换实测
建一个 AI 知识库，第一步是把资料收成 Markdown。把上千篇论文 PDF 一次性转好，喂给 AI，这件事到底要等多久？
我们做了一次大规模实测：1000 篇 arXiv 学术论文 PDF，约 6 GB。用 42md batch 命令，在两台配置差异较大的机器上各跑一遍，速度、内存、质量的数据全记了下来。
测试方法
数据集是一份按推荐评分排名的 arXiv cs.CL / cs.AI 论文列表，覆盖 2024–2025 年发表的自然语言处理、人工智能方向论文，通过 arXiv 直链批量下载，总体积约 6 GB。
完整清单已公开，方便你在自己机器上复现：。文件每行一个 arXiv PDF 直链，共 1000 条。
两台测试机器：
- 机器 A：MacBook Pro，Apple M5 Pro（15 核），24 GB 内存
- 机器 B：一台 8 GB 内存的 Intel 老款 MacBook Pro（四核 i5）
两台都用 42md v1.0.10 的 batch 命令，默认设置，不开启 AI 识别，直接提取数字 PDF 的文本层：
速度结果：M5 Pro 76 秒跑完 1000 篇
先看主力机器 M5 Pro：
换算一下：M5 Pro 上 1 分钟约处理 790 篇，1 小时超过 47,000 篇。
batch 会按机器的核心数和内存，自动选一个合适的并发来跑。
这 76 毫秒里做的事不少：标题层级、段落、表格、LaTeX 数学公式全都要还原，输出的是带完整结构的 Markdown。
8 GB 的老机器也扛得住
性能强的机器快，不稀奇。真正的问题是：一台 8 GB 内存的 Intel 老 MacBook，跑得动 1000 篇吗？
跑得动，而且零失败：
两台机器差约 3.7 倍，和硬件本身的性能差距基本吻合。8 GB 老机器 280 秒处理 1000 篇，1 小时约 12,900 篇，日常批量够用。
内存占用：跑完就释放
1000 篇处理期间，我们按 0.5 秒间隔采样了 42md 全进程内存：
两个细节值得说：
一是 8 GB 机器的峰值反而更低，2742 MB，约为可用内存的三分之一。这是因为 batch 检测到内存吃紧，主动把并发降了下来，全程没有触发系统换页（swap），也没有崩溃。M5 Pro 内存宽裕、跑满 8 路，峰值自然更高。
二是任务结束后内存立刻释放干净：M5 Pro 回落到 27 MB，Intel 回到 0。处理完不留残余，不影响接着做别的事。
提取质量如何
快归快，转出来的东西能不能用？我们随机抽查了 15 篇输出，综合评分约 80 / 100。
表现好的地方：
- 正文文字准确、无乱码（数字 PDF 的天然优势）
- 文件头信息整洁，含标题、页数等元数据
- 数学公式保留 LaTeX 格式，可直接渲染
- 摘要、章节结构、参考文献基本正确
复杂的合并单元格表格、双栏排版，是我们接着打磨的方向。对批量处理学术论文来说，这个质量已经足够用于全文检索、RAG 知识库建设、摘要提取等场景；对出版级排版复现这类要求高的场景，仍需人工复核。
batch 顺手解决的几件事
除了速度，大批量处理时 batch 还管着几件容易翻车的事：
- 跑断了接着跑：在
-o目录里维护进度账本，跑到一半断电或 Ctrl-C，再运行一次同样的命令，已转好的秒过、从断点继续。 - 坏文件不拖整批：每篇有默认 60 秒超时，卡住的会被隔离跳过，不因一篇拖垮整批。这次两台机器 1000 篇，无一超时。
- 并发自己调：内存吃紧的机器自动降并发，核多内存足的跑得更快，不用手动调参。
结论
一行命令、1000 篇学术论文、76 秒、零失败，这是 42md 1.0.10 测试时准备 RAG 原材料的速度。8 GB 的老机器也能完整跑完，内存自动降档、不会崩溃。
测试方法和数据集都写在上面，你可以在自己的机器上复现。装好 42md（见 ），把目录交给它：
递归子目录、网址清单、超时设置等用法见 。转好的这批 Markdown，就是你 AI 知识库的原材料。
测试环境：42md 1.0.10，macOS；机器 A：Apple M5 Pro 24 GB，8 路自动并发；机器 B：Intel i5 8 GB，自适应并发；本地引擎，无 AI 识别。数据集：1000 篇 arXiv cs.CL / cs.AI 论文 PDF，约 6 GB。