42md 能有多快？我们用 1000 篇 arXiv 论文测了一下
1000 篇 arXiv 论文、约 6 GB PDF，用 batch 命令在一台 M5 Pro 和一台 8 GB 的 Intel 老 MacBook 上各跑一遍：76 秒对 280 秒，两台都零失败。速度、内存、提取质量的实测数据全公开，方便你在自己机器上复现。
把上千篇论文 PDF 一次性转成 Markdown，喂给 AI 建知识库——这件事到底要等多久？
我们做了一次大规模实测：1000 篇 arXiv 学术论文 PDF，约 6 GB。用刚上线的 42md batch 命令，在两台配置差异较大的机器上各跑一遍，速度、内存、质量的数据全记了下来。
测试方法
数据集是一份按推荐评分排名的 arXiv cs.CL / cs.AI 论文列表，覆盖 2024–2025 年发表的自然语言处理、人工智能方向论文，通过 arXiv 直链批量下载，总体积约 6 GB。
两台测试机器：
- 机器 A：MacBook Pro，Apple M5 Pro（15 核），24 GB 内存
- 机器 B：一台 8 GB 内存的 Intel 老款 MacBook Pro（四核 i5）
两台都用 42md v1.0.10 的 batch 命令，默认设置，不开启 AI 识别，直接提取数字 PDF 的文本层：
42md batch ~/Downloads/papers -o ~/papers-md
速度结果：M5 Pro 76 秒跑完 1000 篇
先看主力机器 M5 Pro：
| 规模 | 总耗时 | 平均 | 成功率 |
|---|---|---|---|
| 100 篇 | 10 s | 100 ms/篇 | 全部成功 |
| 420 篇 | 35 s | 83 ms/篇 | 全部成功 |
| 1000 篇 | 76 s | 76 ms/篇 | 1000/1000 |
换算一下：M5 Pro 上 1 分钟约处理 790 篇，1 小时超过 47,000 篇。
batch 会按机器的核心数和内存，自动选一个合适的并发来跑。
而且这 76 毫秒里做的事不少：标题层级、段落、表格、LaTeX 数学公式全都要还原，输出的是带完整结构的 Markdown。处理这么多细节还能保持这个速度，相当快。
8 GB 的老机器也扛得住
性能强的机器快，不稀奇。真正的问题是：一台 8 GB 内存的 Intel 老 MacBook，跑得动 1000 篇吗？
跑得动，而且零失败：
| 机器 | 耗时 | 平均 | 吞吐 | 成功率 |
|---|---|---|---|---|
| M5 Pro 24 GB | 76 s | 76 ms/篇 | 13.2 篇/秒 | 1000/1000 |
| Intel i5 8 GB | 280 s | 280 ms/篇 | 3.6 篇/秒 | 1000/1000 |
两台机器差约 3.7 倍，和硬件本身的性能差距基本吻合。8 GB 老机器 280 秒处理 1000 篇，1 小时约 12,900 篇，日常批量够用。
内存占用：跑完就释放
1000 篇处理期间，我们按 0.5 秒间隔采样了 42md 全进程内存：
| 机器 | 启动 | 稳定处理区间 | 峰值 | 完成后 |
|---|---|---|---|---|
| M5 Pro 24 GB（8 路） | 206 MB | 800–1400 MB | 3434 MB | 27 MB |
| Intel i5 8 GB（自适应降档） | 114 MB | 265–690 MB | 2742 MB | 0 MB |
两个细节值得说：
一是 8 GB 机器的峰值反而更低——2742 MB，约为可用内存的三分之一。这是因为 batch 检测到内存吃紧，主动把并发降了下来，全程没有触发系统换页（swap），也没有崩溃。M5 Pro 内存宽裕、跑满 8 路，峰值自然更高。
二是任务结束后内存立刻释放干净——M5 Pro 回落到 27 MB，Intel 回到 0。处理完不留残余，不影响接着做别的事。
提取质量如何
快归快，转出来的东西能不能用？我们随机抽查了 15 篇输出，综合评分约 80 / 100。
表现好的地方：
- 正文文字准确、无乱码（数字 PDF 的天然优势）
- 文件头信息整洁，含标题、页数等元数据
- 数学公式保留 LaTeX 格式，可直接渲染
- 摘要、章节结构、参考文献基本正确
还有提升空间的地方：
- 复杂合并单元格的表格，还原偶有混乱
- 双栏排版的论文，个别出现左右栏顺序错乱
- 少数论文标题识别不准（会误抓到「ABSTRACT」）
对批量处理学术论文来说，这个质量已经足够用于全文检索、RAG 知识库建设、摘要提取等场景；对出版级排版复现这类要求高的场景，仍需人工复核。
batch 顺手解决的几件事
除了速度，大批量处理时 batch 还管着几件容易翻车的事：
- 跑断了接着跑：在
-o目录里维护进度账本，跑到一半断电或 Ctrl-C，再运行一次同样的命令，已转好的秒过、从断点继续。 - 坏文件不拖整批：每篇有默认 60 秒超时，卡住的会被隔离跳过，不因一篇拖垮整批。这次两台机器 1000 篇，无一超时。
- 并发自己调：内存吃紧的机器自动降并发，核多内存足的跑得更快，不用手动调参。
结论
一行命令、1000 篇学术论文、76 秒、零失败——这是目前 42md 准备 RAG 原材料的速度。8 GB 的老机器也能完整跑完，内存自动降档、不会崩溃。
测试方法和数据集都写在上面，你可以在自己的机器上复现。想试试，先装或升级到 v1.0.10 以上版本：
# macOS
curl -fsSL https://42md.cc/mac | bash
# Windows（PowerShell）
irm https://42md.cc/win | iex
然后把目录交给它：
42md batch ~/Downloads/papers -o ~/papers-md
想先看看单篇转换效果，42md.cc 注册登录即可立即体验。
测试环境：42md 1.0.10，macOS；机器 A：Apple M5 Pro 24 GB，8 路自动并发；机器 B：Intel i5 8 GB，自适应并发；本地引擎，无 AI 识别。数据集：1000 篇 arXiv cs.CL / cs.AI 论文 PDF，约 6 GB。
42md — 你的知识快刀。更快地获取、更深地编译、更好地策展、更强的工具。
活水 AI 实验室（42ailab） — 探索智能边界的 AI 创新实验室，以认知科学为基石，推动 AI 与人类智能的深度融合，真正理解并增强智能 —— 碳基的，也是硅基的。