42md batch 上线:一行命令,把整个目录转成 Markdown
硬盘里躺着上千篇论文 PDF,想一次性全转成 Markdown 喂给 AI,却卡在「一篇一篇转太慢、中间一个坏文件就前功尽弃、跑到一半断电又得从头来」。新的 42md batch 命令为大规模处理而生:一行命令扫描整个目录,单篇超时自动跳过、坏文件隔离不拖垮整批,跑断了再运行一次就接着上次继续。还能喂一份链接清单,边下载边转换,把实验室论文成批收进来。
硬盘里躺着上千篇论文 PDF,想一次性全转成 Markdown 喂给 AI。用 42md paper.pdf 一篇一篇转,几千篇要守一晚上;写个循环脚本吧,中间一个坏文件报错就断在那,前面的白跑;好不容易跑到一半,电脑睡眠了,又得从头再来。
批量处理有批量处理的坑。今天上线的 42md batch 就是为这件事做的——一行命令处理整个目录,个别文件出问题不拖垮整批,跑断了还能接着上次继续。
一行命令,处理整个目录
把目录交给 42md batch,它会自动扫描里面所有能识别的文件(PDF、Word、音频、图片、网页链接……当前支持 42+ 种格式),逐个转成 Markdown:
42md batch ~/Downloads/papers
目录里的子文件夹也会一起扫进来。转换过程有实时进度,成功和失败一目了然:
📄 转换 1000 个文档(4 路并发)
✅ [1/1000] attention-is-all-you-need.pdf
✅ [2/1000] deep-residual-learning.pdf
✅ [3/1000] bert.pdf
...
🎉 文档转换完成:999/1000 个文件成功
想指定输出目录,加 -o:
42md batch ~/Downloads/papers -o ~/papers-md
一个坏文件,不该拖垮一整批
批量处理里容易翻车的一环,是几千篇里难免混着一两篇有问题的文件——格式损坏、结构诡异、或者某一篇特别大,卡在那里半天出不来。写循环脚本时,这种文件会直接让整个流程断在那,前面的成果也没法收尾。
42md batch 给每篇转换加了墙钟超时(默认 60 秒)。超时的文件记为失败、跳过,批量继续往下跑,不会因为一篇卡死拖垮整批:
# 单篇超时设为 120 秒(0 = 不限时)
42md batch ~/Downloads/papers --timeout 120
坏文件也一样——解析失败的那篇被隔离、记录原因,其余照常完成。跑完你能清楚看到是哪几篇没成功、为什么。
跑到一半断了?再运行一次就接着跑
上千篇的大批量,跑到一半难免出意外:电脑睡眠、误按 Ctrl-C、临时要关机。42md batch 在输出目录里维护一份进度账本,只要用同一个 -o 目录再运行一次同样的命令,已经转好的文件会被自动跳过,从上次断的地方接着往下:
# 先跑一遍,跑到 600 篇被打断
42md batch ~/Downloads/papers -o ~/papers-md
# 再运行一次,前 600 篇秒过,从第 601 篇继续
42md batch ~/Downloads/papers -o ~/papers-md
跳过前会核对产物是否完整——只有真正转好、落盘完整的文件才算数,残缺的会重做。所以不用担心接续时漏掉半截产物。
一份链接清单,边下载边转换
论文不在本地、只有一堆链接?把链接写进一个文本文件,每行一个,交给 --from-list:
# urls.txt 里每行一个 http(s) 链接,空行和 # 开头的注释会跳过
42md batch --from-list urls.txt -o ~/papers-md
它会边下载边转换:一批链接在下载的同时,下好的就开始转 Markdown,两头协同,不用等全部下完再动手。抓一整个实验室主页挂着的论文 PDF,一条命令收齐。
并发按你的机器自动调
不加 -w,42md batch 会按你机器的核心数和内存自动挑一个合适的并发数。内存吃紧的笔记本会自动放慢并发,避免大批量处理时把内存撑爆;核多内存足的机器则跑得更快。想自己定,用 -w:
42md batch ~/Downloads/papers -w 8
为了跑得更稳更省内存,batch 默认不导出 PDF 里的图片(图片解码是批量处理时内存占用的大头)。需要连图一起导出,加 --images。
几个实用选项
# 扫描件 / 图片型 PDF 走 AI 识别
42md batch ~/scans --ocr
# 只提取每篇的前 5 页
42md batch ~/Downloads/papers --pages 1-5
# 每篇输出一行 JSON(脚本里取产物路径、页数、告警都好解析)
42md batch ~/Downloads/papers --json
# 非交互脚本里跳过二次确认
42md batch ~/scans --ocr -y
涉及云端 AI 识别(--ocr)会消耗 AI 配额、按页计费,动手前有二次确认和预估消耗,需要显式确认或加 -y 才会跑。本地数字 PDF 提取免费、不计费。
高隐私文档,让识别只在本机跑
合同、发票、内部资料这类文件,很多时候连传云端都不放心。42md Pro / Pro+ 用户可以把活水模型(42model)接为 42md 的本地引擎——--ocr 的扫描件识别就能整段在你自己的机器上完成,图片和文字都不出本机,也不消耗 AI 配额:
# 一整个目录的扫描件,走本地引擎批量识别
42md batch ~/合同扫描件 --ocr --engine local
--engine local 会强制走本地引擎;连不上会如实报错,不会偷偷改用云端。批量处理成百上千份敏感文档时,这条路既省配额、又让数据留在本地,尤其适合对隐私要求高的场景。
活水模型引擎本体免费、人人可下载(42model.com);把它接为 42md 的本地引擎、用于本地识别,是 42md Pro / Pro+ 专属福利。想大批量处理高隐私文档,在 42md.cc 升级到 Pro / Pro+ 即可解锁。
开始使用
命令行用户,先装或升级到最新版:
# macOS
curl -fsSL https://42md.cc/mac | bash
# Windows(PowerShell)
irm https://42md.cc/win | iex
然后把目录交给它:
42md batch ~/Downloads/papers -o ~/papers-md
想先看看单篇效果,42md.cc 注册登录即可立即体验,或查看功能演示点开看真实转换效果。
上千篇论文一次转成 Markdown,接着就能建成 AI 能检索的知识库。更快地获取,从这一步开始。
42md — 你的知识快刀。更快地获取、更深地编译、更好地策展、更强的工具。
活水 AI 实验室(42ailab) — 探索智能边界的 AI 创新实验室,以认知科学为基石,推动 AI 与人类智能的深度融合,真正理解并增强智能 —— 碳基的,也是硅基的。