输出质量控制
概述
输出质量控制是 MinerU 内容生成器中的自检机制,通过内容完整性检查和空白页过滤,确保生成的 Markdown 输出达到基本质量标准。
关键内容
内容完整性检查
quality_check() 函数对生成的 Markdown 输出进行快速自检:
| 检查项 | 计算方法 | 告警条件 |
|---|---|---|
| 总页数 | 从源 PDF 读取 | — |
| 输出字符数 | len(markdown_output) |
— |
| 平均每页字符数 | 总字符数 / 总页数 | < 200 字符/页 |
| 公式块数量 | $$ 出现次数 / 2 |
— |
| 表格数量 | \|---\| 出现次数 |
— |
核心告警:当平均每页字符数低于 200 时,标记 quality_warning = True,提示输出可能存在问题(如 OCR 失败、布局检测遗漏等)。
空白页过滤
filter_empty_pages() 过滤掉几乎没有内容的页面输出:
- 阈值:少于 50 个非空白字符视为空白页
- 适用场景:纯图像页、版权页、空白分隔页
在流水线中的位置
输出质量控制位于内容生成器阶段的末端,在 Markdown 生成完成后、最终写入文件前执行。它是一个轻量级的后处理步骤,不修正错误,仅标记警告。
局限性
- 检查规则简单,仅基于字符统计,无法检测内容语义错误
- 200 字符/页的阈值对某些特殊页面(如纯图表页)可能产生误报
- 不检测公式 LaTeX 语法正确性、表格格式完整性等深层问题
来源
- raw/assets/MinerU/minerU_08_output.md — MinerU 深度解析系列 · 第八篇:内容生成器与输出管道