当前位置：首页 > news >正文

百度Unlimited OCR开源项目：基于遗忘机制的长文档识别技术解析

news 2026/7/10 2:07:06

百度最近开源了一个名为 Unlimited OCR 的项目，在 GitHub 上 5 天就获得了超过 1 万的 star。这个 OCR 工具最大的特点是引入了"类人类遗忘机制"，能够单次处理数十页的长文档，解决了传统 OCR 在处理多页文档时的内存瓶颈问题。

传统的 OCR 工具在处理长文档时，往往需要将整个文档加载到内存中，导致显存或内存占用急剧上升。而 Unlimited OCR 通过滑动窗口注意力机制，只对当前处理的部分保持高精度关注，对已识别的内容进行"遗忘"，从而实现了低资源消耗下的长文档处理能力。

从技术架构来看，这个项目支持 40+ 页文档的连续识别，默认使用 128 个 token 的滑动窗口，在解码时每个 token 都能关注所有的参考 token（视觉特征与提示词），但对已生成的输出 token 只保留局部注意力。这种设计既保证了识别精度，又控制了资源占用。

本文将重点介绍 Unlimited OCR 的本地部署方法、功能测试流程、API 接口调用以及实际使用中的注意事项。如果你需要处理扫描版 PDF、电子书、合同文档等多页材料，这个工具值得一试。

1. 核心能力速览

能力项	说明
项目类型	开源 OCR 文档识别工具
开源团队	百度
主要功能	多页文档文字识别、PDF 解析、图文混排处理
核心技术	类人类遗忘机制、滑动窗口注意力
显存需求	根据文档长度动态调整，远低于传统 OCR
支持平台	支持 GPU 和 CPU 推理
启动方式	命令行启动、API 服务
接口能力	支持 HTTP API 调用
批量任务	支持目录批量处理
输出格式	文本、Markdown 等
适合场景	电子书转换、合同数字化、档案管理

2. 适用场景与使用边界

Unlimited OCR 特别适合需要处理长文档的场景。比如法律合同的数字化归档、电子书的文字提取、学术论文的批量处理等。传统 OCR 工具在面对 50 页以上的 PDF 文档时，往往会因为内存不足而崩溃，而这个项目通过滑动窗口机制有效解决了这个问题。

从使用边界来看，这个工具主要针对的是文档类材料的文字识别，不适合处理自然场景图片（如街景文字、车牌识别等）。对于表格识别、公式识别等特殊需求，也需要结合其他专门工具。

在版权合规方面，需要注意仅处理拥有合法授权的文档材料。特别是商业使用时，要确保文档内容不涉及第三方版权问题。对于个人隐私数据，建议在本地部署使用，避免通过公网 API 传输敏感文档。

3. 环境准备与前置条件

在开始部署之前，需要确认本地环境满足以下要求：

操作系统支持

Windows 10/11（推荐）
Ubuntu 18.04+
macOS 12+

Python 环境

Python 3.8-3.11
pip 包管理工具

硬件要求

GPU 版本：NVIDIA GPU（显存 4GB+），CUDA 11.7+
CPU 版本：内存 8GB+（处理长文档建议 16GB+）
磁盘空间：至少 2GB 可用空间（用于模型文件和依赖包）

依赖工具

Git（用于克隆项目代码）
虚拟环境工具（venv 或 conda）

建议优先使用 GPU 环境，能够显著提升处理速度。如果只有 CPU 环境，也可以运行，但处理大量文档时速度会较慢。

4. 安装部署与启动方式

4.1 项目获取

首先克隆项目代码到本地：

git clone https://github.com/baidu/unlimited-ocr.git cd unlimited-ocr

4.2 环境配置

创建并激活虚拟环境：

# 使用 venv python -m venv ocr_env source ocr_env/bin/activate # Linux/macOS ocr_env\Scripts\activate # Windows # 或使用 conda conda create -n ocr_env python=3.9 conda activate ocr_env

安装依赖包：

pip install -r requirements.txt

4.3 模型下载

根据项目说明下载预训练模型：

# 下载核心识别模型 python scripts/download_model.py --model-name unlimited_ocr_base

如果下载速度较慢，可以考虑使用镜像源，或者手动下载后放置到指定目录。

4.4 服务启动

启动 OCR 服务：

# 启动 Web 服务（默认端口 7860） python app.py --host 0.0.0.0 --port 7860 # 或直接使用命令行接口 python cli.py --input-doc ./test.pdf --output-dir ./results

服务启动后，可以通过浏览器访问http://localhost:7860使用 Web UI，或者通过 API 接口进行调用。

5. 功能测试与效果验证

5.1 单页文档测试

首先测试基础识别能力，准备一个单页 PDF 或图片文档：

python cli.py --input-doc ./test_single_page.pdf --output-format txt

检查输出文件内容，重点关注：

中文、英文、数字的识别准确率
标点符号的正确性
段落结构的保持情况

5.2 多页文档测试

测试核心的多页处理能力，使用一个 10-20 页的 PDF 文档：

python cli.py --input-doc ./test_multi_page.pdf --output-format markdown

验证要点：

所有页面是否都被正确处理
页眉页脚是否被正确识别或过滤
跨页的段落是否保持连贯
目录结构是否保留

5.3 图文混排测试

测试包含图片、表格的复杂版面：

python cli.py --input-doc ./test_mixed_layout.pdf --output-dir ./detailed_results

检查项目：

图片区域是否被正确跳过或标注
表格结构是否大致保持
文字环绕排版的处理效果

5.4 长文档压力测试

使用 40+ 页的长文档进行极限测试：

python cli.py --input-doc ./long_document.pdf --batch-size 5 --max-pages 50

观察资源占用情况，验证"类人类遗忘机制"的实际效果。

6. 接口 API 与批量任务

6.1 API 服务启动

启动 API 服务模式：

python api_server.py --port 8080 --workers 2

6.2 单文档识别接口

使用 Python 调用识别接口：

import requests import json def ocr_single_document(file_path, api_url="http://localhost:8080/api/ocr"): files = {'document': open(file_path, 'rb')} data = { 'output_format': 'markdown', 'language': 'chinese' } response = requests.post(api_url, files=files, data=data) return response.json() # 调用示例 result = ocr_single_document('test.pdf') print(json.dumps(result, indent=2, ensure_ascii=False))

6.3 批量任务处理

对于大量文档，可以使用批量处理脚本：

import os from concurrent.futures import ThreadPoolExecutor def batch_process_directory(input_dir, output_dir, api_url): if not os.path.exists(output_dir): os.makedirs(output_dir) pdf_files = [f for f in os.listdir(input_dir) if f.endswith('.pdf')] def process_single_file(filename): input_path = os.path.join(input_dir, filename) output_path = os.path.join(output_dir, f"{os.path.splitext(filename)[0]}.md") result = ocr_single_document(input_path, api_url) with open(output_path, 'w', encoding='utf-8') as f: f.write(result['text']) return filename, result['status'] with ThreadPoolExecutor(max_workers=3) as executor: results = list(executor.map(process_single_file, pdf_files)) return results # 批量处理示例 batch_process_directory('./documents', './results', 'http://localhost:8080/api/ocr')

6.4 异步任务支持

对于超长文档，可以使用异步处理模式：

import requests import time def async_ocr_task(file_path, callback_url=None): files = {'document': open(file_path, 'rb')} data = { 'async': True, 'callback_url': callback_url } response = requests.post('http://localhost:8080/api/async-ocr', files=files, data=data) task_id = response.json()['task_id'] # 轮询查询任务状态 while True: status_response = requests.get(f'http://localhost:8080/api/task/{task_id}') status = status_response.json()['status'] if status == 'completed': return status_response.json()['result'] elif status == 'failed': raise Exception('OCR task failed') time.sleep(5) # 每5秒查询一次

7. 资源占用与性能观察

7.1 显存占用监控

在处理文档时，可以使用以下命令监控资源占用：

# Linux/macOS watch -n 1 nvidia-smi # Windows # 使用任务管理器或 GPU-Z 监控

典型观察结果：

单页文档：显存占用 1-2GB
10页文档：显存占用 2-3GB（传统 OCR 可能达到 8GB+）
40页文档：显存占用 3-4GB，平稳增长

7.2 处理速度测试

不同长度文档的处理时间参考：

单页图文混排：10-30秒
10页纯文本文档：1-2分钟
40页复杂版面：5-8分钟

速度受硬件配置、文档复杂度、图片质量等因素影响。

7.3 CPU 与 GPU 模式对比

如果显存不足，可以切换到 CPU 模式：

python app.py --device cpu --port 7860

CPU 模式的特点：

内存占用较高（8GB+）
处理速度较慢（比 GPU 慢 3-5倍）
适合偶尔使用或测试环境

8. 常见问题与排查方法

问题现象	可能原因	排查方式	解决方案
启动时报 CUDA 错误	CUDA 版本不匹配/驱动问题	检查`nvidia-smi`和 CUDA 版本	安装匹配的 CUDA 工具包
模型下载失败	网络问题/存储权限	检查网络连接和磁盘空间	手动下载模型或使用镜像
处理长文档时内存溢出	文档过长/内存不足	监控内存使用情况	使用`--max-pages`参数分批次处理
识别结果乱码	编码问题/语言设置错误	检查输出文件编码	指定正确的语言参数
API 服务无法访问	端口冲突/服务未启动	检查端口占用和服务状态	更换端口或重启服务
批量任务卡住	资源竞争/文件锁	检查并发设置和文件权限	减少并发数或检查文件状态

8.1 模型加载问题排查

如果模型加载失败，可以尝试手动下载：

# 检查模型文件是否存在 ls ~/.cache/unlimited_ocr/models/ # 手动下载模型 wget -O ~/.cache/unlimited_ocr/models/model.bin "模型下载URL"

8.2 性能优化建议

对于大量文档处理，可以考虑以下优化：

# 调整批处理大小 python cli.py --input-dir ./documents --batch-size 3 --max-workers 2 # 使用更快的输出格式 python cli.py --input-doc ./doc.pdf --output-format txt --simple-layout

9. 最佳实践与使用建议

9.1 文档预处理

在使用 OCR 前，对文档进行适当预处理能提升识别准确率：

确保扫描分辨率在 300DPI 以上
调整对比度，使文字清晰可辨
去除不必要的页眉页脚和水印
对于彩色文档，可以先转换为灰度图

9.2 参数调优配置

根据文档类型调整识别参数：

# 学术论文（包含公式和参考文献） python cli.py --input-doc paper.pdf --language academic --preserve-layout # 商业合同（注重格式保持） python cli.py --input-doc contract.pdf --language legal --output-format docx # 电子书（注重连贯性） python cli.py --input-doc ebook.pdf --language novel --continuous-paragraph