Python批量处理PDF文档：自动化关键词统计与文本分析实战

1. 项目概述：从海量PDF中挖掘关键信息

如果你在金融分析、行业研究或者公司尽调岗位待过，肯定对一种场景不陌生：手头有几十甚至上百份上市公司的年报、招股说明书或者临时公告，老板或客户突然要求你快速统计，这些文档里提到“数字化转型”、“碳中和”或者某个特定技术名词的频率分别是多少。手动打开每一份PDF，用Ctrl+F搜索然后计数？这活儿既枯燥又容易出错，而且一旦需求变动，所有工作都得推倒重来。

这正是“Python批量处理PDF文档，输出自定义关键词出现次数”这个项目要解决的核心痛点。它本质上是一个自动化文本分析工具，通过编程手段，将我们从重复、低效的人工查阅中解放出来，把精力聚焦在更有价值的分析和洞察上。想象一下，你只需要准备好PDF文件夹和一份关键词列表，运行一个脚本，几分钟后就能得到一份清晰的数据表格，里面详细记录了每个文档中每个关键词的出现频次。这对于快速把握一批公司的战略重点、风险披露倾向或者合规声明情况，具有立竿见影的效果。

我最初做这个工具，就是为了处理一个涉及上百家A股公司年报的专题研究。需求方想了解不同行业对“供应链安全”的提及差异。靠人力根本不可能按时完成，于是就有了这套自动化方案的雏形，并在后续多个项目中不断打磨优化。它不仅仅是一个计数工具，更是将非结构化的PDF文档转化为结构化数据的关键第一步，为后续的文本挖掘、情感分析甚至简单的趋势预测打下了基础。

2. 核心需求与方案设计思路

2.1 需求场景深度拆解

这个项目的需求看似简单——统计词频，但深入拆解后，会发现不少需要提前考虑的细节，这些细节直接决定了后续技术方案的选择。

首先，文档来源的复杂性。上市公司的PDF文档格式千差万别。有的是纯文本PDF，文字可以直接复制；有的是扫描件生成的图像PDF，文字是“图片”形式；还有的文档是图文混排，含有复杂的表格和图表。我们的方案必须能稳健地处理这些常见情况。

其次，关键词定义的灵活性。需求方给的关键词列表可能五花八门。比如，“AI”这个词，在文档里可能以“人工智能”、“A.I.”甚至“智能技术”等形式出现。是进行精确匹配，还是允许模糊匹配？是否区分英文大小写？是否要考虑中文的同义词或简称？这些都需要在方案设计初期与需求方明确，或者我们的工具要提供相应的配置选项。

再者，输出结果的实用性。简单的“文档A中关键词X出现N次”是基础。但更进一步，我们可能还需要知道关键词出现的具体页码、上下文句子，甚至是统计总词数来计算关键词密度（TF）。输出格式是纯文本、CSV表格，还是直接生成可视化图表？这些附加功能能极大提升分析报告的深度和说服力。

最后，处理流程的健壮性与效率。批量处理意味着可能会遇到损坏的PDF文件、编码异常、或者超大的文档。脚本需要有良好的异常处理机制，避免因为一个文件的问题导致整个任务崩溃。同时，处理成百上千个文档时，速度也是一个重要考量，是否需要引入并行处理？

2.2 技术栈选型与理由

基于以上需求，我选择了以Python为核心的技术栈，这是目前处理此类任务生态最成熟、社区最活跃的选择。

1. PDF文本提取库：PyMuPDF (fitz) 和 pdfplumber

   • PyMuPDF (fitz)：这是我们的主力武器。它的速度极快，对于纯文本和简单排版的PDF提取效率很高，并且能准确获取文字的位置信息（这对于需要定位关键词上下文或处理复杂版面很有用）。它的API相对底层，功能强大。
   • pdfplumber：作为重要补充。它特别擅长处理包含表格的PDF，能较好地还原表格结构。当遇到PyMuPDF提取效果不佳（尤其是某些中文文档）或需要提取表格数据时，pdfplumber是很好的备选。在实际项目中，我通常会先用PyMuPDF，如果发现提取的文字杂乱或缺失，再针对特定文件换用pdfplumber尝试。

   注意：还有一个常见的库叫PyPDF2（或它的继任者pypdf），但它对中文支持和复杂格式的提取能力较弱，在这个以准确提取中文文本为核心需求的项目中，不作为首选。

2. 文本处理与匹配库：正则表达式 (re) 和 jieba (可选)

   • 正则表达式 (re)：这是实现关键词匹配的核心。无论是精确匹配还是模糊匹配（如忽略大小写、匹配部分变体），都可以通过精心设计的正则表达式来实现。例如，匹配“人工智能”时，可以用r‘人工\s*智能’来兼容中间可能有空格的情况。
   • jieba：中文分词库。如果我们的需求不仅仅是简单的字符串匹配，而是需要基于“词”进行更精确的统计（例如，区分“苹果公司”和“吃了一个苹果”），那么就需要先对文本进行分词。但对于大多数“查找特定关键词短语”的金融文档分析场景，直接使用字符串或正则匹配已经足够。

3. 数据处理与输出库：pandas

   • 用于整理和存储结果再好不过。我们可以将结果构建成一个DataFrame，行是文件名，列是关键词，值是出现次数。最后轻松导出为Excel或CSV文件，方便后续用Excel进行排序、筛选和制作图表。

4. 文件遍历与进度提示：os, glob, tqdm

   • os和glob模块用于轻松遍历指定文件夹下的所有PDF文件。
   • tqdm库可以为循环处理过程添加一个美观的进度条，在处理大量文件时能直观了解进度，避免程序“卡住”的错觉。

这个技术栈组合在功能、性能和易用性上取得了很好的平衡，经过了大量实际项目的检验。

3. 环境准备与核心库实战解析

3.1 搭建Python工作环境

为了避免库版本冲突，强烈建议为这个项目创建一个独立的虚拟环境。这里以使用conda（如果你安装了Anaconda或Miniconda）为例，使用venv也是类似的。

# 创建一个名为 pdf_keyword_analysis 的新环境，并指定Python版本（推荐3.8+） conda create -n pdf_keyword_analysis python=3.9 # 激活环境 conda activate pdf_keyword_analysis

接下来安装核心库。由于PyMuPDF在某些系统上通过pip install PyMuPDF安装可能遇到二进制依赖问题，一个更可靠的方法是安装其预编译的wheel版本，通常命名为fitz。pdfplumber对Pillow（图像处理）和pdfminer.six有依赖。

# 安装核心库 pip install pymupdf # 这是安装PyMuPDF的推荐方式，它会处理fitz pip install pdfplumber pip install pandas # 安装进度条库（可选但推荐） pip install tqdm # 如果需要处理复杂中文分词，安装jieba # pip install jieba

安装完成后，可以在Python交互环境中快速测试一下：

import fitz # 这就是PyMuPDF import pdfplumber import pandas as pd print(“所有核心库导入成功！”)

3.2 深入理解PyMuPDF (fitz) 的文本提取机制

PyMuPDF提取文本的核心方法是get_text()。但直接使用它可能会丢失页面、段落结构信息。更推荐使用get_text(“blocks”)或get_text(“words”)。

• get_text(“blocks”)：将页面上的文本按视觉块（通常是一个段落或一个标题）返回。每个块是一个元组，包含块所在的矩形坐标和文本内容。这有助于我们保留一定的版面逻辑。
• get_text(“words”)：返回页面上所有单词的列表，每个单词信息包括其坐标、文本和字体属性。粒度最细，适合需要精确定位的场景。

对于我们的词频统计，get_text(“text”)或get_text(“blocks”)通常就足够了。一个稳健的提取函数可以这样写：

import fitz def extract_text_with_fitz(pdf_path): “”“使用PyMuPDF提取PDF文本，尝试处理可能出现的编码问题。”“” doc = fitz.open(pdf_path) full_text = “” for page in doc: # 使用“text”参数获取纯文本，它已经做了基本的块合并 text = page.get_text(“text”) if text: full_text += text + “\n” # 添加换行符分隔不同页面 doc.close() return full_text

一个关键细节：有些PDF（特别是扫描后OCR生成的）文字顺序可能是乱的。get_text(“text”)会尝试重建阅读顺序，但并非百分百准确。如果发现提取的文本段落顺序错乱，可以尝试get_text(“blocks”)，然后根据块的Y坐标（垂直位置）进行排序，再拼接文本，这能在一定程度上改善顺序问题。

3.3 pdfplumber的辅助角色

当遇到PyMuPDF提取效果不佳时（比如提取出的中文是乱码或大量缺失），可以换用pdfplumber。它的一个优势是能更好地处理某些内嵌字体。

import pdfplumber def extract_text_with_pdfplumber(pdf_path): “”“使用pdfplumber提取PDF文本。”“” full_text = “” with pdfplumber.open(pdf_path) as pdf: for page in pdf.pages: text = page.extract_text() if text: full_text += text + “\n” return full_text

在实际脚本中，我们可以设计一个降级策略：主用PyMuPDF，如果提取到的文本长度极短（比如少于100个字符，这很可能意味着提取失败），则自动尝试用pdfplumber再提取一次。

4. 关键词匹配与统计逻辑实现

4.1 设计灵活的关键词输入

关键词列表最好放在一个独立的配置文件（如keywords.txt）或脚本顶部的列表变量中，方便修改。每行一个关键词。

数字化转型 碳中和 元宇宙 人工智能 供应链安全 ESG

在Python中读取：

def load_keywords(keyword_file_path): “”“从文本文件加载关键词列表，去除空行和首尾空格。”“” with open(keyword_file_path, ‘r’, encoding=‘utf-8’) as f: keywords = [line.strip() for line in f if line.strip()] return keywords # 或者直接定义在脚本里 KEYWORDS = [“数字化转型”, “碳中和”, “人工智能”, “供应链安全”]

4.2 实现核心匹配与计数函数

统计词频的核心在于匹配。我们使用正则表达式来获得最大的灵活性。例如，我们希望匹配“人工智能”，同时忽略“AI”这种缩写（除非它也在关键词列表中）。我们可以为每个关键词编译一个正则表达式对象。

import re def build_regex_patterns(keywords, ignore_case=True): “”“将关键词列表转换为正则表达式模式列表。 默认忽略大小写，并对关键词中的特殊字符进行转义。 ”“” patterns = [] for kw in keywords: # 对关键词中的正则特殊字符进行转义，如‘.’, ‘*’, ‘(‘等 escaped_kw = re.escape(kw) # 构建模式，\b表示单词边界，确保匹配完整词汇 # 例如 r‘\b人工智能\b’ 不会匹配到‘人工智能技术’中的‘人工智能’？这里需要注意中文无明确单词边界，\b可能不适用。 # 对于中文，更简单的做法是直接查找字符串。 # 如果希望匹配作为独立词语出现，可以考虑在关键词前后加空格或标点，但这比较复杂。 # 对于大多数金融文本分析，直接计数出现次数即可，不必严格限定为独立词。 pattern = re.compile(escaped_kw, re.IGNORECASE if ignore_case else 0) patterns.append((kw, pattern)) # 保存关键词和对应的模式对象 return patterns def count_keywords_in_text(text, keyword_patterns): “”“在给定的文本中，统计每个关键词模式的出现次数。”“” counts = {kw: 0 for kw, _ in keyword_patterns} for keyword, pattern in keyword_patterns: # 使用findall找出所有非重叠匹配 matches = pattern.findall(text) counts[keyword] = len(matches) return counts

这里有一个非常重要的实操心得：关于中文的“单词边界”问题。在英文中，r‘\bAI\b’可以确保只匹配独立的“AI”，而不是“MAIN”中的“AI”。但中文没有空格分隔词，\b机制不直接适用。在金融文档分析中，我们通常关心的是“概念”是否被提及。例如，统计“人工智能”时，文档中出现的“人工智能技术”、“人工智能领域”都应该被计入。因此，直接进行子字符串匹配（即上面的方法）是更符合实际业务需求的。如果你确实需要更精确的“词”级别统计，那就必须引入中文分词（如jieba），将文本切分成词序列后再进行匹配，但这会显著增加复杂度并可能引入分词误差。

4.3 处理同义词与近义词

有时，需求方会给出一个概念的不同表达方式。例如，“人工智能”的同义词可能包括“AI”、“智能技术”、“机器学习”（广义上）。我们可以在预处理阶段，将同义词组映射到同一个主关键词上。

# 同义词映射字典 SYNONYM_GROUPS = { “人工智能”: [“AI”, “A.I.”, “智能技术”, “机器学习”, “深度学习”], # 注意：这里将机器学习映射到人工智能，业务上需要确认 “碳中和”: [“碳达峰”, “碳中和”, “净零排放”, “Net Zero”], } def expand_keywords_with_synonyms(base_keywords, synonym_map): “”“根据同义词映射，扩展基础关键词列表。 返回一个列表，其中包含所有需要搜索的词汇，以及一个从搜索词到主关键词的映射。 ”“” all_search_terms = [] term_to_main = {} for main_kw, synonyms in synonym_map.items(): all_search_terms.append(main_kw) term_to_main[main_kw] = main_kw for syn in synonyms: all_search_terms.append(syn) term_to_main[syn] = main_kw # 加上不在同义词组中的基础关键词 for kw in base_keywords: if kw not in term_to_main: all_search_terms.append(kw) term_to_main[kw] = kw return all_search_terms, term_to_main

在统计时，我们使用扩展后的all_search_terms列表进行匹配。但在最终汇总结果时，需要将同义词的计数合并到其主关键词下。

def aggregate_counts_by_main_keyword(detailed_counts, term_to_main_map): “”“将详细计数（按搜索词）聚合到主关键词上。”“” aggregated = {} for term, count in detailed_counts.items(): main_kw = term_to_main_map.get(term, term) # 获取主关键词，如果没有映射则用自身 aggregated[main_kw] = aggregated.get(main_kw, 0) + count return aggregated

5. 构建完整的批量处理流程

5.1 主程序骨架与逻辑循环

现在，我们将所有模块组合起来，形成完整的处理流程。

import os import fitz import pandas as pd from tqdm import tqdm import re from typing import List, Dict # —– 配置部分 —– PDF_FOLDER = “./上市公司年报” # 你的PDF文件夹路径 KEYWORD_FILE = “keywords.txt” # 关键词文件路径 OUTPUT_FILE = “关键词统计结果.xlsx” # 输出文件 USE_PDFPLUMBER_AS_BACKUP = True # 是否启用pdfplumber作为备用提取器 # —– 函数定义 (将前面章节的extract_text_with_fitz, load_keywords, build_regex_patterns, count_keywords_in_text等函数放在这里) —– def main(): # 1. 加载关键词并构建正则模式 base_keywords = load_keywords(KEYWORD_FILE) # (可选) 如果需要同义词处理，在这里调用 expand_keywords_with_synonyms # all_search_terms, term_to_main = expand_keywords_with_synonyms(base_keywords, SYNONYM_GROUPS) # keyword_patterns = build_regex_patterns(all_search_terms, ignore_case=True) keyword_patterns = build_regex_patterns(base_keywords, ignore_case=True) # 2. 获取所有PDF文件 pdf_files = [f for f in os.listdir(PDF_FOLDER) if f.lower().endswith(‘.pdf’)] if not pdf_files: print(f“在目录 {PDF_FOLDER} 中未找到PDF文件。”) return # 3. 初始化结果存储 # 结果是一个列表，每个元素是一个字典，记录一个文件的结果 results = [] # 4. 遍历处理每个PDF文件 for pdf_file in tqdm(pdf_files, desc=“处理PDF文件中”): pdf_path = os.path.join(PDF_FOLDER, pdf_file) file_result = {“文件名”: pdf_file} try: # 优先使用PyMuPDF提取文本 text = extract_text_with_fitz(pdf_path) # 备用策略：如果提取的文本太短，尝试pdfplumber if USE_PDFPLUMBER_AS_BACKUP and len(text) < 100: import pdfplumber text_backup = extract_text_with_pdfplumber(pdf_path) if len(text_backup) > len(text): text = text_backup # print(f“{pdf_file} 使用pdfplumber重新提取。”) if not text.strip(): file_result[“状态”] = “无文本内容或提取失败” # 为每个关键词赋值为0或NaN for kw, _ in keyword_patterns: file_result[kw] = 0 else: file_result[“状态”] = “成功” # 统计关键词 counts = count_keywords_in_text(text, keyword_patterns) for kw, count in counts.items(): file_result[kw] = count # (可选) 计算总词数（以字符数近似） file_result[“文档总字符数”] = len(text) except Exception as e: file_result[“状态”] = f“处理异常: {e}” for kw, _ in keyword_patterns: file_result[kw] = None # 用None表示该文件此关键词计数失败 results.append(file_result) # 5. 转换为DataFrame并保存 df_results = pd.DataFrame(results) # 调整列顺序，将‘文件名’、‘状态’等列放在前面 cols = [‘文件名’, ‘状态’] + [kw for kw, _ in keyword_patterns] if ‘文档总字符数’ in df_results.columns: cols.append(‘文档总字符数’) df_results = df_results[cols] # 保存到Excel df_results.to_excel(OUTPUT_FILE, index=False) print(f“处理完成！结果已保存至：{OUTPUT_FILE}”) # 6. (可选) 打印简要汇总 print(“\n关键词出现总次数汇总：”) for kw, _ in keyword_patterns: total = df_results[kw].sum() print(f“{kw}: {total}”) if __name__ == “__main__”: main()

5.2 输出结果的优化与增强

基础的输出是一个Excel文件，包含每个文件的关键词计数。我们可以进一步加工这个结果，使其更具分析价值。

1. 计算关键词密度：在文本分析中，关键词出现的绝对次数受文档长度影响很大。计算密度（关键词出现次数 / 文档总词数 * 10000，即每万词出现次数）能进行更公平的跨文档比较。我们在提取文本后可以估算总词数（简单用中文字符数，或使用jieba分词后计算词数）。

2. 生成可视化图表：使用matplotlib或seaborn直接生成图表。

   import matplotlib.pyplot as plt # 假设我们想查看‘数字化转型’在所有文档中的出现次数分布 df_results[‘数字化转型’].plot(kind=‘hist’, bins=20) plt.title(‘“数字化转型”关键词出现次数分布’) plt.xlabel(‘出现次数’) plt.ylabel(‘公司数量’) plt.savefig(‘数字化转型分布.png’)

3. 按行业分组统计：如果我们的文件名包含了公司代码或名称，可以额外准备一个公司-行业对照表，通过pandas的merge操作，将结果与行业信息合并，然后按行业进行分组求和或求平均，分析不同行业对关键词的关注度差异。

6. 常见问题、性能优化与避坑指南

6.1 典型问题与解决方案

在实际运行中，你几乎一定会遇到下面这些问题：

• 问题一：提取出的中文是乱码或“□□□”

  • 原因：PDF内部使用了非常用或未嵌入的字体，导致库无法正确解码。
  • 解决方案：
    1. 切换提取库：这是首选方案。如前所述，用pdfplumber替换PyMuPDF尝试，反之亦然。
    2. 尝试OCR：对于扫描件图像PDF，上述库都无法提取文字。必须使用OCR技术。可以集成pytesseract（调用Tesseract-OCR引擎）或使用付费的OCR API（如百度OCR、阿里云OCR）。这属于另一个复杂主题，需要先将PDF页面转换为图片，再对图片进行OCR识别。
    3. 检查系统字体：极少数情况下，确保系统安装了常见的中文字体（如宋体、黑体）可能有助于某些库的渲染。

• 问题二：程序处理某些大文件时内存占用过高或崩溃

  • 原因：一次性将整个PDF的所有文本读入内存，对于超大型文档（如数百页的详细年报）可能压力很大。
  • 解决方案：采用流式处理。逐页读取、提取、统计，然后释放该页资源。

    def count_keywords_by_page(pdf_path, keyword_patterns): “”“逐页处理PDF，降低内存峰值。”“” doc = fitz.open(pdf_path) total_counts = {kw: 0 for kw, _ in keyword_patterns} for page in doc: text = page.get_text(“text”) if text: page_counts = count_keywords_in_text(text, keyword_patterns) for kw in total_counts: total_counts[kw] += page_counts.get(kw, 0) # 可选：每处理完一页，可以做一些清理，但fitz会自动管理页面对象 doc.close() return total_counts

• 问题三：匹配结果不准确，漏掉了某些变形词

  • 原因：正则表达式不够灵活。例如，“AI”可能写作“A.I.”（带点），“数字化转型”可能被写成“数字化 转型”（中间有空格或换行）。
  • 解决方案：设计更健壮的正则表达式。
    • 对于空格和换行：使用\s*匹配零个或多个空白字符。r‘数字\s*化\s*转型’。
    • 对于标点变体：在模式中明确列出可能的分隔符。r‘A[\.]?I’可以匹配“AI”和“A.I.”。
    • 终极方案：如果关键词列表很长且变形复杂，可以考虑使用更高级的文本相似度算法（如模糊匹配fuzzywuzzy库），但计算成本会大幅增加。对于上市公司文档，术语相对规范，精心设计的正则通常足够。

6.2 性能优化技巧

当需要处理成千上万个PDF时，效率至关重要。

1. 并行处理：使用concurrent.futures模块的ThreadPoolExecutor或ProcessPoolExecutor。由于PDF解析主要是I/O和CPU密集型任务，使用多进程（ProcessPoolExecutor）通常能更好地利用多核CPU。

   from concurrent.futures import ProcessPoolExecutor, as_completed def process_single_file(pdf_path, keyword_patterns): # 封装单个文件的处理逻辑，返回结果字典 # … (代码同上) … return file_result def main_parallel(): # … 加载关键词等准备工作 … pdf_paths = [os.path.join(PDF_FOLDER, f) for f in pdf_files] results = [] # 根据CPU核心数设置最大进程数，通常为 os.cpu_count() with ProcessPoolExecutor(max_workers=4) as executor: # 提交所有任务 future_to_file = {executor.submit(process_single_file, path, keyword_patterns): path for path in pdf_paths} # 使用tqdm显示进度 for future in tqdm(as_completed(future_to_file), total=len(pdf_paths), desc=“并行处理中”): try: result = future.result() results.append(result) except Exception as exc: pdf_path = future_to_file[future] print(f‘文件 {pdf_path} 生成异常: {exc}’) results.append({“文件名”: os.path.basename(pdf_path), “状态”: f“异常: {exc}”}) # … 后续保存结果 …

   注意：并行化时，要确保处理函数是自包含的，并且传递的参数是可序列化的（pickleable）。PyMuPDF的fitz.Document对象不能直接跨进程传递，必须在每个进程内部重新打开文件。

2. 缓存与增量处理：如果关键词列表不变，而PDF文件夹会不断增加新文件，可以设计一个增量处理机制。记录已处理文件的哈希值或修改时间，只处理新增或修改过的文件，将结果合并到总表中。

6.3 安全与合规性提醒

最后，必须强调一点，这个工具非常强大，但务必在合法合规的范围内使用。

• 版权与数据安全：你处理的PDF文档必须是你有权使用的。上市公司公开报告（如年报）通常可以，但内部文件、受版权保护的研报等则不行。
• 隐私信息：脚本处理过程中，提取的文本内容可能包含敏感信息。确保你的工作环境和输出结果得到妥善保护，避免数据泄露。
• 结果解读：自动化统计的结果是一个很好的起点和量化工具，但绝不能替代深入的人工阅读和分析。词频高不一定代表重要性高，需要结合上下文进行判断。例如，公司可能在风险提示部分多次提及“供应链风险”，这反映的是担忧而非战略重点。

这个项目从简单的需求出发，但深入下去，可以扩展到文档分类、情感分析、知识图谱构建等更广阔的文本挖掘领域。它完美体现了Python自动化处理办公任务的效率优势，是数据分析师、行业研究员和投资分析人士工具箱里的一件利器。