当前位置：首页 > news >正文

Python实现网站爬虫与倒排索引搜索引擎

news 2026/7/19 1:25:48

1. 项目概述：构建一个网站搜索工具

这个课程项目要求我们开发一个能够爬取网站、建立倒排索引并支持关键词搜索的命令行工具。核心目标是让学生深入理解搜索引擎的工作原理，掌握网络爬虫、索引构建和查询处理的实际开发技能。

项目选用了专门用于学习网络爬取的quotes.toscrape.com作为目标网站，该站点包含大量名人名言。我们需要实现三个核心功能：爬取网站页面、构建单词倒排索引、支持单/多关键词搜索。整个工具使用Python开发，推荐使用Requests库发送HTTP请求，BeautifulSoup解析HTML页面。

提示：项目特别强调了对目标网站的友好访问策略，要求连续请求之间至少间隔6秒，这是实际爬虫开发中必须遵守的基本道德准则。

2. 核心功能设计与实现思路

2.1 系统架构设计

整个搜索工具采用经典的三个阶段架构：

爬取阶段：递归访问网站所有页面，提取文本内容
索引阶段：构建单词到页面位置的倒排索引
查询阶段：处理用户输入的关键词，返回相关页面

这种分层设计使得每个阶段可以独立开发和测试，也便于后续功能扩展。

2.2 关键技术选型解析

选择Python作为开发语言主要基于以下考虑：

丰富的网络爬虫生态（Requests、BeautifulSoup）
内置数据结构适合快速开发倒排索引
跨平台兼容性好，便于部署

Requests库相比Python内置的urllib提供了更简洁的API和更好的错误处理。BeautifulSoup4则是目前最成熟的HTML解析库，支持多种解析器后端。

对于索引存储，项目建议使用简单的文件存储而非数据库，这降低了系统复杂度，适合教学场景。实际生产环境中可能会考虑使用Elasticsearch等专业搜索引擎。

3. 详细实现步骤

3.1 网站爬取实现

爬取功能的核心代码如下：

import requests from bs4 import BeautifulSoup import time from urllib.parse import urljoin def crawl_site(base_url, delay=6): visited = set() to_visit = {base_url} index = {} while to_visit: url = to_visit.pop() try: response = requests.get(url) response.raise_for_status() soup = BeautifulSoup(response.text, 'html.parser') # 提取页面文本内容 text = extract_page_text(soup) index[url] = text # 查找新链接 for link in soup.find_all('a', href=True): absolute_url = urljoin(base_url, link['href']) if absolute_url.startswith(base_url) and absolute_url not in visited: to_visit.add(absolute_url) visited.add(url) time.sleep(delay) # 遵守礼貌策略 except Exception as e: print(f"Error crawling {url}: {e}") return index

注意：实际实现中需要处理各种异常情况，如网络错误、HTML解析失败等，确保爬虫的健壮性。

3.2 倒排索引构建

倒排索引是搜索引擎的核心数据结构，将单词映射到包含它的文档列表。实现要点：

文本预处理：分词、转小写、去除停用词
索引结构：使用Python字典存储{单词: {url: 出现次数}}
持久化存储：使用json或pickle序列化索引

from collections import defaultdict import re def build_inverted_index(pages): index = defaultdict(dict) for url, text in pages.items(): words = re.findall(r'\w+', text.lower()) # 简单分词 for word in words: if word not in STOP_WORDS: # 过滤停用词 index[word][url] = index[word].get(url, 0) + 1 return index

3.3 查询处理实现

查询功能需要支持：

单关键词查询：直接查找倒排索引
多关键词查询：求各关键词结果集的交集
结果排序：按相关性评分（如TF-IDF）

def search(index, query): terms = query.lower().split() if not terms: return [] # 获取每个term的结果 results = [] for term in terms: if term in index: results.append(set(index[term].keys())) # 多关键词时取交集 if len(results) > 1: final = set.intersection(*results) else: final = results[0] if results else set() # 简单排序：按总出现次数 return sorted(final, key=lambda url: sum(index[term][url] for term in terms), reverse=True)