使用selenium从CNAS网站解析实验室信息
#!/usr/bin/env python3
-- coding: utf-8 --
“”"
CNAS查询结果保存脚本
使用说明：
- 脚本将自动打开Chrome浏览器并访问CNAS查询网站
- 请您在浏览器中手动输入搜索内容并提交查询
- 搜索完成后，请您手动点击要查看的链接，打开弹出网页
- 脚本将自动检测新窗口，并将其内容保存为xlsx文件
- 保存完成后，按回车键退出程序
依赖安装：
pip install selenium webdriver-manager pandas beautifulsoup4 openpyxl
“”"
尝试导入必要的模块
try:
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
import pandas as pd
from bs4 import BeautifulSoup
import datetime
import time
import re
except ModuleNotFoundError as e:
print(f"错误: 未找到模块 - {e}")
print(“请先安装依赖: pip install selenium webdriver-manager pandas beautifulsoup4 openpyxl”)
print(“然后再次运行脚本”)
exit(1)
设置Chrome选项
CHROME_OPTIONS = Options()
CHROME_OPTIONS.add_argument(“–start-maximized”)
CHROME_OPTIONS.add_argument(“–disable-blink-features=AutomationControlled”)
CHROME_OPTIONS.add_argument(
“user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36”)
保存内容为xlsx文件的函数
def save_to_excel(driver, window_handle):
“”“将网页内容保存为xlsx文件，包括所有表格和完整页面文本”“”
# 切换到目标窗口
driver.switch_to.window(window_handle)
print(f"\n=== 处理窗口: {driver.title} ===")
# 获取页面内容 page_content = driver.page_source # 解析页面 soup = BeautifulSoup(page_content, "html.parser") # 提取页面标题 page_title = soup.title.string.strip() if soup.title else "无标题" print(f"页面标题: {page_title}") # 提取页面中的表格 tables = soup.find_all("table") print(f"找到 {len(tables)} 个表格") # 提取完整页面文本 text_content = soup.get_text() cleaned_text = re.sub(r'\s+', ' ', text_content).strip() print(f"页面文本长度: {len(cleaned_text)} 字符") # 生成文件名 timestamp = datetime.datetime.now().strftime("%Y%m%d_%H%M%S") filename = f"cnas_result_{timestamp}.xlsx" # 创建Excel写入器 with pd.ExcelWriter(filename, engine="openpyxl") as writer: # 1. 保存完整页面文本到专门的工作表 text_df = pd.DataFrame({ "页面标题": [page_title], "页面完整内容": [cleaned_text] }) text_df.to_excel(writer, sheet_name="页面文本", index=False) print("已保存完整页面文本到工作表: 页面文本") # 2. 保存所有表格到不同的工作表 for i, table in enumerate(tables): try: # 使用pandas读取表格 df = pd.read_html(str(table))[0] # 设置工作表名称 sheet_name = f"表格{i + 1}" if len(sheet_name) > 31: # Excel工作表名称不能超过31个字符 sheet_name = sheet_name[:31] # 保存表格到工作表 df.to_excel(writer, sheet_name=sheet_name, index=False) print(f"已保存第 {i + 1} 个表格到工作表: {sheet_name}") except Exception as e: print(f"处理第 {i + 1} 个表格失败: {e}") # 3. 保存页面元信息 meta_df = pd.DataFrame({ "项目": ["页面标题", "URL", "保存时间", "表格数量", "页面文本长度"], "值": [ page_title, driver.current_url, datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S"), len(tables), len(cleaned_text) ] }) meta_df.to_excel(writer, sheet_name="元信息", index=False) print("已保存页面元信息到工作表: 元信息") print(f"\n所有内容已成功保存到文件: {filename}") print(f"文件包含: 1个页面文本工作表 + {len(tables)}个表格工作表 + 1个元信息工作表") return filename主程序
def main():
“”“主函数”“”
print(“CNAS查询结果保存脚本”)
print(“=” * 50)
print(“使用步骤:”)
print(“1. 脚本将自动打开Chrome浏览器并访问CNAS查询网站”)
print(“2. 请您在浏览器中手动输入搜索内容并提交查询”)
print(“3. 搜索完成后，请您手动点击要查看的链接，打开弹出网页”)
print(“4. 脚本将自动检测新窗口，并将其内容保存为xlsx文件”)
print(“5. 保存完成后，按回车键退出程序”)
print(“=” * 50)
# 初始化WebDriver print("正在初始化浏览器...") service = Service(ChromeDriverManager().install()) driver = webdriver.Chrome(service=service, options=CHROME_OPTIONS) # 保存原始窗口句柄 original_window = driver.current_window_handle try: # 访问目标URL url = "https://www.cnas.org.cn/sfcxxt/index.html?tpl=/LAS_FQ/publish/externalQueryL1.jsp&name=%E8%8E%B7%E8%AE%A4%E5%8F%AF%E6%A3%80%E6%B5%8B%E5%92%8C%E6%A0%A1%E5%87%86%E5%AE%9E%E9%AA%8C%E5%AE%A4%E4%BF%A1%E6%81%AF%E6%9F%A5%E8%AF%A2" print(f"正在访问URL: {url}") driver.get(url) print("\n浏览器已打开，请您手动完成以下操作:") print("1. 在浏览器中输入搜索内容") print("2. 提交查询") print("3. 点击查询结果中的链接，打开弹出网页") print("\n脚本将持续监控新窗口的出现...") # 持续监控窗口变化 while True: # 获取当前所有窗口句柄 current_windows = driver.window_handles # 如果发现新窗口 if len(current_windows) > 1: # 找到新窗口 new_window = None for window in current_windows: if window != original_window: new_window = window break if new_window: print(f"\n发现新窗口，正在保存内容...") # 保存新窗口内容 save_to_excel(driver, new_window) # 关闭新窗口 driver.close() # 切换回原始窗口 driver.switch_to.window(original_window) # 询问是否继续监控 print("\n是否继续监控新窗口？(y/n): ") choice = input().strip().lower() if choice != 'y': break # 每2秒检查一次 time.sleep(2) print("\n程序执行完成！") except Exception as e: print(f"\n发生错误: {e}") finally: # 关闭浏览器 input("\n按回车键关闭浏览器并退出...") driver.quit() print("浏览器已关闭")ifname== “main”:
main()