当前位置：首页 > news >正文

网站离线下载终极指南：3 步用 Python 把整个网站完整搬回本地

news 2026/8/15 1:55:33

网站离线下载终极指南：3 步用 Python 把整个网站完整搬回本地

【免费下载链接】WebSite-DownloaderA website downloader written with Python项目地址: https://gitcode.com/gh_mirrors/web/WebSite-Downloader

收藏了半年的技术教程，某天点开只剩 404；出差路上想翻官网文档，却没网可用——如果你也有过这种"重要网页说没就没"的焦虑，那么用 Python 写成的网站离线下载工具WebSite-Downloader，正好能帮你把整个网站完整搬回本地。它是 GitHub 加速计划下的一个单文件项目，核心代码就一个WebSite-Downloader.py，却能把 HTML、CSS、JS、图片、字体全部下载并自动重写链接，让你离线也能原样浏览。

一句话看懂：它是什么，凭什么比"存书签"强

WebSite-Downloader 是一个用 Python 编写的网站下载器：给它一个网址，它会像蜘蛛一样顺着页面里的链接爬遍整个站点，把网页和资源全存到本地文件夹，再自动把网页里的绝对链接改写成相对路径，让离线打开依然结构完整。

和传统做法对比一下，你就知道它的价值：

保存方式	能不能保留内容	能不能离线看	结构是否完整
浏览器书签	只存链接	不能	—
截图 / 复制粘贴	单页快照	能	丢样式丢交互
WebSite-Downloader	整站下载	能	完整还原

核心源码只有一个文件：WebSite-Downloader.py 的Manager（管理调度）和Spider（爬取下载）两个类，结构清晰，特别适合新手边用边学。

第 1 步：先装好运行环境，把项目拉到本地

只要你的电脑有 Python 3.6 或更高版本就够用，它不依赖任何第三方库，全部用 Python 自带模块实现，装完即用。打开终端执行：

git clone https://gitcode.com/gh_mirrors/web/WebSite-Downloader cd WebSite-Downloader

这一步在做什么：把项目源码克隆到本地。因为项目零依赖，所以省掉了pip install的环节，这也是它"5 分钟上手"的底气所在。

第 2 步：改一行代码，指向你想下载的网站

打开WebSite-Downloader.py，翻到文件末尾，你会看到两行示例代码：

if __name__ == '__main__': manager = Manager('https://www.example.com') manager.start()

把'https://www.example.com'换成你真正想下载的网址，比如：

manager = Manager('https://www.whsw.net/')

为什么这么写：Manager是爬虫的"总指挥"，它负责把链接派发给 8 个爬虫线程、去重、判断什么时候结束；start()就是按下启动键。你只需要关心这两行，剩下的事全交给它。

第 3 步：运行脚本，坐等完整网站落地

保存后，在终端运行：

python WebSite-Downloader.py

控制台会实时打印进度，所有文件会保存到以域名命名的文件夹里，比如whsw-site/www.whsw.net/。下载完成后，用浏览器打开里面的index.html——你会发现链接、图片、样式全部本地化了，和在线访问几乎一模一样。

这一步在做什么：程序会顺着首页链接递归抓取同域名下的所有页面，解析 HTML 和 CSS 里的资源引用，自动跳过外链和重复链接，60 秒内没有新链接出现就自动收尾。整个流程你不需要再敲任何命令。

下载太慢怎么办：调高并发线程数提速

应用场景提问：网站页面很多，8 个线程爬起来像乌龟爬，怎么加速？

打开WebSite-Downloader.py第 88 行，找到这段代码：

# 默认开启 8 个子线程 for i in range(8): self.spiders.append(Spider(home_dir, home_url, self.link_queue, scheme, top_domain, max_tries))

把range(8)改成range(16)，线程数翻倍，下载速度通常也会明显加快。但注意别设太高，比如 64 甚至 128，否则会给目标服务器造成过大压力，反而容易被封 IP。建议从 16 开始试，视网络状况再微调。

想保存更多格式：扩展文件类型白名单

应用场景提问：网站里有特殊的文件类型（比如.webp图片、.psd素材）没被下载，怎么办？

在Spider类的__init__方法里有一个other_suffixes集合，里面列了默认支持的文件格式：js、jpg、png、pdf、zip、mp3、mp4等几十种。只要把新后缀加进去即可，例如：

self.other_suffixes.add('webp')

为什么这么写：爬虫靠后缀判断"这是个网页还是资源文件"。网页走解析流程，资源文件直接下载。你在白名单里加一个后缀，等于告诉爬虫"这类文件也给我直接搬回家"。

视频压缩包下不动？延长大文件下载超时

应用场景提问：网站里有几十 MB 的视频或压缩包，下载到一半就超时失败，怎么办？

代码里其实已经帮你留了后手：media_suffixes集合（包含mp3、mp4、pdf、zip、rar等）专门给大文件开"绿色通道"——普通请求超时是 20 秒，遇到这些媒体文件会自动放宽到 600 秒，避免大文件半途夭折。如果你的网站里有更特殊的超大文件类型，把它加进media_suffixes就能享受同样的长超时待遇。