oneline用wget镜像网站
发布时间：2014-09-05 15:22:07作者：知识屋
oneline用wget镜像网站
最近收藏了一些老站点，是那些很久不更新，但是又有很多资源的站。
光是收藏感觉还不靠谱，谁知道哪天她们就突然消失了，所以决定镜像一下。
www.zhishiwu.com
比如我要镜像www.oschina.net，oneline：
1
wget -c -m -k -np -p -w 10 --random-wait --waitretry=5 http://www.oschina.net/
解释一下：
-c --continue的意思，简单来说就是续传
-m --mirror的意思，专门用来做镜像用的
-k --convert-links，转换镜像中的链接，把可能的链接都转换成本地相对链接，方便本地浏览 www.zhishiwu.com
-np --no-parent，不处理父亲目录
-p --page-requisites，wget会把显示一个html页面的所有元素都下载下来，包括图片、声音、样式表等
-w --wait，在做镜像的时候推荐加上--wait，这样相邻两次请求之间会隔上指定的时间，不会对服务器造成太多的负担
--random-wait， 和--wait配合使用，可以将请求间的等待时间一定范围内随机话；也可以避过站点的日志分析
--waitretry，当一个请求失败时，wget会再次请求，直到到达指定的次数
如果从浏览器中可以访问某个站点，但是在wget的时候返回“HTTP request sent, awaiting response... 403 Forbidden”，此时需要用-U(--user-agent)来改变wget的"User-Agent"字段。
可以用nc来获取浏览器的信息，执行下面的命令：
1
nc -l 8000
打开浏览器（我用的是chrome），访问http://localhost:8000，查看nc的输出：
1
GET / HTTP/1.1
2
Host: localhost:8000
3
Connection: keep-alive
4
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.101 Safari/537.11
5
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
6
Accept-Encoding: gzip,deflate,sdch
7
Accept-Language: en-US,en;q=0.8
8
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.3
User-Agent：字段就是我们要的。
所以最终的命令是：
1
wget -U "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.101 Safari/537.11" -c -m -k -np -p -w 10 --random-wait --waitretry=5 http://www.oschina.net/
大功告成，接下来是漫长的等待……
（免责声明：文章内容如涉及作品内容、版权和其它问题，请及时与我们联系，我们将在第一时间删除内容，文章内容仅供参考）
相关知识
-
linux一键安装web环境全攻略 在linux系统中怎么一键安装web环境方法
-
Linux网络基本网络配置方法介绍 如何配置Linux系统的网络方法
-
Linux下DNS服务器搭建详解 Linux下搭建DNS服务器和配置文件
-
对Linux进行详细的性能监控的方法 Linux 系统性能监控命令详解
-
linux系统root密码忘了怎么办 linux忘记root密码后找回密码的方法
-
Linux基本命令有哪些 Linux系统常用操作命令有哪些
-
Linux必学的网络操作命令 linux网络操作相关命令汇总
-
linux系统从入侵到提权的详细过程 linux入侵提权服务器方法技巧
-
linux系统怎么用命令切换用户登录 Linux切换用户的命令是什么
-
在linux中添加普通新用户登录 如何在Linux中添加一个新的用户
软件推荐
更多 >
-
1
专为国人订制！Linux Deepin新版发布2012-07-10
-
2
CentOS 6.3安装(详细图解教程)
-
3
Linux怎么查看网卡驱动?Linux下查看网卡的驱动程序
-
4
centos修改主机名命令
-
5
Ubuntu或UbuntuKyKin14.04Unity桌面风格与Gnome桌面风格的切换
-
6
FEDORA 17中设置TIGERVNC远程访问
-
7
StartOS 5.0相关介绍，新型的Linux系统！
-
8
解决vSphere Client登录linux版vCenter失败
-
9
LINUX最新提权 Exploits Linux Kernel <= 2.6.37
-
10
nginx在网站中的7层转发功能
