发表时间:2015-05-27来源:网络
今天遇到个问题,写了个程序从网上抓了150000个图片的地址,存到了txt文档中,每行存了一个图片的地址。现在想将图片下载下来,保存到本机,但是下载的速度不是很快,所以用到了php在linux下面实现多线程,首先将txt文件拆成了10个大小相等的文件,每个文件存储了15000条图片的地址,同时开启10个进行运行保存图片的程序,这样的时间可能就只是原来的1/10。下面将程序贴出来 ,大家指导一下有没有更好的方法。
01
71 function for_save_img($num)
02
72 {
03
73 for($i = 0; $i <= $num; $i++)
04
74 {
05
75 system("/usr/local/bin/php index.php crawl save_img {$i} & > /tmp/null");
06
76 }
07
77 }
08
78
09
79 function save_img($num)
10
80 {
11
81 static $i = 0;
12
82 //把文件读成一个数组
13
83 $img_urllists = ROOTDIRPATH . "/static/image_{$num}.txt";
14
84 $arr_img_url = file($img_urllists);
15
85 foreach($arr_img_url as $imageurl)
16
86 {
17
87 $imageurl = trim($imageurl);
18
88 echo $imageurl;
19
89 $this->benchmark->mark("code_start");
20
90 //存图片
21
91 $final_imageurl = "http://www.****.com/upload/UploadFile/" . $imageurl;
22
92 $img_open = file_get_contents($final_imageurl);
23
93 $ret = file_put_contents(ROOTDIRPATH . '/static/uploadimg/' . $imageurl, $img_open);
24
94 if($ret)
25
95 {
26
96 echo "Success......";
27
97 }
28
98 $this->benchmark->mark('code_end');
29
99
30
100 echo $this->benchmark->elapsed_time('code_start', 'code_end');
31
101 }
32
102 }
33
34
35
该程序为ci框架下 在linux的shell下 网站的根目录运行 php index.php crawl for_save_img
36
大家有好的建议欢迎提出 虚心接受
作者:岳冠群
CI框架连接数据库配置操作以及多数据库操作
asp 简单读取数据表并列出来 ASP如何快速从数据库读取大量数据
C语言关键字及其解释介绍 C语言32个关键字详解
C语言中sizeof是什么意思 c语言里sizeof怎样用法详解
PHP中的魔术方法 :__construct, __destruct , __call, __callStatic,__get, __set, __isset, __unset , __sleep,
将视频设置为Android手机开机动画的教程
PHP中的(++i)前缀自增 和 (i++)后缀自增
最简单的asp登陆界面代码 asp登陆界面源代码详细介绍
常用dos命令及语法
PHP中include和require区别之我见
康养洪雅客户端下载v4.7.4 安卓最新版
57.33MB |资讯阅读
掌中聊城手机客户端(更名新聊城)下载v8.0.2 安卓官方版
39.84MB |资讯阅读
书香金溪客户端下载v3.1.2 安卓版
77.76MB |资讯阅读
靖安发布新闻客户端下载v3.1.2 安卓最新版
77.69M |资讯阅读
115管理app下载v36.0.3 安卓版
76.82MB |商务办公
任城融媒体中心下载v2.0.19 安卓官方版
97.83M |资讯阅读
亨特物流港最新版下载v3.1.4 安卓版
17.55MB |生活服务
建筑工匠客户端下载v7.6.3 安卓版
82.32MB |学习教育
2014-09-05
2022-03-20
2022-03-21
2022-03-24
2014-09-05
2014-09-05
2015-07-05
2014-09-05
2022-03-21
2014-09-05