php简单去除大型文本重复
发布时间：2014-09-05 11:12:52作者：知识屋
error_reporting(0);
@ini_set('memory_limit','-1');
set_time_limit(0);
echo" 去除文本重复工具"."/r/n/r/n";
echo"/n"."输入要整理的文件:"."/n";
$dic=trim(fgets(STDIN));
/*while (!feof($dic)){
$file[]=stream_get_line($fp,65535,"/r/n");
}
*/
$file=file($dic);
$array=preg_replace('/($/s*$)|(^/s*^)/m','',$file); //消除空行
$new_array=array_values(array_unique($array));//消除重复行
$new_filename="new_". basename($dic);
if(file_put_contents("$new_filename",join("/r/n",$new_array))){
$num=count($file);
$new_num=count($new_array);
$counts=$num-$new_num;
$files=dirname(__FILE__).DIRECTORY_SEPARATOR.$new_filename;
echo<<<INFO
+----------------------------------------------+
| [+] 去除重复完毕! www.zhishiwu.com |
| [+] 整理后的文件为:$files |
| [+] 原始字典数量:$num 行 |
| [+] 整理后为:$new_num 行 |
| [+] 共替换了$counts 行 |
+----------------------------------------------+
INFO;
}
else{
echo"------------------------------------------"."/r/n";
echo"[*] 错误!"."/r/n/r/n";
echo"[*] 找不到文件!请检查输入路径是否存在!"."/r/n";
echo"------------------------------------------"."/r/n";
exit();
}
?>
（免责声明：文章内容如涉及作品内容、版权和其它问题，请及时与我们联系，我们将在第一时间删除内容，文章内容仅供参考）
相关知识
-
如何对PHP文件进行加密方法 PHP实现加密的几种方式介绍
-
php生成圆角图片的方法 电脑中php怎么生成圆角图片教程
-
用PHP构建一个留言本方法步骤 php怎么实现留言板功能
-
php中三元运算符用法 php中的三元运算符使用说明
-
php文件如何怎么打开方式介绍 php文件用什么打开方法
-
PHP怎么插入数据库方法步骤 php编程怎么导入数据库教程
-
如何安装PHPstorm并配置方法教程 phpstorm安装后要进行哪些配置
-
PHP 获取远程文件大小的3种解决方法 如何用PHP获取远程大文件的大小
-
20个实用PHP实例代码 php接口开发实例代码详细介绍
-
如何架设PHP服务器方法步骤 怎么搭建php服务器简单教程
软件推荐
更多 >
-
1
-
2
php MYSQL数据操作类
-
3
PHP单元测试利器：PHPUNIT初探
-
4
php .htaccess 伪静态
-
5
PHP整合PayPal支付
-
6
PHP与ASP比较：这还值得讨论吗？
-
7
PHP与XML结合的网站编程
-
8
Warning: ftp_put() 问题的解决办法之被动模式
-
9
PHP Socket 编程
-
10
PHP性能优化总结
