php file_get_contents数据采集与常用见问题解决

在批量的数据采集在php中很少会使用file_get_contents函数来操作,但是如果是小量的我们可以使用file_get_contents函数操作,因为它不但好用而且简单易学,下面我来介绍file_get_contents用法与使用过程中的问题解决办法。

先来看问题,file_get_contents不能获取带端口的网址,例如如下代码:

file_get_contents('http://localhost:12345');

没有任何获取,解决方法是:关闭selinux

1 永久方法 – 需要重启服务器

修改/etc/selinux/config文件中设置SELINUX=disabled ，然后重启服务器。

2 临时方法 – 设置系统参数

使用命令setenforce 0附：

setenforce 1 设置SELinux 成为enforcing模式

setenforce 0 设置SELinux 成为permissive模式

file_get_contents超时,代码如下:

1. function _file_get_contents($url) 
2. { 
3.   $context = stream_context_create(array( 
4.      'http' => array( 
5.       'timeout' => 180 //超时时间，单位为秒 
6.      )  
7.   ));   
8.   return @file_get_contents($url, 0, $context); 
9. } 

好了上面的问题得到解决之后我们可以开始采集了,代码如下:

1. <?php  
2. //全国，判断条件是$REQUEST_URI是否含有html  
3. if (!strpos($_SERVER["REQUEST_URI"],".html"))  
4. {  
5. $page="http://qq.ip138.com/weather/";  
6. $html = file_get_contents($page,'r');  
7. $pattern="/<B>全国主要城市、县当天和未来五天天气趋势预报在线查询</B>(.*?)<center style="padding:3px">/si";  
8. //正则匹配之间的html  
9. preg_match($pattern,$html,$pg);  
10. echo "";  
11. //正则替换远程地址为本地地址  
12. $p=preg_replace('//weather/(w+)/index.htm/', 'tq.php/$1.html', $pg[1]);  
13. echo $p;  
14. }  
15. //省，判断条件是$REQUEST_URI是否含有？  
16. else if(!strpos($_SERVER["REQUEST_URI"],"?")){  
17. //yoyo推荐的使用分割获得数据，这里是获得省份名称  
18. $province=explode("/",$_SERVER["REQUEST_URI"]);  
19. $province=explode(".",$province[count($province)-1]);  
20. $province=$province[0];  
21. //被注释掉的是我自己写出来的正则，感觉写的不好，但效果等同上面  
22. //preg_match('/[^/]+[.(html)]$/',$_SERVER["REQUEST_URI"],$pro);  
23. //$province=preg_replace('/.html/','',$pro[0]);  
24. $page="http://qq.ip138.com/weather/".$province."/index.htm";  
25. //获取html数据之前先尝试打开页面，防止恶意输入地址导致出错  
26. if (!@fopen($page, "r")) {  
27. die("对不起，该地址不存在!<a href=javascript：history.back(1)>点击这里返回</a>");  
28. exit(0);  
29. }  
30. $html = file_get_contents($page,'r');  
31. $pattern="/五天天气趋势预报</B>(.*?)请输入输入市/si";  
32. preg_match($pattern,$html,$pg);  
33. echo "";  
34. //正则替换，获取省份，城市  
35. $p=preg_replace('//weather/(w+)/(w+).htm/', '$2.html?pro=$1', $pg[1]);  
36. echo $p;  
37. }  
38. else {  
39. //市，通过get传递省份  
40. $pro=$_REQUEST['pro'];  
41. $city=explode("/",$_SERVER["REQUEST_URI"]);  
42. $city=explode(".",$city[count($city)-1]);  
43. $city=$city[0];  
44. //preg_match('/[^/]+[.(html)]+[?]/',$_SERVER["REQUEST_URI"],$cit);  
45. //$city=preg_replace('/.html?/','',$cit[0]);  
46. $page="http://qq.ip138.com/weather/".$pro."/".$city.".htm";  
47. if (!@fopen($page, "r")) {  
48. die("对不起，该地址不存在!<a href=javascript：history.back(1)>点击这里返回</a>");  
49. exit(0);  
50. }  
51. $html = file_get_contents($page,'r');  
52. $pattern="/五天天气趋势预报</B>(.*?)请输入输入市/si";  
53. preg_match($pattern,$html,$pg);  
54. echo "";  
55. //获取真实的图片地址  
56. $p=preg_replace('//image//', 'http://qq.ip138.com/image/', $pg[1]);  
57. echo $p;  
58. }  
59. ?> 

如果上面办法无法采集到数据我们可以使用以下代码来处理,代码如下:

1. <?php  
2. $url = "http://www.phpfensi.com";  
3. $ch = curl_init();  
4. $timeout = 5;  
5. curl_setopt($ch, CURLOPT_URL, $url);  
6. curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  
7. curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);  
8. //在需要用户检测的网页里需要增加下面两行  
9. //curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_ANY);  
10. //curl_setopt($ch, CURLOPT_USERPWD, US_NAME.":".US_PWD);  
11. $contents = curl_exec($ch);  
12. curl_close($ch);  
13. echo $contents;  
14. ?>