PHP爬虫的三种方法

叁歲伎倆 2023-01-07 10:16 86阅读 0赞

### **文章目录** ###

*  [PHP爬虫的三种方法][PHP]
 *  [1. get+file\_contents()][1. get_file_contents]
 *  [2. curl][]
 *  [3. Snoopy][]

# **PHP爬虫的三种方法** #

## **1. get+file\_contents()** ##

**定义:**

<table> 
 <tbody> 
  <tr> 
   <td style="border-color:#dddddd;vertical-align:middle;"><span style="color:rgba(0,0,0,.75);"><span style="color:#4f4f4f;">file_get_contents() 函数把整个文件读入一个字符串中。</span></span></td> 
  </tr> 
 </tbody> 
</table>

**语法:**

<table> 
 <tbody> 
  <tr> 
   <td style="border-color:#dddddd;vertical-align:middle;"><span style="color:rgba(0,0,0,.75);"><span style="color:#4f4f4f;">file_get_contents(path,include_path,context,start,max_length)</span></span></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <thead> 
  <tr> 
   <th style="vertical-align:middle;"><span style="color:rgba(0,0,0,.75);">参数</span></th> 
   <th style="vertical-align:middle;"><span style="color:rgba(0,0,0,.75);">描述</span></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="border-color:#dddddd;vertical-align:middle;"><span style="color:rgba(0,0,0,.75);"><span style="color:#4f4f4f;">path</span></span></td> 
   <td style="border-color:#dddddd;vertical-align:middle;"><span style="color:rgba(0,0,0,.75);"><span style="color:#4f4f4f;">必需。规定要读取的文件。</span></span></td> 
  </tr> 
  <tr> 
   <td style="border-color:#dddddd;vertical-align:middle;"><span style="color:rgba(0,0,0,.75);"><span style="color:#4f4f4f;">include_path</span></span></td> 
   <td style="border-color:#dddddd;vertical-align:middle;"><span style="color:rgba(0,0,0,.75);"><span style="color:#4f4f4f;">可选。如果也想在 include_path 中搜寻文件的话，可以将该参数设为 “1”。</span></span></td> 
  </tr> 
  <tr> 
   <td style="border-color:#dddddd;vertical-align:middle;"><span style="color:rgba(0,0,0,.75);"><span style="color:#4f4f4f;">context</span></span></td> 
   <td style="border-color:#dddddd;vertical-align:middle;"><span style="color:rgba(0,0,0,.75);"><span style="color:#4f4f4f;">可选。规定文件句柄的环境。context 是一套可以修改流的行为的选项。若使用 null，则忽略。</span></span></td> 
  </tr> 
  <tr> 
   <td style="border-color:#dddddd;vertical-align:middle;"><span style="color:rgba(0,0,0,.75);"><span style="color:#4f4f4f;">start</span></span></td> 
   <td style="border-color:#dddddd;vertical-align:middle;"><span style="color:rgba(0,0,0,.75);"><span style="color:#4f4f4f;">可选。规定在文件中开始读取的位置。该参数是 PHP 5.1 新加的。</span></span></td> 
  </tr> 
  <tr> 
   <td style="border-color:#dddddd;vertical-align:middle;"><span style="color:rgba(0,0,0,.75);"><span style="color:#4f4f4f;">max_length</span></span></td> 
   <td style="border-color:#dddddd;vertical-align:middle;"><span style="color:rgba(0,0,0,.75);"><span style="color:#4f4f4f;">可选。规定读取的字节数。该参数是 PHP 5.1 新加的。</span></span></td> 
  </tr> 
 </tbody> 
</table>

**实例代码：**

function GetData1($url){
        $datas=file_get_contents($url);//发送请求，并返回获取到的页面数据
        return $datas;
      }
      $url="xxx";
      print_r(GetData1($url));

## **2. curl** ##

**介绍：**

**常规抓取数据代码：**

该代码为curl抓取数据的常规方法，只针对于没有检测爬虫的网站。

function DetData2($url){
    	$ch=curl_init($url);
    	$datas=curl_exec($ch);
    	return $datas;
    }

**伪装抓取数据代码：**

许多网站都存在对爬虫的检测，因此只有对爬虫进行伪装之后才会获取到相应的数据。

function GetData2($url){
        $curl=curl_init($url);
        
        curl_setopt($curl, CURLOPT_URL, $url); // 要访问的地址  
        curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0); // 对认证证书来源的检查  
        curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 1); // 从证书中检查SSL加密算法是否存在  
        curl_setopt($curl, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']); // 模拟用户使用的浏览器  
        curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1); // 使用自动跳转  
        curl_setopt($curl, CURLOPT_AUTOREFERER, 1); // 自动设置Referer  
        curl_setopt($curl, CURLOPT_POST, 1); // 发送一个常规的Post请求  
        curl_setopt($curl, CURLOPT_POSTFIELDS, $data); // Post提交的数据包  
        curl_setopt($curl, CURLOPT_TIMEOUT, 30); // 设置超时限制防止死循环  
        curl_setopt($curl, CURLOPT_HEADER, 0); // 显示返回的Header区域内容  
        curl_setopt($curl, CURLOPT_RETURNTRANSFER, 0); // 获取的信息以文件流的形式返回 
        curl_setopt($curl, CURLOPT_HTTPHEADER, array('Expect:'));
        $tmpInfo = curl_exec($curl); // 执行操作  
        if (curl_errno($curl)) {  
           echo 'Errno'.curl_error($curl);//捕抓异常  
        }
        
        curl_close($curl);
        return $tmpInfo;
      }

## **3. Snoopy** ##

Snoopy是一个无比强大的类库，使用Snoopy是需要下载 Snoopy.php 文件（[下载链接][Link 1]）,个位注意我形容Snoopy”强大“，Snoopy是真的强大。闲话不说，直接上代码

include("Snoopy.php");//使用时不要忘记引入Snoopy类库
    
        function GetData3($url){
          $ch=new Snoopy;
          $ch->agent = "Mozilla/5.0 (Linux; U; Android 8.1.0; zh-CN; Redmi 6 Pro Build/OPM1.171019.019) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/57.0.2987.108 UCBrowser/12.5.5.1035 Mobile Safari/537.36";
          $ch->referer="https://m.ting22.com/ting/1547-180.html";
          $ch->fetch($url);
          return $ch->results;//返回数据
        }

这段代码是伪装之后的代码，只是短短几行，是不是很爽，别急还有更爽的，Snoopy还可以免去一部分繁琐的正则表达式，Snoopy含有自动提取网页链接和文本内容。

$snoopy->fetchtext（$url）;//获取网页数据的全部文本数据
    $snoopy->fetchlinks（$url）;//获取网页数据的全部链接
    $snoopy->fetchform（$url）; //获取表单

以上为本人对于爬虫的一些学习心得，记录下来供大家学习；

[PHP]: https://blog.csdn.net/cuihao19970905/article/details/97121735#PHP_1
[1. get_file_contents]: https://blog.csdn.net/cuihao19970905/article/details/97121735#1_getfile_contents_2
[2. curl]: https://blog.csdn.net/cuihao19970905/article/details/97121735#2_curl_27
[3. Snoopy]: https://blog.csdn.net/cuihao19970905/article/details/97121735#3_Snoopy_71
[Link 1]: https://sourceforge.net/projects/snoopy/files/latest/download