采集（file_get_contents）

爱被打了一巴掌 2022-07-27 11:59 97阅读 0赞

**用file\_get\_contents进行采集**

<?php
    header("content-type:text/html;charset=utf-8");
    $url="http://www.php7.com/dwzchd/aa.html";
    $file=file_get_contents($url);
    $pre='#<div class="mod-content clearfix show-content-bg">(.*)<div class="map-content clearfix">#isU';
    preg_match($pre,$file,$content);
    $pre1='#<a href="(.*)" .*">([^<>]*)</a>#isU';
    preg_match_all($pre1,$content[0],$content1);
    //print_r($content1);die;
    $count=count($content1[0]);
    //echo $count;die;
    $pre2='#<img src="(.*)" width="16" height="16" class="img1">#isU';
    preg_match_all($pre2,$content[0],$content2);
    foreach($content2[1] as $key => $val){
        $content2[1][$key]= "http://www.php7.com/dwzchd/".$val;
        //echo $path['basename'];die;
        $img=file_get_contents($content2[1][$key]);
        file_put_contents("public/".$key.".png",$img);
    }
    //print_r($content2[1]);die;
    echo "加载图片成功";

下载图片

$count1=count($content2[1]);
    			for($i=0;$i<$count1;$i++){
    				//$arr1[]['picture']=$content2[1][$i];
    				$img=file_get_contents($content2[1][$i]);
    				file_put_contents("public/".rand(1000,9999).'.png',$img);
    			}

Snoopy是什么? 
    
    Snoopy是一个php类，用来模仿web浏览器的功能，它能完成获取网页内容和发送表单的任务。
    
    Snoopy的一些特点:
    
    1抓取网页的内容 fetch
    2 抓取网页的文本内容 (去除HTML标签) fetchtext
    3抓取网页的链接，表单 fetchlinks fetchform
    4 支持代理主机
    5支持基本的用户名/密码验证
    6 支持设置 user_agent, referer(来路), cookies 和 header content(头文件)
    7支持浏览器重定向，并能控制重定向深度
    8能把网页中的链接扩展成高质量的url(默认)
    9提交数据并且获取返回值
    10 支持跟踪HTML框架
    11支持重定向的时候传递cookies

snoopy，

include "Snoopy.class.php";
        $snoopy = new Snoopy;
        
        $snoopy->fetchtext("http://www.php.net/");
        print $snoopy->results;
        
        $snoopy->fetchlinks("http://www.phpbuilder.com/");
        print $snoopy->results;
        
        $submit_url = "http://lnk.ispi.net/texis/scripts/msearch/netsearch.html";
        
        $submit_vars["q"] = "amiga";
        $submit_vars["submit"] = "Search!";
        $submit_vars["searchhost"] = "Altavista";
            
        $snoopy->submit($submit_url,$submit_vars);
        print $snoopy->results;
        
        $snoopy->maxframes=5;
        $snoopy->fetch("http://www.ispi.net/");
        echo "<PRE>\n";
        echo htmlentities($snoopy->results[0]);
        echo htmlentities($snoopy->results[1]);
        echo htmlentities($snoopy->results[2]);
        echo "</PRE>\n";
    
        $snoopy->fetchform("http://www.altavista.com");
        print $snoopy->results;