php curl爬取页面

阳光穿透心脏的1/2处 2023-07-24 11:46 1阅读 0赞

1.  简单的爬取页面

//初始化
    $curl = curl_init("http://baidu.com");
    //创建curl资源
    curl_exec($curl);
    //关闭curl并释放资源
    curl_close($curl);

1.  调用webService获取天气

//调用webService获取天气
    header("Content-Type:text/html; charset=utf-8");
    $data = 'theCityName=广州';
    $curlobj = curl_init();
    curl_setopt($curlobj, CURLOPT_URL, "http://www.webxml.com.cn/WebServices/WeatherWebService.asmx/getWeatherbyCityName");
    curl_setopt($curlobj, CURLOPT_USERAGENT, "user-agent:Mozilla/5.0 (Windows NT 5.1; rv:24.0) Gecko/20100101 Firefox/24.0");
    curl_setopt($curlobj, CURLOPT_HEADER, 0);          //启用时会将头文件的信息作为数据流输出。这里不启用
    curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, 1);  //如果成功只将结果返回，不自动输出任何内容。如果失败返回FALSE
    curl_setopt($curlobj, CURLOPT_POST, 1);            //如果你想PHP去做一个正规的HTTP POST，设置这个选项为一个非零值。这个POST是普通的 application/x-www-from-urlencoded 类型，多数被HTML表单使用。
    curl_setopt($curlobj, CURLOPT_POSTFIELDS, $data);  //需要POST的数据
    curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("application/x-www-form-urlencoded;charset=utf-8", "Content-length: ".strlen($data)));
    $rtn = curl_exec($curlobj);
    if(!curl_errno($curlobj)){ 
        echo $rtn;
    } else { 
        echo 'Curl error: ' . curl_error($curlobj);
    }
    curl_close($curlobj);

发表评论取消回复

表情：

评论列表（有 0 条评论，1人围观）

还没有评论，来说两句吧...

相关阅读

相关 scrapy爬取多页面

前言使用scrapy的目的是方便爬虫人员通过scrapy框架编写简单的代码，提取需要爬取的网站上有用的数据，其框架底层已经对爬虫的过程做了大量的逻辑处理，而爬虫人员只需

逃离我推掉我的手/ 2023年10月08日 09:14/ 0 赞/ 83 阅读

相关 Beautifulsoup 爬取页面试题

假设有一个页面，页面中有n道选择题，每道选择题有若干个选项。题干部分用h6 标签标记。选项部分用的是td 下的div 标签。如下图所示：整个页面是将如下的HTML 段落循环

怼烎@/ 2023年08月17日 16:05/ 0 赞/ 149 阅读

相关 php curl爬取页面

1. 简单的爬取页面 //初始化 $curl = curl_init("http://baidu.com"); //创建curl资源 cur

阳光穿透心脏的1/2处/ 2023年07月24日 11:46/ 0 赞/ 2 阅读

相关如何使用 Springboot 爬取页面信息？

前言捣鼓了两天，总算是做了demo 啦。整体思路如下： ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow

深藏阁楼爱情的钟/ 2023年07月13日 15:25/ 0 赞/ 56 阅读

相关 python爬取页面内容写入文件

python爬取页面内容写入文件 urllib.request用来发送请求获取响应 import urllib.request imp

素颜马尾好姑娘i/ 2023年06月26日 10:57/ 0 赞/ 75 阅读

相关 python爬取数据导入mysql,然后PHP渲染到前台页面

获取数据，存储数据，展示数据获取数据使用python爬虫存储数据使用mysql 展示数据使用html+php 获取数据，存储数据 import

爱被打了一巴掌/ 2022年12月26日 04:54/ 0 赞/ 155 阅读

相关 php脚本爬取头像图片

因为要插入系统用户，所以用php爬取百度图片上的头像url，再存储到本地，速度一般，1000张图片差不多花费半个多小时，不知道是不是因为 file\_get\_content

水深无声/ 2022年07月15日 14:18/ 0 赞/ 132 阅读

相关 Python爬虫之静态页面爬取

Python爬虫之静态页面爬取前言 `Python`语言代码简短，功能精悍。如`Python`之父所言 “人生苦短，我用Python” 。所以Python语言写爬

青旅半醒/ 2022年06月05日 03:50/ 0 赞/ 398 阅读

相关 PHP 根据URL将图片下载到本地（curl爬取）

代码 <?php $url = 'https://qiniu-cdn0.jinxidao.com/group1/M00/11/B5/ooYBAFp4CLOAV

谁践踏了优雅/ 2022年02月25日 08:58/ 0 赞/ 375 阅读

相关【爬虫】爬取搜索引擎类页面的爬虫小框架 /爬取搜索结果页面的通用小爬虫（php和python实现）

最近抽时间总结了一下爬虫，写了一个小爬虫框架（工具），便于自己以后需要使用爬虫时不必重新再写，也作为爬虫教程示例记录一下。本爬虫适用于爬取搜索引擎的数据，适用于大多数搜索引

喜欢ヅ旅行/ 2021年12月10日 23:34/ 0 赞/ 382 阅读