博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
好用的 curl 抓取 页面的封装函数
阅读量:5979 次
发布时间:2019-06-20

本文共 1287 字,大约阅读时间需要 4 分钟。

由于经常使用php curl 抓取页面的内容,在此mark 平时自己封装的 curl函数,(其实 现在也开始用 Python 来爬了~  ^-^) /** * 封装curl方法 * @author FredGui * @param string $url 必选  接口地址 * @param string $post 可选  如果是post访问填写post参数数组 * @param int $timeout 可选  超时时间 * @param string $cookie * @param int $decode * @return mixed|null */function curlHtml($url, $post = '', $timeout = 30, $cookie = '', $decode = 1){    $ch = curl_init();    curl_setopt($ch, CURLOPT_URL, $url);    curl_setopt($ch, CURLOPT_HEADER, 0);    if ($post) {        curl_setopt($ch, CURLOPT_POST, 1);        curl_setopt($ch, CURLOPT_POSTFIELDS, $post);    }    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);    curl_setopt($ch, CURLOPT_BINARYTRANSFER, 1);    curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);    if ($cookie) {        curl_setopt($ch, CURLOPT_COOKIE, $cookie);    }    $data = curl_exec($ch);    $httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);    if ($httpCode == '200') {        if ($decode == 1 && !is_null(json_decode($data))) {            $data = json_decode($data, true);        }    } else {        $data = NULL;    }    curl_close($ch);    return $data;}$html = curlHtml('http://www.baidu.com');echo '
';//var_dump($html);
var_dump(strip_tags($html));exit;

 把 页面内的 html标签去掉了:如下(网页的所有内容)

 

 本文地址:

转载于:https://www.cnblogs.com/guixiaoming/p/6424160.html

你可能感兴趣的文章
Python开发必备利器之Virtual Environment
查看>>
这是一条保证看饿的消息 老字号天福号280岁了!
查看>>
RSAC 2018:人工智能成为驱动网络安全的新 “引擎”
查看>>
程序员必备:SQL优化指南
查看>>
这周为公司撸了一个「自动分配任务系统」
查看>>
一个真实的Async/Await示例
查看>>
vue 项目快速输出微信、支付宝、百度小程序
查看>>
js实现万级数字转汉字显示
查看>>
这个七夕,送你一份程序员教科书级别的告白指南
查看>>
Quantum 初探
查看>>
Android LayoutInflater Factory 源码解析
查看>>
React Native for Android 原理分析与实践:实现原理
查看>>
0822 - 抓住现金牛,还是投资潜力股
查看>>
MVVM框架下实现左右滑动切换tab
查看>>
Vue访问加载本地Json(渲染模版数据)时遇到的坑,报undefined
查看>>
[教程] 使用 Agora SDK 实现视频对话应用 HouseParty - 附 iOS 源码
查看>>
Shiro第一篇【Shiro的基础知识、回顾URL拦截】
查看>>
普通程序员,三年成为年薪70w架构师,只因做到了这些
查看>>
谈程序员如何做好业务
查看>>
企鹅社区移动版Vue2.0升级手记
查看>>