PHP行使curl抓取旧事数据

在一次做网站的时分 ，需要抓取一些其他网站的动静 ，在这里引见一种应用curl颠末链接的方式去猎取这个页面的十足内容，然后再颠末正则婚配猎取需要的内容。不是十足网站都能抓取需要有页面纪律才能去抓取以下图

这类有纪律的动静列表 ，不外动静的表面内容需要再次独自的去抓取，
代码：
$url = http://***x; // https://***x要抓取的链接 动静列表

$url=str_replace('&','&',$url);

header("content-type:text/html;charset=utf-8");
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);//除去https内里的s
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//关闭直接输出
$ html_data =curl_exec($ch);
curl_close($ch);//关闭会话
这里要确认是否是抓取到了页面的内容 能够打印出来看一下
假定没有抓取到 要留心一下 页面的编码花式 应用iconv()转换一下内容编码
// $html_data=iconv('gbk', 'utf-8',$html_data);

$regular='#(.*?)(.*?)(.*?)(.*?)(.*?)

(.*?)

(.*?)

#is';
preg_match_all($regular,$html_data,$connect);//住手正轨婚配获得自己要的内容
//循环掏出需要的内容数组
foreach($connect as $k =>$var){
if($k==2 || $k==3|| $k==5 || $k==7){
$b= array_merge(array_filter($connect[$k]));
$array[]=$b;
}
}
获得数据数组后 就能够凭据需求去增加数据了
内容表面需要抓取就猎取到动静内容页的链接 异样应用curl去猎取信息

要留心的就是正则表达式内里的html需要跟页面的花式一样， 你能够去原网站点右键检察源代码，检察花式，响应式网站开发， 把要抓取的html复制上去 ，假定照样有不克不及抓取的内容或者就是花式不正确 有或者有的处所是少空格或多空格， 这个时分直接在标签之间(.*?)。也能够 一点一点的婚配 看详细是哪一个部分没有婚配到。

方维汇集为客户供应网站开发定制就事，网站制作居于LINUX+PHP+MYSQL框架，欢送客户征询我们建站热线400-800-9385