自家用的php 采集程序呵呆把它拿出来吧 php采集代码,contents函数语法
分类:威尼斯手机平台

自家用的php 采集程序呵呆把它拿出来吧 php采集代码,php 采集器,必一下就可能变成php论坛采集程序,自动采集程序 php php采集原理是读取远程文章的内容然后正我们想要用东西,

在下面采集数据过程中file_get_contents函数是关键了,下面我们来看看file_get_contents函数语法

?php

string file_get_contents ( string $filename [, bool $use_include_path = false [, resource $context [, int $offset = -1 [, int $maxlen ]]]] )
和 file() 一样,只除了 file_get_contents() 把文件读入一个字符串。将在参数 offset 所指定的位置开始读取长度为 maxlen 的内容。如果失败, file_get_contents() 将返回 FALSE。

set_time_limit(0); //设置文档永不过期

file_get_contents() 函数是用来将文件的内容读入到一个字符串中的首选方法。如果操作系统支持还会使用内存映射技术来增强性能。

$url=$_POST[url];//URL

$start=$_POST[start];//开始

 代码如下

$end=$_POST[end];//结束

<?php
$homepage = file_get_contents('');
echo $homepage;
?>

//$encode_start=$_POST[encode_start];//取得内容代码开始

这样$homepage就是我们采集网的内容给保存下来了,好了说了这么多我们开始吧。

$encode_end=$_POST[encode_end];//取得内容结束

$type=$_POST[select];//主类

 代码如下

$ztype=$_POST[select2];//子类

<?php

$admin=$_POST[admin];//用户

function fetch_urlpage_contents($url){
$c=file_get_contents($url);
return $c;
}
//获取匹配内容
function fetch_match_contents($begin,$end,$c)
{
$begin=change_match_string($begin);
$end=change_match_string($end);
$p = "{$begin}(.*){$end}";
if(eregi($p,$c,$rs))
{
return $rs[1];}
else { return "";}
}//转义正则表达式字符串
function change_match_string($str){
//注意,以下只是简单转义
//$old=array("/","$");
//$new=array("/","$");
$str=str_replace($old,$new,$str);
return $str;
}

$r_type=$_POST[type];

//采集网页
function pick($url,$ft,$th)
{
$c=fetch_urlpage_contents($url);
foreach($ft as $key => $value)
{
$rs[$key]=fetch_match_contents($value["begin"],$value["end"],$c);
if(is_array($th[$key]))
{ foreach($th[$key] as $old => $new)
{
$rs[$key]=str_replace($old,$new,$rs[$key]);
}
}
}
return $rs;
}

$c_total=0;

$url=""; //要采集的地址
$ft["title"]["begin"]="<title>"; //截取的开始点
$ft["title"]["end"]="</title>"; //截取的结束点
$th["title"]["中山"]="广东"; //截取部分的替换

for($i=$start;$i=$end;$i++){

$ft["body"]["begin"]="<body>"; //截取的开始点
$ft["body"]["end"]="</body>"; //截取的结束点
$th["body"]["中山"]="广东"; //截取部分的替换

$getreal=$url.$i..html;

$rs=pick($url,$ft,$th); //开始采集

echo $getreal;

echo $rs["title"];
echo $rs["body"]; //输出
?>

echo br;

以下代码从上一面修改而来,专门用于提取网页所有超链接,邮箱或其他特定内容

@sava_威尼斯手机平台,data(new_content(getcontent($getreal),$r_type,$encode_end),$type,$admin,$ztype);

 代码如下

$c_total++;

<?php

}

function fetch_urlpage_contents($url){
$c=file_get_contents($url);
return $c;
}
//获取匹配内容
function fetch_match_contents($begin,$end,$c)
{
$begin=change_match_string($begin);
$end=change_match_string($end);
$p = "#{$begin}(.*){$end}#iU";//i表示忽略大小写,U禁止贪婪匹配
if(preg_match_all($p,$c,$rs))
{
return $rs;}
else { return "";}
}//转义正则表达式字符串
function change_match_string($str){
//注意,以下只是简单转义
$old=array("/","$",'?');
$new=array("/","$",'?');
$str=str_replace($old,$new,$str);
return $str;
}

echo 共采集.($c_total).篇文章;

//采集网页
function pick($url,$ft,$th)
{
$c=fetch_urlpage_contents($url);
foreach($ft as $key => $value)
{
$rs[$key]=fetch_match_contents($value["begin"],$value["end"],$c);
if(is_array($th[$key]))
{ foreach($th[$key] as $old => $new)
{
$rs[$key]=str_replace($old,$new,$rs[$key]);
}
}
}
return $rs;
}

echo a href=# onclick=/javascript:history.back();/Back/a;

$url=""; //要采集的地址
$ft["a"]["begin"]='<a'; //截取的开始点<br />
$ft["a"]["end"]='>'; //截取的结束点

//print_r( new_content(getcontent(_webprogram/php/phpshil/2007828/69928.html),aa,aa));

$rs=pick($url,$ft,$th); //开始采集

//echo x iloveyoup/pbrffdafdafds;

print_r($rs["a"]);

function getcontent($url)

?>

{

小提示file_get_contents很是容易被防采集了,我们可以使用curl来模仿用户对网站进行访问,这算比上面要高级不少哦,file_get_contents()效率稍低些,常用失败的情况、curl()效率挺高的,支持多线程,不过需要开启下curl扩展。下面是curl扩展开启的步骤:

$retmsg=file_get_contents($url);

1、将PHP文件夹下的三个文件php_curl.dll,libeay32.dll,ssleay32.dll复制到system32下;

return $retmsg;

2、将php.ini(c:WINDOWS目录下)中的;extension=php_curl.dll中的分号去掉;

}

3、重启apache或者IIS。

function new_content($retmsg,$replace,$class){

简单的抓取页面函数,附带伪造 Referer 和 User_Agent 功能

$r_type=-ddd;

 代码如下

$start=input type=/button/ value=/ss索/ onClick=/tosearch(document.all.wd2);/p;

<?php
function GetSources($Url,$User_Agent='',$Referer_Url='') //抓取某个指定的页面
{
//$Url 需要抓取的页面地址
//$User_Agent 需要返回的user_agent信息 如“baiduspider”或“googlebot”
$ch = curl_init();
curl_setopt ($ch, CURLOPT_URL, $Url);
curl_setopt ($ch, CURLOPT_USERAGENT, $User_Agent);
curl_setopt ($ch, CURLOPT_REFERER, $Referer_Url);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION,1);
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
$MySources = curl_exec ($ch);
curl_close($ch);
return $MySources;
}
$Url = ""; //要获取内容的也没
$User_Agent = "baiduspider+(+)";
$Referer_Url = '';
echo GetSources($Url,$User_Agent,$Referer_Url);
?>

$end =strongfont color=/#CC0000/sss落/font/strong;

$arr1=explode($start,$retmsg);

$arr2=explode($end,$arr1[1]);

$ts=preg_replace(/a href=(.+?)[^]*/,,$arr2[0]);/*清除连接a href=(.+?)[^]**/

$ts=preg_replace(/img [^]*/im,,$arr2[0]);/*清除连接*/

$ts=@str_replace((sss,,$ts);

preg_match(/TITLE(.+?)//TITLE/, $retmsg, $arr);/*取得标题*/

$p=@str_replace($replace,,$arr[1]);

$ts=substr($ts,0,strlen($ts)-70);

return $value=array($p,$ts);

}

function sava_data($lvalue,$type,$admin,$ztype){

$tsql=select * from filecontent where title=.addslashes($lvalue[0]).;

$result=mysql_query($tsql) or die(mysql_error());

if(!mysql_num_rows($result)){

$title_=strip_tags($lvalue[0]);

$content_=addslashes($lvalue[1]);

@mysql_query(Insert into filecontent(title,content,filesendid,filesendtime,siteindex,systype,z_type) value($title_,$content_,$admin,.date(Y-m-d).,1,$type,$ztype)) ;

}}

原创:

本文由威尼斯在线注册平台发布于威尼斯手机平台,转载请注明出处:自家用的php 采集程序呵呆把它拿出来吧 php采集代码,contents函数语法

上一篇:威尼斯手机平台也是自个儿明天内需时才来试的喽.上面看看代码 下一篇:没有了
猜你喜欢
热门排行
精彩图文