PHP获取Cookie模拟登录CURL

php curl https

curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE);

转:http://www.php100.com/html/php/lei/2013/0912/6164.html

要提取google搜索的部分数据,发现google对于软件抓取它的数据屏蔽的厉害,以前伪造下
USER-AGENT 就可以抓数据,但是现在却不行了。利用抓包数据发现,Google 判断了 cookies,当你没有cookies的时候,直接
返回 302 跳转,而且是连续几十个302跳转,根本抓不了数据。

因此,在发送搜索命令时,需要先提取 cookies 并保存,然后利用保存下来的这个cookies再次发送搜索命令即可正常抓数据了。这其实和论坛的模拟登录一个道理,先POST登录,获取cookies并保存,然后利用这个cookies访问就可以了。

一、定义Cookie存储路径

必须使用绝对路径

1.$cookie_jar= dirname(__FILE__)."/pic.cookie";

二、获取Cookie

将cookie存入文件

1.$url="http://1.2.3.4/";
2.$ch= curl_init();
3.curl_setopt($ch, CURLOPT_URL,$url);
4.curl_setopt($ch, CURLOPT_HEADER, 0);
5.curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
6.curl_setopt($ch, CURLOPT_COOKIEJAR,$cookie_jar);
7.$content= curl_exec($ch);
8.curl_close($ch);

三、模拟浏览器获取验证码

该服务器验证码有漏洞,可以自己指定

取出cookie,一起提交给服务器,让服务器以为是浏览器打开登陆页面

1.$ch= curl_init();
3.curl_setopt($ch, CURLOPT_COOKIEFILE,$cookie_jar);
4.curl_setopt($ch, CURLOPT_HEADER, 0);
5.curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
6.$ret= curl_exec($ch);
7.curl_close($ch);

四、POST提交

01.$post="name=2&userType=1&passwd=asdf&loginType=1&rand=6836&imageField.x=25&imageField.y=7";   
02.$ch= curl_init();
03.curl_setopt($ch, CURLOPT_URL,"http://1.2.3.4/loginstudent.action");
04.curl_setopt($ch, CURLOPT_HEADER, false);
05.curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
06.curl_setopt($ch, CURLOPT_POSTFIELDS,$post);
07.curl_setopt($ch, CURLOPT_COOKIEFILE,$cookie_jar);
08.$result=curl_exec($ch);
09.curl_close($ch);

五、到指定页面获取数据

01.$ch= curl_init();
02.curl_setopt($ch, CURLOPT_URL,"http://1.2.3.4/accountcardUser.action");
03.curl_setopt($ch, CURLOPT_HEADER, false);
04.curl_setopt($ch, CURLOPT_HEADER, 0);
05.curl_setopt($ch, CURLOPT_RETURNTRANSFER,0);       
06.curl_setopt($ch, CURLOPT_COOKIEFILE,$cookie_jar);
07.$html=curl_exec($ch);
08.// var_dump($html);

09.curl_close($ch);

转:http://www.php100.com/html/php/lei/2013/0905/5341.html

在php中采集我们用的是简单的采集方式(例如file_get_contents)就无法做到了,但是如果想模拟登录用户并采集利用它就没办法了,我们可利用CURL函数来实现模拟登录并采集数据

这里要说一些,默认情况下,PHP的CURL功能是没有开启的,所以你要自己去开启这个功能,需要在php.ini中把  ;extension= php_curl.dll 前面的  " ; " 号去掉!!!
  好,我讲讲昨天晚上的程序吧,虽然最后没有成功,但是还是学习到一些东西的。
 

 代码如下 复制代码

$login="http://www.phpyu.com/index.php?action=login";
$post_file="user=××&pw=××";
$cookie_file    =    tempnam('./temp','cookie'); 

/////创建一个具有唯一文件名的临时文件。 若成功,则该函数返回新的临时文件名。若失败,则返回 false。

 代码如下 复制代码

$ch=curl_init($login_url); /////初始化一个CURL对象
curl_setopt($ch,CURLOPT_HEADER,0);

  //如果你想把一个头包含在输出中,设置这个选项为一个非零值。

 代码如下 复制代码

curl_setopt($ch,CURLOPT_RETURNTRANSFER,1); ///设置不输出在浏览器上
curl_setopt($ch,CURLOPT_POST,1);

 /////如果你想PHP去做一个正规的HTTP POST,设置这个选  项为一个非零值。这个POST是普通的 application/x-www-from-urlencoded 类型,多数被HTML表单使用。

 代码如下 复制代码

curl_setopt($ch,CURLOPT_POSTFIELDS,$post_file);  ////传递一个作为HTTP "POST"操作的所有数据的字符串。
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);  /////把返回来的cookie信息保存在$cookie_jar文件中
curl_exec($ch);///执行
curl_close($ch);////关闭


上面已经完成了模拟登录的过程
 

下面要做的就是进入具有权限的页面了,要记得你现在已经登录了,你应该把登录的凭证cookie保存了起来。

 代码如下 复制代码

$url="http://www.phpyu.com/admin/××";
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0);

////把这个页面显示在浏览器上,这里要特别注意!!就是如果把它显示在浏览器上的时候 下面的$contents 就会变成 一个布尔类型 true

 代码如下 复制代码

curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);
$contents = curl_exec($ch);

例2

 代码如下 复制代码

<?php
        $cookie_path = './'; //设置cookie保存路径


        //-----登录要提交的表单数据---------------
        $vars['username'] = '张三';
         $vars['pwd'] = '123';
         //-------------------------------------
        $method_post = true;
        //登录提交的url地址(表单中的action的绝对地址)
         $url = 'http://****.com/login';
        //----------------------------


         $ch = curl_init();
        $params[CURLOPT_URL] = $url;    //请求url地址
        $params[CURLOPT_HEADER] = true; //是否返回响应头信息
        $params[CURLOPT_RETURNTRANSFER] = true; //是否将结果返回
        $params[CURLOPT_FOLLOWLOCATION] = true; //是否重定向
        $params[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 5.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1';
   
        $postfields = '';
        foreach ($vars as $key => $value){
            $postfields .= urlencode($key) . '=' . urlencode($value) . '&'; 
        }
       
        $params[CURLOPT_POST] = true;
        $params[CURLOPT_POSTFIELDS] = $postfields;
       
        //判断是否有cookie,有的话直接使用
        if (isset($_COOKIE['cookie_jar']) && ($_COOKIE['cookie_jar'] || is_file($_COOKIE['cookie_jar'])))
        {
            $params[CURLOPT_COOKIEFILE] = $_COOKIE['cookie_jar']; //这里判断cookie
        }
        else
        {
            $cookie_jar = tempnam($cookie_path, 'cookie'); //产生一个cookie文件
            $params[CURLOPT_COOKIEJAR] = $cookie_jar; //写入cookie信息
            setcookie('cookie_jar', $cookie_jar); //保存cookie路径
        }
        curl_setopt_array($ch, $params); //传入curl参数
        $content = curl_exec($ch); //执行


        echo '
';        echo $content; //输出登录结果
        /*
        //---------登录成功后再次请求其他地址,如果有多个可以循环执行---------
        echo '
--------------------------------------------------------------------------------
 ';
        $nexturl = 'http://****.com/test';
        $params[CURLOPT_URL] = $nexturl;
        $params[CURLOPT_POSTFIELDS] = '';
        curl_setopt_array($ch, $params); //传入curl参数
        $content = curl_exec($ch); //执行
        echo $content; //输出请求结果
        //-------------------------------------------------
        */
        curl_close($ch); //关闭连接
       
?>

注:如果遇到无法请求https站点的情况,可能是因为无法验证证书或者域名,只要在curl_setopt_array前增加以下两项就可以了:

 代码如下 复制代码

$params[CURLOPT_SSL_VERIFYPEER] = false;

$params[CURLOPT_SSL_VERIFYHOST] = false;

    A+
发布日期:2014年03月05日  所属分类:未分类

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: