PHPCrawlクライアントライブラリで酷狗歌単を取得する方法のサンプル

この記事では、PHPCrawlクロールライブラリが酷狗歌单をクロールする方法について説明します。以下にご紹介します：

ネットワークスパイダーに関するビデオを見た後、手がかゆくなり、何かをクロールしたいと思いました。最近、Facebookで表情包の大戦が激しく、すべての表情包をクロールしようと思いましたが、適切なVPNを見つけることができませんでした。そのため、酷狗が最近一ヶ月で選んだおすすめの曲と簡単な紹介をローカルにクロールしました。コードは少し乱れており、自己が満足していません。人に見せたくありませんでしたが、思い切って考え直し、これは自分にとって初めてのクロールであったため、以下のような見るに耐えないコードができました〜（データの量が少ないため、マルチプロセッシングなどのことを考慮していませんが、PHPCrawlのドキュメントを見ると、PHPCrawlライブラリが思いつくすべての機能を封装していることがわかり、実現は非常に簡単でした）

<?php
header("Content-type:text/html;charset=utf-8");
// It may take a whils to crawl a site ...
set_time_limit(10000);
include("libs/PHPCrawler.class.php");
class MyCrawler extends PHPCrawler {
  function handleDocumentInfo($DocInfo) {
    // Just detect linebreak for output ("\n" in CLI-mode, otherwise "<br>").
    if (PHP_SAPI == "cli") $lb = "\n";
    else $lb = "<br />";
    $url = $DocInfo->url;
    $pat = "/http:\/\/www\.kugou\.com\/yy\/special\/single\/\d+.html/";
    if(preg_match($pat,$url) > 0){
    $this->parseSonglist($DocInfo);
    }
    flush();
  }
  public function parseSonglist($DocInfo){
    $content = $DocInfo->content;
    $songlistArr = array();
    $songlistArr['raw_url'] = $DocInfo->url;
    //解析歌曲介绍
    $matches = array();
    $pat = "/<span>名称：<\/span>([^(<br)]+)<br/";
    $ret = preg_match($pat,$content,$matches);
    if($ret>0){
      $songlistArr['title'] = $matches[1];
    }else{
      $songlistArr['title'] = '';
    }
    //解析歌曲
    $pat = "/<a title=\"([^\"]+)\" hidefocus=\"/";
    $matches = array();
    preg_match_all($pat,$content,$matches);
    $songlistArr['songs'] = array();
    for($i = 0;$i < count($matches[0]);$i++]{
      $song_title = $matches[1[$i];
      array_push($songlistArr['songs'],array('title'=>$song_title));
    }
    echo "<pre>";
    print_r($songlistArr);
    echo "</pre>";
    }
  }
$crawler = new MyCrawler();
// クロールするURL
$start_url="http://www.kugou.com/yy/special/index/1-0-2.html";
$crawler->setURL($start_url);
// ファイルの内容-type "text/html"
$crawler->addContentTypeReceiveRule("#text/html#");
//リンク拡張
$crawler->addURLFollowRule("#http://www\.kugou\.com/yy/special/single/\d+\.html$# i");
$crawler->addURLFollowRule("#http://www.kugou\.com/yy/special/index/\d+-\d+-2\.html$# i");
// クッキーを保存して送信-ブラウザのようにデータを
$crawler->enableCookieHandling(true);
// トラフィックを設定-制限に 1 MB（1000 * 1024)（バイト単位で、
// テストのために、サイト全体を「吸い取る」たくさんはなりたくありません)
//クロールのサイズに制限はありません
$crawler->setTrafficLimit(0);
// もう十分です、ここから行きましょう
$crawler->go();
// プロセスが完了した後、短い
// report（詳細はgetProcessReport()メソッドを参照）
$report = $crawler->getProcessReport();
if (PHP_SAPI == "cli") $lb = "\n";
else $lb = "<br />";
echo "要約：".$lb;
echo "リンクフォローウェー：".$report->links_followed.$lb;
echo "Documents received: ".$report->files_received.$lb;
echo "Bytes received: ".$report->bytes_received." bytes".$lb;
echo "Process runtime: ".$report->process_runtime." sec".$lb; 
?>

PS：这里再为大家提供2款非常方便的正则表达式工具供大家参考使用：

JavaScript正则表达式在线测试工具：
http://tools.jb51.net/regex/javascript

正则表达式在线生成工具：
http://tools.jb51.net/regex/create_reg

更多关于PHP相关内容感兴趣的读者可查看本站专题：《php正则表达式用法总结》、《PHP数组(Array)操作技巧大全》、《PHP基本语法入门教程》、《PHP运算与运算符用法总结》、《php面向对象程序设计入门教程》、《PHP网络编程技巧总结》、《php字符串(string)用法总结》、《php+mysql数据库操作入门教程》及《php常见数据库操作技巧汇总》

希望本文所述对大家PHP程序设计有所帮助。

声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：notice#oldtoolbag.com（はしめい时、#を@に変えてください。てきびきをひょうかし、かんけいしのしょうけいをきょうじょうしてください。一旦、じつじょうされたら、このさんはかいにんせいいんいんをいちにちじつせいしします。

基礎教程