温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

php如何实现HTML解析器类可用于采集数据

发布时间:2021-06-25 14:35:44 来源:亿速云 阅读:264 作者:小新 栏目:开发技术

小编给大家分享一下php如何实现HTML解析器类可用于采集数据,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!

代码如下:

<?php     $oldSetting = libxml_use_internal_errors( true );     libxml_clear_errors();       class XF_HtmlDom    {        private $_xpath = null;        private $_nodePath = '';        public function __construct($xpath = null, $nodePath = '')        {            $this->_xpath = $xpath;            $this->_nodePath = $nodePath;        }        public function loadHtml($url)        {            ini_set('user_agent', 'Mozilla/5.0 (Linux; U; Android 2.1; en-us; Nexus One Build/ERD62) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17 –Nexus');            $content = '';            if(strpos(strtolower($url), 'http')===false)            {                $content = file_get_contents($url);            }            else           {                $ch = curl_init();                 $user_agent = "Baiduspider+(+http://www.baidu.com/search/spider.htm)";                $user_agent1='Mozilla/5.0 (Windows NT 5.1; rv:6.0) Gecko/20100101 Firefox/6.0';                curl_setopt($ch, CURLOPT_URL, $url);                 curl_setopt($ch, CURLOPT_HEADER, false);                 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);                 curl_setopt($ch, CURLOPT_REFERER, $url);                curl_setopt($ch, CURLOPT_USERAGENT, $user_agent1);                curl_setopt($ch, CURLOPT_FOLLOWLOCATION,1);                $content =curl_exec($ch);                 curl_close($ch);            }            $html = new DOMDocument();             $html->loadHtml($content);             $this->_xpath = new DOMXPath( $html );             //return $this;       }        public function find($query, $index = null)        {            if($this->_nodePath == '')                $this->_nodePath = '//';           else               $this->_nodePath .= '/';            $nodes = $this->_xpath->query($this->_nodePath.$query);            //echo $nodes->item(0)->getNodePath();exit;                       if ($index == null && !is_numeric($index))             {                 $tmp = array();                foreach ($nodes as $node)                 {                    $tmp[] = new XF_HtmlDom($this->_xpath, $node->getNodePath());                }                return $tmp;            }            return new XF_HtmlDom($this->_xpath,$this->_xpath->query($this->_nodePath.$query)->item($index)->getNodePath());        }        /**       * 获取内容       */       public function text()        {            if ($this->_nodePath != '' && $this->_xpath != null )                 return $this->_xpath->query($this->_nodePath)->item(0)->textContent;            else               return false;        }        /**       * 获取属性值       */       public function getAttribute($name)        {            if ($this->_nodePath != '' && $this->_xpath != null )                 return $this->_xpath->query($this->_nodePath)->item(0)->getAttribute($name);            else               return false;        }        public function __get($name)        {            if($name == 'innertext')                return $this->text();            else               return $this->getAttribute($name);        }      }      $xp = new xf_HtmlDom();    $xp->loadHtml('http://www.aizhan.com/siteall/www.opendir.cn/');   $rows = $xp->find("td[@id='baidu']/a", 0)->innertext;    print_r($rows);

以上是“php如何实现HTML解析器类可用于采集数据”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注亿速云行业资讯频道!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

php
AI