python3 深度爬虫

Python3是一种广泛使用的编程语言，非常适合编写网络爬虫。Python3的库和框架为开发者提供了各种各样的选择。使用Python3编写深度爬虫是一项有挑战性的任务，许多网站试图限制爬虫的访问，所以需要一定的技术知识和策略，以克服这些限制。

下面的代码展示了如何使用Python3 scrapy框架和Xpath选择器来爬取网站上的数据：

import scrapy
from scrapy.selector import Selector

class MySpider(scrapy.Spider):
    name = "example.com"
    allowed_domains = ["example.com"]
    start_urls = [
        "http://www.example.com/page1.html",
        "http://www.example.com/page2.html",
        "http://www.example.com/page3.html",
    ]

    def parse(self, response):
        sel = Selector(response)
        items = sel.xpath('//div[@class="item"]')
        for item in items:
            title = item.xpath('a/text()').extract()
            link = item.xpath('a/@href').extract()
            desc = item.xpath('text()').extract()
            print(title, link, desc)

上述代码创建了一个Scrapy爬虫对象，其名称为“example.com”，并允许访问的域名为“example.com”。我们将从三个页面开始爬取，这些页面的URL在“start_urls”列表中。

当Spider访问URL时，它将使用XPath选择器在响应中查找具有“item”类的DIV元素。我们遍历这些元素并分别查找标题、链接和描述信息。最后，我们用print函数将获取到的信息输出在命令提示符中。

稍微对代码进行修改就可以实现更多的功能，比如翻页、抓取特定类型的文件、甚至自动登录并抓取需要验证的页面。使用Python3的深度爬虫需要一定的技术水平，但是有了合适的库和框架,开发者可以轻松地爬取网站上的数据。