python3 爬虫淘宝

颜贵龙 2周前 12浏览 0评论

Python3 是一种功能强大的编程语言,可以用于编写各种应用程序,包括爬虫应用。本文将介绍如何使用 Python3 编写爬虫应用程序,以爬取淘宝网站的数据。

import requests
from lxml import etree

# 设置请求头信息
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}

# 构造搜索链接
search_url = 'https://s.taobao.com/search?q=python&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20191016&ie=utf8'

# 发送请求并获取响应
response = requests.get(search_url, headers=headers)

# 解析响应内容
tree = etree.HTML(response.text)

# 获取商品列表
items = tree.xpath('//div[@id="mainsrp-itemlist"]/div[@class="items"]/div')

# 遍历商品列表并获取商品信息
for item in items:
    # 获取商品标题
    title = item.xpath('.//a[@class="J_ClickStat"]/@title')[0]
    # 获取商品价格
    price = item.xpath('.//div[@class="price g_price g_price-highlight"]/strong/text()')[0]
    # 输出商品信息
    print('商品标题:', title)
    print('商品价格:', price)

以上代码将构造一个淘宝搜索链接,并通过发送请求和解析响应内容,获取商品列表和商品信息。可以根据需要对代码进行修改和优化,以实现更加完善的爬虫应用程序。