Python3 是一种功能强大的编程语言,可以用于编写各种应用程序,包括爬虫应用。本文将介绍如何使用 Python3 编写爬虫应用程序,以爬取淘宝网站的数据。
import requests from lxml import etree # 设置请求头信息 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' } # 构造搜索链接 search_url = 'https://s.taobao.com/search?q=python&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20191016&ie=utf8' # 发送请求并获取响应 response = requests.get(search_url, headers=headers) # 解析响应内容 tree = etree.HTML(response.text) # 获取商品列表 items = tree.xpath('//div[@id="mainsrp-itemlist"]/div[@class="items"]/div') # 遍历商品列表并获取商品信息 for item in items: # 获取商品标题 title = item.xpath('.//a[@class="J_ClickStat"]/@title')[0] # 获取商品价格 price = item.xpath('.//div[@class="price g_price g_price-highlight"]/strong/text()')[0] # 输出商品信息 print('商品标题:', title) print('商品价格:', price)
以上代码将构造一个淘宝搜索链接,并通过发送请求和解析响应内容,获取商品列表和商品信息。可以根据需要对代码进行修改和优化,以实现更加完善的爬虫应用程序。
上一篇 html日历课程表代码
下一篇 html日志本的设计源代码