python3 爬虫翻页

Python 3 爬虫翻页是通过程序自动获取网站数据的一种方法。在爬虫过程中，经常需要使用翻页功能来获取更多的数据。本文将使用 Python 3 爬虫库 requests 和 BeautifulSoup 来演示如何实现翻页功能。

首先，需要导入所需的库：

import requests
from bs4 import BeautifulSoup

接下来，需要定义一个函数来获取页面数据。以下代码将使用 requests 库来请求指定 URL 的内容，并返回一个 BeautifulSoup 对象。

def get_soup(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.content, 'html.parser')
    return soup

现在，我们可以使用这个函数来获取我们要爬取的第一页的数据。

url = 'https://example.com/page/1'
soup = get_soup(url)

要获取下一页的数据，我们需要找到页面中的“下一页”按钮，并从中提取出链接。

next_button = soup.find('a', {'class': 'next-page'})
next_page_link = next_button.get('href')

上面的代码将返回下一页按钮的元素对象，并从中提取出链接。现在我们可以使用下一页链接来获取下一页的数据。

soup = get_soup(next_page_link)

我们可以将上面的代码放到一个循环中，来获取所有页面的数据。

url = 'https://example.com/page/1'
while True:
    soup = get_soup(url)
    # 处理获取的数据
    next_button = soup.find('a', {'class': 'next-page'})
    if next_button:
        url = next_button.get('href')
    else:
        break

以上代码将反复执行，直到没有下一页按钮。每次循环获取一个页面的数据并进行处理。

现在你已经学会了使用 Python 3 爬虫翻页的基本操作。你可以使用这些基本技能来实现更复杂的爬虫功能。