python3 爬虫伪装

爬虫伪装是指在爬取网站信息的同时，掩盖爬虫的真实身份，以避免被目标网站拦截或封禁。针对 Python3 爬虫，我们可以采用以下几种方式来伪装爬虫的真实身份。

# 采用 User-Agent 伪装爬虫身份
import requests

url = 'https://www.example.com'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url,headers=headers)
content = response.text

以上代码中，我们在请求头部添加了 User-Agent，User-Agent 是用来标识浏览器的头部字符串。通过将 User-Agent 伪装成某种浏览器的 User-Agent，我们就可以将爬虫伪装成浏览器，从而绕过一些反爬虫的检测。在 Python 中，我们可以在请求头中使用 headers 参数来添加 User-Agent。

# 采用代理 IP 伪装爬虫身份
import requests

url = "https://www.example.com"
proxies = {"https": "https://10.10.1.10:3128","http": "http://10.10.1.10:3128"}
response = requests.get(url,proxies=proxies)
content = response.text

另一种常见的爬虫伪装方式是采用代理 IP，在请求时使用代理服务器的 IP 地址，来隐藏真实的 IP 地址。这种方式可以避免被目标网站通过 IP 地址对爬虫发起拦截或封禁。在 Python 中，我们可以在 requests 请求中使用 proxies 参数来指定代理 IP。

除了以上两种方式，还可以针对目标网站的反爬虫策略进行更深入的分析与研究，进而制定更具针对性的爬虫伪装方案。