Python3是一种高级编程语言,现在已经成为了广泛使用的语言之一。它不仅可以用于数据分析、机器学习、Web开发等各种领域,还可以用来爬取网站上的数据。本文将介绍如何使用Python3爬取图片,让大家能够轻松下载感兴趣的图片。
首先,我们需要用到Python的一个强大的库——Requests。它可以帮助我们建立一个HTTP客户端,并且可以发送各种类型的HTTP请求。以下是我们的代码:
import os
import requests
def download_img(url, file_name):
try:
if not os.path.exists('images'):
os.makedirs('images')
with open('images/' + file_name, 'wb') as file:
response = requests.get(url)
file.write(response.content)
file.close()
except:
pass
url = 'https://www.example.com/images/'
base_url = 'https://www.example.com/images/page='
page_start, page_end = 1, 10
for page in range(page_start, page_end+1):
print(f'Processing page: {page}')
response = requests.get(base_url + str(page))
content = response.text
image_urls = content.split('img src=')
for img_url in image_urls[1:]:
url_string = img_url.split(' ')[0]
download_img(url_string, url_string.split('/')[-1])
该代码以示例网站上图片的爬取为例。其中,download_img()函数用于下载图片;如果images文件夹不存在,就创建一个;使用requests库连接网站并获取源码;将源代码中的所有图片链接作为数组存储在image_urls中;遍历所有图片链接,使用download_img()函数下载图片。
现在,您可以爬取某个网站上的所有图片了。使用这个小技巧,您可以扩展您的Python知识,并为您开发的应用程序添加强大的功能。
上一篇 python3 爬虫正则
下一篇 python3 项目教程