本节讲解第一个 Python 爬虫实战案例:抓取您想要的网页,并将其保存至本地计算机。
首先我们对要编写的爬虫程序进行简单地分析,该程序可分为以下三个部分:
拼接 url 地址
发送请求
将照片保存至本地
明确逻辑后,我们就可以正式编写爬虫程序了。
导入所需模块
本节内容使用 urllib 库来编写爬虫,下面导入程序所用模块:
```from urllib import request
from urllib import parse
拼接URL地址 定义 URL 变量,拼接 url 地址。代码如下所示: ```url = 'http://www.baidu.com/s?wd={}' #想要搜索的内容 word = input('请输入搜索内容:') params = parse.quote(word) full_url = url.format(params)
向URL发送请求
发送请求主要分为以下几个步骤:
创建请求对象-Request
获取响应对象-urlopen
获取响应内容-read
代码如下所示:
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0'} #创建请求对应 req = request.Request(url=full_url,headers=headers) #获取响应对象 res = request.urlopen(req) #获取响应内容 html = res.read().decode("utf-8")
保存为本地文件
把爬取的照片保存至本地,此处需要使用 Python 编程的文件 IO 操作,代码如下:
```filename = word + '.html'
with open(filename,'w', encoding='utf-8') as f:
f.write(html)
完整程序如下所示: ```from urllib import request,parse # 1.拼url地址 url = 'http://www.baidu.com/s?wd={}' word = input('请输入搜索内容:') params = parse.quote(word) full_url = url.format(params) # 2.发请求保存到本地 headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0'} req = request.Request(url=full_url,headers=headers) res = request.urlopen(req) html = res.read().decode('utf-8') # 3.保存文件至当前目录 filename = word + '.html' with open(filename,'w',encoding='utf-8') as f: f.write(html)
尝试运行程序,并输入编程帮,确认搜索,然后您会在 Pycharm 当前的工作目录中找到“编程帮.html”文件。
函数式编程修改程序
Python 函数式编程可以让程序的思路更加清晰、易懂。接下来,使用函数编程的思想更改上面代码。
定义相应的函数,通过调用函数来执行爬虫程序。修改后的代码如下所示:
```from urllib import request
from urllib import parse
def get_url(word):
url = 'http://www.baidu.com/s?{}'
params = parse.urlencode({'wd':word})
url = url.format(params)
return url
def request_url(url,filename):
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0'}
req = request.Request(url=url,headers=headers)
res = request.urlopen(req)
html = res.read().decode('utf-8')
with open(filename,'w',encoding='utf-8') as f:
f.write(html)
if name == 'main':
word = input('请输入搜索内容:')
url = get_url(word)
filename = word + '.html'
request_url(url,filename)
```
除了使用函数式编程外,您也可以使用面向对象的编程方法(本教程主要以该方法),在后续内容中会做相应介绍。
Copyright © 2023 leiyu.cn. All Rights Reserved. 磊宇云计算 版权所有 许可证编号:B1-20233142/B2-20230630 山东磊宇云计算有限公司 鲁ICP备2020045424号
磊宇云计算致力于以最 “绿色节能” 的方式,让每一位上云的客户成为全球绿色节能和降低碳排放的贡献者