发表于: 2018-01-07 22:28:15
2 1106
今天完成的事情:学习urllib的基础使用
urllib是python3.x提供的一系列操作URL的库,它可以轻松地模拟用户使用浏览器访问网页。
1、urllib的使用步骤(使用request):
第一步:导入urllib库的request模块
from urllib import request
第二步:请求URL
resp = request.urlopen("http://www.baidu.com")
第三步:使用响应对象输出数据
print(resp.read().decode("utf-8"))
运行效果如下:
2、模拟真实浏览器
方法:携带User-Agent参数
代码如下:
from urllib import request
url = "http://www.baidu.com"
key = "User-Agent"
value = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"
req = request.Request(url)
req.add_header(key,value)
resp = request.urlopen(req)print(resp.read().decode("utf-8"))
效果如下:
明天计划的事情:urllib的POST使用方法
评论