发表于: 2018-01-07 22:28:15

2 940



今天完成的事情:学习urllib的基础使用


urllib是python3.x提供的一系列操作URL的库,它可以轻松地模拟用户使用浏览器访问网页。


1、urllib的使用步骤(使用request):

第一步:导入urllib库的request模块

from urllib import request

第二步:请求URL

resp = request.urlopen("http://www.baidu.com")

第三步:使用响应对象输出数据

print(resp.read().decode("utf-8"))


运行效果如下:


2、模拟真实浏览器

方法:携带User-Agent参数

代码如下:

from urllib import request
url = "http://www.baidu.com"
key = "User-Agent"
value = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"
req = request.Request(url)
req.add_header(key,value)
resp = request.urlopen(req)

print(resp.read().decode("utf-8"))

效果如下:


明天计划的事情:urllib的POST使用方法



返回列表 返回列表
评论

    分享到