给大家分享一个在爬虫中URL经常出现中文的问题的解决方法
在python的爬虫学习中,我们的url经常出现中文的问题,我们想要访问的url就需要对url进行拼接,变成浏览器可以识别的url在python中已经有了这样的模块了,这就是urlencodeurlencode需要对中文和关键字组成一对字典,然后解析成我们的url
在python2中是urllib.urlencode(keyword)在Python中是urllib.parse.urlencode(keyword)
本文福利:私信回复【爬虫】可获取Python爬虫视频教程一套
查看一下代码:
python2
结果如下:
在python3中:
结果如下:
如果需要吧转换的字符变成中文可以用unquota
如下:
python2
python3
但是如果我们的是post请求数据需要加在data里面这样就还需要对data做处理,不然会报字符串的错:
这样的解决方法是需要加上个编码
代码如下:
查看原文 >>