如何解决无法使用Python请求/ urllib模块读取北印度文/ Devanagari
我正在尝试抓取这个NREGA Website，其中包含印地语（即梵文）脚本中的数据。结构非常容易刮擦。但是，当我使用request / urllib获取HTML代码时，印地语文本已转换为一些乱码。文本在网站的代码源中显示得很好。
content = requests.get(URL).text
'1पी'被解析为'1 \ xe0 \ xa4 \ xaa \ xe0 \ xa5 \ x80 \ xe0 \ xa4 \ x8f \ xe0 \ xa4 \ xb8'我尝试导出到csv。
解决方法
服务器的响应未在其Content-Type标头中指定字符集，因此请求assumes that the page is encoded as ISO-8859-1（拉丁1）。
>>> r = requests.get('https://mnregaweb4.nic.in/netnrega/writereaddata/citizen_out/funddisreport_2701004_eng_1314_.html')
>>> r.encoding
'ISO-8859-1'
实际上，页面已被编码为UTF-8，正如我们通过检查响应的apparent_encoding属性所知道的：
>>> r.apparent_encoding
'utf-8'
或通过实验
>>> s = '1 \xe0\xa4\xaa\xe0\xa5\x80 \xe0\xa4\x8f\xe0\xa4\xb8'
>>> s.encode('latin').decode('utf-8')
'1 पी एस'
可以通过解码响应的content属性来获得正确的输出：
>>> html = r.content.decode(r.apparent_encoding)
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。