如何解决使用pd.read_csv问题编码两种不同的语言
我正在构建从德语到阿拉伯语的神经机器自动翻译器。我正在读取一个CSV文件,其中包含德语句子及其相应的阿拉伯语翻译。我想使用pd.read_csv
同时阅读两种语言。我已经尝试过Python documentation中所有语言的所有代码,但没有一个起作用。
最适合我的是:
df = pd.read_csv("DLATS.csv",encoding ='windows-1256')
“ windows-1256”是阿拉伯语的编码别名。但是问题在于,它不能捕获诸如(ä)之类的德语特殊字符,而是将其转换为问号(?)。因此单词drängte变成了dr?ngte。
那么,任何人都可以帮助我解决此问题或解决该问题的方法吗?我曾想过将德语和阿拉伯语句子分别放在单独的CSV文件中,以便每个CSV文件仅包含一行,然后也许我会尝试将它们混合在Python代码中。但是看来pd.read_csv
至少需要CSV文件中的两列才能工作。
更新:我注意到原始的csv文件也包含德语的这些问题。因此,由于原始文件位于Excel中,因此我最终设法通过直接读取excel而不是csv来解决我的问题,因此我使用了不带任何编码属性的pd.read_excel,并且效果很好。我以前不知道熊猫有pd.read_excel。
解决方法
就我而言,我使用清晰的read_csv
。
import pandas as pd
df = pd.read_csv('download.csv')
print(df)
german arabic
0 drängte حث
如果结果不佳,则可能是数据没有正确保存在csv中。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。