在 python 中读取文件时出现编解码器错误 - “charmap”编解码器无法解码位置 3124 中的字节 0x81：字符映射到 <undefined>

如何解决在 python 中读取文件时出现编解码器错误 - “charmap”编解码器无法解码位置 3124 中的字节 0x81：字符映射到 <undefined>

我正在开展一个机器学习项目，该项目可从所有电子邮件中过滤垃圾邮件/网络钓鱼电子邮件。为此，我使用了 SpamAssassin 数据集。数据集包含以下格式的不同邮件：

为了识别网络钓鱼电子邮件，我要做的第一件事就是找出电子邮件有多少个网络链接。为此，我编写了以下代码：

wordsInLine = []
tempWord = []
urlList = []
base_dir = "C:/Users/keert/Downloads/Spam_Assassin/spam"

def count():
    flag = 0
    print("Reading all file names in sorted order")
    for filename in sorted(os.listdir(base_dir)):
        file=open(os.path.join(base_dir,filename))
        count1 = 0
        for line in file:
            
            wordsInLine = line.split(' ')
            for word in wordsInLine:
                
                if re.search('href="http',word,re.I):
                    count1=count1+1

        file.close()
        urlList.append(count1)
        if flag!=0:
            print("File Name = " + filename)
            print ("Number of links = ",count1)
        flag = flag + 1

count()
final = urlList[1:]
print("List of number of links in each email")
print(final)

with open('count_links.csv','wb') as myfile:
    wr = csv.writer(myfile,quoting=csv.QUOTE_ALL)
    for val in final:
        wr.writerow([val])

print("CSV file generated")

但是这段代码给了我一个错误，说：'charmap'编解码器无法解码位置 3124 的字节 0x81：字符映射到

我什至尝试通过添加 encoding = 'utf8' 选项来打开文件。但是，冲突仍然存在，我得到了一个错误，例如：'utf-8'编解码器无法解码位置 3124 中的字节 0x81：字符映射到

我猜这是由于文件中的特殊字符造成的。有什么办法可以解决这个问题，因为我不能跳过特殊字符，因为它们也很重要。请建议我这样做的方法。提前致谢

---

解决方法

您必须使用与写入文件相同的编码来打开和读取文件。在这种情况下，这可能有点困难，因为您正在处理电子邮件，并且它们可以采用任何编码，具体取决于发件人。在您展示的示例文件中，消息使用“iso-8859-1”编码进行编码。

然而，电子邮件有点奇怪，因为它们由一个标题（据我所知是 ASCII 格式），后跟一个空行和正文组成。正文以标头中指定的编码进行编码。所以可以在同一个文件中使用两种不同的编码！

如果您确定所有电子邮件都使用 iso-8859-1 编码，并且您正在寻找快速而肮脏的解决方案，那么您也可以使用“iso-8859-1”打开文件' 编码，因为电子邮件标头与 iso-8859-1 兼容。但是，请准备好您还必须处理其他电子邮件格式/编码/转义问题，否则您的脚本可能无法完全按预期工作。

我认为最好的解决方案是寻找一个可以处理电子邮件的 Python 模块，这样它就可以处理所有解码内容，而您不必担心。它还将解决其他问题，例如转义字符和换行符。

我自己没有这方面的经验，但似乎 Python 内置了对使用 e-mail package 解析电子邮件的支持。我建议看看那个。