如何解决基于 AI、约束、预期输出的更好的文本编码检测
在工作中，我们会收到来自不同客户的各种大型文本/CSV/平面文件，其中包含需要导入到我们系统中的库存和定价信息。我们已经使用了一些假设/期望使用 UTF-8 编码的不同工具，但我们的客户使用了各种不同的编码（cp1252、UTF-16LE，也许还有其他一些）。
我知道，当涉及到文本编码检测时，没有真正基于概率和统计分析的灵丹妙药明确的方法来做到这一点。但是，在我看来，如果 我 可以查看错误解释/转码输入的结果并发现它是错误的，难道不应该教文本编码检测库同样的事情吗？ ?例如，如果将文件解释为 CP1252 或 UTF-8 之间存在“平局”，那么算法是否可以通过考虑已知的三元组来打破平局，例如“piñata”的结果输出，一个具有共同“aña”的真实单词” trigram，应该战胜“piÒata”，一个不存在的 mojibake 作品吗？
当然，只要我编程，一切皆有可能，我只是觉得这样的东西必须已经存在；理想情况下，它只是一些命令行实用程序，它接受一个文件，根据一些额外的约束/已知的三元组巧妙地确定编码，并生成一个规范化的结果 UTF-8 文件，所有下游解析器都可以从中使用（CSV 和其他)，但我似乎找不到它，或者我不知道如何搜索它。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。