角色问题

如何解决角色问题

背景故事

我基本上是从数据库中检索字符串。我更改一些文本或那些字符串。然后，我将那些字符串替换为原始字符串，上传回数据库。看完显示这些字符串的前端后，我对字符问题感到警觉。我不再拥有原始字符串，但拥有更新后的字符串。

问题

这些字符串中包含其他语言的字符。它们现在无法正确显示。我查看了代码点，看来原来的宪章是一个代码点，现在变成了两个不同的代码点。

"Je?ro^me" //code-points 8. Code-points: 74,101,63,114,111,94,109,101
"Jéróme" //code-points 6.   Code-points: 74,233,243,101

问题

如何将"Je?ro^me"返回到"Jéróme"？

我尝试过的事情

使用记事本++来更改与UTF8，ANSI和WINDOWS-1252之间的编码转换。
创建了一个地图，查找诸如e?之类的东西并将其转换为é。

有两次尝试解决问题的问题

a。尝试进行不同的转换后，该问题仍然存在。

b。这里有两个问题：

我不知道要寻找的所有潜在e?，o^等。超过20,000个文件可能涵盖多种语言。
如果我的句子结尾为e?

为了更好地理解此问题我进行了研究

MCVE

import java.util.HashMap;
import java.util.Map;

/**
 *https://stackoverflow.com/questions/5903008/what-is-a-surrogate-pair-in-java
 *https://docs.oracle.com/javase/tutorial/i18n/text/supplementaryChars.html
 *https://www.w3.org/International/questions/qa-what-is-encoding
 *https://www.joelonsoftware.com/2003/10/08/the-absolute-minimum-every-software-developer-absolutely-positively-must-kNow-about-unicode-and-character-sets-no-excuses/
 * @author sedri
 */
public class App {
    
    static String outputString; 
    
    public static void main(String[] args) {
        
        //May approach to fix the issue
        //Use a map to replace string issue with correct character
        //The output looks good but I would need to include all special characters for may languages.
        //What if I have a sentence like: How old are thee? 
        Map<String,String> map = new HashMap();
        map.put("e?","é");
        map.put("o^","ó");
        
        final String string = "Je?ro^me";
        final String accentString = "Jéróme";
        outputString = string;
        map.forEach((t,u) -> {
            if(outputString.contains(t))
            {
                outputString = outputString.replace(t,u);
            }
        });
        System.out.println("Fixed output: " + outputString);        
        System.out.println("");                    
        //End of my attempt at a solution.
        
        System.out.println("code points: " + string.codePoints().count());                
        for(int i = 0; i < string.length(); i++)
        {
            System.out.println(string.charat(i) + ": " + Character.codePointAt(string,i));
        }
        System.out.println("");    
        
        System.out.println("code points: " + accentString.codePoints().count());                
        for(int i = 0; i < accentString.length(); i++)
        {
            System.out.println(accentString.charat(i) + ": " + Character.codePointAt(accentString,i));
        }
        System.out.println("");    
          
        System.out.println("code points: " + outputString.codePoints().count());  
        for(int i = 0; i < outputString.length(); i++)
        {
            System.out.println(outputString.charat(i) + ": " + Character.codePointAt(outputString,i));
        }        
        System.out.println("");  
    }
}

解决方法

其中一个代码点为63（问号）的事实意味着您将无法可靠地将该数据还原为原始格式。 ?可以代表许多未正确解码的字符，这意味着您丢失了恢复原始字符的重要信息。

您需要做的是首先建立正确的编码，以便在您从数据库中读取时使用。由于您尚未将代码发布到读取这些字符串的位置，因此我无法确切告诉您执行该操作的方式或位置。

希望数据库本身中的数据尚未因不良字符编码而损坏，否则您已经丢失了所需的信息。

您可以通过执行诸如用“ó”替换“ o ^”之类的操作来部分部分修复此类损坏，但是，例如，如果“è”和“é”都变成了“ e”吗？”，则无法确定是哪一个。

如何解决角色问题

解决方法

相关推荐