在 Java 中加载 UTF-8 编码的 XML 数据时出现数据库错误

如何解决在 Java 中加载 UTF-8 编码的 XML 数据时出现数据库错误

我正在考虑在这里集思广益，不确定这是否会导致大量关机！

简化：我有一个系统可以读取 XML 文件并将其加载到数据库中。

XML 的架构如下：

Df1: 

col1  col2   
2     2      
1     Nan    
Nan   1         

Df2:

col3  col4   
Nan   1      
1     Nan    
Nan   1         


Final_Df:

col1  col2   
2     1      
1     Nan    
Nan   1   

罪魁祸首字段具有以下架构摘录：

<?XML version="1.0" encoding="UTF-8"?>

架构符合 UTF-8，因此无论是单字节、双字节还是多字节，都应支持 2000 个 UTF-8 字符。

XML 模式已经进行了字符长度检查，如上面摘录中所定义。

问题是有时 XSD 验证成功，但数据库插入失败，当“标题”XML 字段中出现一些多字节 UTF-8 字符时，服务器崩溃并出现数据库错误。

<xsd:simpleType name="title">
.....
<xsd:restriction base="xsd:string">
 <xsd:minLength value="1"/>
 <xsd:maxLength value="2000"/>
</xsd:restriction>

当数据库插入操作失败时，ops需要手动减少XML字段的长度，重新处理XML文件来修复。

我一直在研究：

• 字节与字符长度检查
• 架构验证
• 等

解决方案是否可以进行与字符数匹配的字符串字节数检查？

我可以在 Java 中执行 string.getBytes("UTF-8").length，但这如何匹配 XSD 中的 The database 'title' column is defined as `varchar(2000)` 和 <xsd:maxLength value="2000"/>？

您有什么建议可以确保标题字段的 XML 数据不超过 XSD 中定义的指定长度。并且只要符合XSD，XML数据就成功插入到DB中？

我是否正确假设 XSD 中的 varchar(2000) 与 <xsd:maxLength value="2000"/> 列定义匹配？

解决方法

架构符合 UTF-8

不完全是，但我想我知道你的意思。您引用的 XML 声明没有指定与此模式匹配的 XML 实例文档的任何内容。这只是说 XSD 本身（即带有根标记 的 XML 文档）使用 UTF-8 作为其字符编码。

XML Schema 从不关心 XML 文档的原始字节。正在验证的是 XML 信息集。因此，简单类型的 maxLength 方面表示该字段中最多可以有 2000 个字符。正如您正确指出的那样，以字节为单位的实际长度很容易超过 2000 个字符，但 XML 处理器不会知道或关心。

有时XSD验证成功，但数据库插入失败

我同意 lunatikz - 最可能的解释是数据库配置不正确。

解决方案是否可以进行与字符数匹配的字符串字节数检查？

不，那将解决错误的问题。问题可能出在数据库中，而不是出在您的 Java 代码中。

您有什么建议可以确保标题字段的 XML 数据不超过 XSD 中定义的指定长度。

我认为您不需要做任何事情来确保这一点。您的 XML 验证器已经在为您进行检查，而且它可能工作得很好。

那么只要符合XSD，XML数据就成功插入到DB中？

配置数据库或其表/列定义，使其停止尝试使用单字节字符编码解释输入。

我是否正确假设 XSD 中的 与 varchar(2000) 列定义匹配？

是的，两者都指定了最多 2000 个字符的字段。但是数据库以与 XML 处理器不同的方式解释“字符”一词。