如何解决使用 SQLite FTS ICU 分词器对日语动词进行错误分词
我正在尝试在 Android 设备上为日语使用 sqlite FTS ICU 标记器。
这是我的查询：
CREATE VIRTUAL TABLE IF NOT EXISTS tokenizer_ja USING fts3tokenize(icu,ja);
SELECT token,position,start,end FROM tokenizer_ja WHERE input=?;
? 被替换为我想要标记的短语。
它几乎可以工作了，但是动词有问题。例如，句子 日本語で話します 被标记为 日本語、で、話、し、ます。
我尝试了不同的动词，所有动词都存在同样的问题。只有字典形式的标记化是正确的。
有没有好的标记化方法？可以激活的标记器选项？任何解释为什么标记化是这样的？
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
