如何解决识别具有特定语言的元素,例如中国人
我有一个看起来像这样简化的数据集:
call_id<- c("001","002","003","004","005","012","024")
transcript <- c("All the best and happy birthday","万事如意,生日快乐","See you tomorrow","Nice hearing from you","再相见","玩","恭喜你 ")
df <- as.data.frame(cbind(call_id,transcript))
我需要一个代码来为我提供 call_id 或行号,以便在成绩单列包含中文的情况下进行观察。我的最终目标是排除成绩单列包含中文的行。由于我有一个包含 250,000 个观察值的数据集,显然它必须是一个自动执行此操作的代码,而不是为这个小数据集手动执行此操作的代码。我已经用 Quanteda 做了一些分析。 Quanteda 有这方面的可能吗?提前致谢。
解决方法
对于汉字使用Unicode字符类怎么样?
> txt <- c("All the best and happy birthday","万事如意,生日快乐")
> stringi::stri_detect_regex(txt,"\\p{Han}")
[1] FALSE TRUE
,
您可以使用 R
中的 textcat
包来检测多种语言。它可以检测多达 74 种语言,并使用简化的 n-gram 方法,旨在消除原始方法的冗余。
这是删除具有 Chinese
语言的行的示例-
library("textcat")
out_df <- df[textcat(df$transcript) != "chinese",]
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。