如何解决如何从BigQuery
我有两个包含公司名称列表的表。第一个是索引表,因此其中的值将是干净的并且格式是一致的。第二张表包含用户输入的公司信息,因此可能存在拼写错误和格式不一致的情况。
第一个(索引表)看起来与此类似:
company_name | industry
Apple Inc Technology
Amazon Inc Retail
Kraft Heinz Food Processing
New York Life Insurance Company Insurance
Tesla Inc Tesla
Walmart Inc Retail
第二个表(用户输入表)与此类似
company_name
Apple
Apple Inc.
Amazon,Inc
Kraft
New York Life
Tsla
Walmart
请注意,第二个表没有industry
列,因为主要目的是将industry
列添加到第二个表中,但是由于没有键,我们不能简单地加入这两个表。
我认为第一步是比较company_name
之间的相似性,如果相似度足够,我们可以假设它是相同的。
我已经做了一些研究,我认为我们需要使用Levenshtein距离。老实说,我对这种方法不是很熟悉,但是从我的有限理解中,我想知道它是否适用于包含多个单词的输入(例如,纽约人寿保险公司)或仅适用于一个单词的输入(例如,Apple)
任何建议或指导将不胜感激。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。