如何解决查找两个不同人所说的两个音频信号之间的相似性
我有一个 14 秒的 master.wav 文件和另一个 221 秒的 child.wav 文件，分为总共 207 个块，每块 14 秒。现在我想将每个子块与主文件进行比较，并希望找到它们之间的相似性。 假设是具有最高相似度的子块将包含主文件中所说的完全相同或大致相同的单词。 我正在使用 pyaudioanalysis 库来提取 .wav 文件 (https://github.com/tyiannak/pyAudioAnalysis)
的特征解决方法
这个问题需要完整的语音识别课程 101 才能回答，但要简短：
- 两个不同说话者的同一个词的波形不会比其他随机事物更相似。您应该依靠特征提取来识别共振峰，以便能够识别音素，然后是单词 (See here) 或使用机器学习方法来为您做或多或少相同的事情 (HMMs or neural networks)
- 儿童和成人通常会使用不同的频率范围发出元音。这就是为什么您不能使用任何距离度量来对来自不同性别/年龄组的人所说的话进行聚类
- 如果你仍然想继续你的方法，尽管我在前面的几点中说了什么，你必须决定在你的情况下什么将构成一个好的相似性度量：你有很多选择，例如：MSE、MAE、MAPE等
您可以尝试将 MFCC 计算为特征并使用 DTW 作为距离度量。
,您可以从每个块中提取一个嵌入向量并计算它们的余弦相似度（或其他距离度量，如果需要）。 嵌入向量是一个固定维度的向量（它使您能够比较具有不同持续时间的语音样本），它总结了给定语音中的全局信息（例如说话者身份）。 可以使用针对分布表示或说话人识别训练的编码器模块来提取嵌入向量。 以下是一些流行的嵌入方法：
- i-vector：训练以总结给定语音的分布模式
- 基于深度学习的嵌入（例如，x 向量）：经过训练以包含说话人判别信息
这些方法可用于比较说出不同句子（或单词）的语音样本，因为它们通常针对独立于文本的说话者验证进行了优化。 如果您没有任何可用于训练此类模型的大规模训练数据，幸运的是有一些公开可用的预训练模型：
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
