如何解决在使用crepe模型的ml5音高检测中,如何检测±2kHz以上的音高
我成功地使用了 ml5 的音高检测功能:
- 教程:https://ml5js.org/reference/api-PitchDetection/
- 型号:https://cdn.jsdelivr.net/gh/ml5js/ml5-data-and-models/models/pitch-detection/crepe/
问题:
未检测到高于 ±2000Hz 的音高。我尝试了多种设备并检查声音在超声图上是否可见,因此这似乎不是麦克风问题。
我认为这可能是采样率限制/库进行重采样的结果,因为奈奎斯特频率(最大“可记录”频率)是采样率的一半。
我在本地托管了 ml5 源并尝试修改 PitchDetection class
我看到出于性能原因,采样率似乎被重新采样为 1024Hz。这听起来不对,好像我没有弄错,这只会允许检测高达 512hz 的频率。我肯定错过了什么(或很多)。
我尝试调整费率,但将其增加到 2048 会导致错误:
Error when checking : expected crepe_input to have shape [null,1024] but got array with shape [1,2048].
我的问题是:
ml5 PitchDetection class 中有什么东西可以修改、配置(可能是不同的模型)以使用绉纱模型检测高于 2000Hz 的频率?
解决方法
经过更多调查,发现 CREPE 模型本身支持高达 ~1997Hz(见代码)或 1975.5Hz(见论文)
关于CREPE的论文: https://arxiv.org/abs/1802.06182
状态:
360 个音高值表示为 c1、c2...,选择 360 以便它们覆盖六个八度音程,C1 和 B7 之间的间隔为 20 音分,对应于 32.70 Hz 和 1975.5 Hz
JS implementation 具有将 360 间隔映射到 0 - 1997Hz 范围的映射:
const cent_mapping = tf.add(tf.linspace(0,7180,360),tf.tensor(1997.3794084376191))
这意味着,如果没有重新训练模型,我现在可能无法使用它。
编辑:
睡个好觉后,我找到了一个简单的解决方案,适用于我的简单应用程序。
本质上,它是对我的音频缓冲区重新采样,使其音调降低 2 倍。 CREPE 将 440Hz 的音高检测为 220Hz,我只需将其乘以 2。
对于我的实时、嘈杂的应用程序,结果仍然比 YIN 算法更一致。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。