用10行Python在另一个音频中找到一个音频

小灰灰 2022-08-31 01:45 146阅读 0赞

一个有趣（有时也很方便）的数字音频处理问题是在另一个更长的录音中找到一个音频片段。事实证明，一个体面的解决方案只需要大约 10 行 Python 代码。

我们本质上想要的是短剪辑从较长记录开始处的偏移量。为了做到这一点，我们需要在较长信号的各个点测量两个信号的相似性 - 这称为互相关，并且通常具有音频处理或数字信号处理之外的应用。我们将使用众所周知的库，例如为我们实现所有算法的 NumPy。  
![在这里插入图片描述][2bd0e3f88a8f9f2426590bbbc343b010.png_pic_center]

**骗你的，10行还不行，需要11行**  
嗯，实际上这个解决方案需要 10 多行 Python 代码，主要是因为我对空格很慷慨，并且想要真正构建一个方便的 CLI 工具。我们将从main()实现开始：

def main():
        parser = argparse.ArgumentParser()
        parser.add_argument('--find-offset-of', metavar='audio file', type=str, help='Find the offset of file')
        parser.add_argument('--within', metavar='audio file', type=str, help='Within file')
        parser.add_argument('--window', metavar='seconds', type=int, default=10, help='Only use first n seconds of a target audio')
        args = parser.parse_args()
        offset = find_offset(args.within, args.find_offset_of, args.window)
        print(f"Offset: {offset}s" )
    
    
    if __name__ == '__main__':
        main()

在这里，我们定义了 CLI 工具的接口，该接口将两个音频文件作为参数以及我们要用于计算的目标信号部分 - 最多 10 秒是合理的默认值。下一步是实际实现find\_offset功能。

首先，我们将使用一个名为的库librosa来读取我们的两个音频文件，匹配采样率并将它们转换为float32格式（几乎）的原始样本，而不管原始音频格式如何。最后一部分是用ffmpeg它完成的，基本上在涉及 AV 处理的所有地方都使用。

y_within, sr_within = librosa.load(within_file, sr=None)
    y_find, _ = librosa.load(find_file, sr=sr_within)

下一行是真正神奇的地方——我们window使用快速傅立叶变换 (FFT) 方法对父信号和目标信号（或其中一个）执行互相关：

c = signal.correlate(y_within, y_find[:sr_within*window], mode='valid', method='fft')

![在这里插入图片描述][883525f726083c94bb99c6bb9b2992ac.png_pic_center]

我们得到的是一个数字数组，每个数字代表目标音频与它每个点的较长录音的相似性。如果我们绘制它，它将看起来像这样： X 轴代表父音频样本的索引，如果它的采样率为 16 kHz，则每秒由 16000 个样本表示。我们可以看到一个尖峰——这是我们的信号最相似的地方。

![在这里插入图片描述][770cccbc266ae1acf9f3bdf977525607.png]

我们需要做的最后一件事是找到一个样本的索引，其中两个信号的相似度最高，并将其除以采样率——这将是我们想要的偏移量（以秒为单位）。

peak = np.argmax(c)
    offset = round(peak / sr_within, 2)

可以啦~~~

[2bd0e3f88a8f9f2426590bbbc343b010.png_pic_center]: /images/20220829/35c0abe07fc14c419ccff5d1ba2db405.png
[883525f726083c94bb99c6bb9b2992ac.png_pic_center]: /images/20220829/f34c8b5350ce48d48d44547d16a94587.png
[770cccbc266ae1acf9f3bdf977525607.png]: /images/20220829/f776971935504120814863b719da748f.png