一文带大家初了解Speechbrain

电玩女神 2022-10-10 12:50 569阅读 0赞

> Speechbrain是一个基于pytorch的语音工具包，它的野心也是很大的，定位是将所有功能集于一身的语音工具包。涉及到各种语音技术，比如语音识别系统、说话人识别系统、语音增强系统、多麦克风信号处理系统等等。接下来，我主要是从github简介入手，做一个中文翻译这样的工作。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x6eDE1OTk1MQ_size_16_color_FFFFFF_t_70_pic_center]

[github地址][github]

[官网地址][Link 1]

### 特点介绍 ###

*  提供许多非常好的预训练模型，与非常知名的一个Huggingface公司的模型看齐。Huggingface是一个专注于NLP技术的一家公式，拥有大量的开源预训练模型，如果你是从事自然语言处理相关工作的，一定不要错过这个库。[官网][Link 2]
 *  Brain类是一个完全可定制的工具，用于管理训练和评估这些过程，不用再关注训练的细节。同时提供灵活性，可以在你需要的时候，进行方法的重写。
 *  基于YAML的超参数规范语言，用于描述所有类型的超参数。从单个数字(比如学习率),到完整的对象(比如自定义模型)。通过提取基本算法的组件，极大的简化了代码的配置工作。
 *  具有pytorch数据并行或者分布式并行的多GPU训练与推断
 *  使用混合精度训练\[采用半精度的形式，减少内存占有量和运行时间，具体看[知乎实验][Link 3]\]方式，加快训练速度。
 *  与pytorch的数据输入和输出完美融合，用户可自定义I/O通道。

#### speech recognition【语音识别】 ####

SpeechBrain支持end-to-end的语音识别的SOTA方法

*  支持wav2vec 2.0 预训练模型，并可以进行微调
 *  在自动语音识别基准测试中，SOTA模型与其他现有的工具包的性能相当
 *  易于定制的神经网络模型，包括RNNLM和TransformerLM模型。我们还提出一些预训练模型，能够节省你非常多的计算。同时支持Hugging Face 数据集以此方便在大型文本数据集上进行训练。
 *  混合CTC 和注意力端到端ASR。
    
     *  这里有许多可用的编码器：CRDNN（VGG+\{LSTM，GRU，LiGRU\}+DNN）、ResNet、SincNet、vanilla transformers、基于contextnet的transformers或conformers。同时，你完全可以使用定制的编码器连接CTC/注意力解码器，并且在几小时的工作时间内进行训练。同时，解码器也是完全可以定制的：LSTM,GRU,LIGRU,Transformer或者你自己的网络。
     *  可进行CPU或GPU上优化和快速波束搜索
     *  Transducer 端到端ASR和自定义Numba损失加速训练。从VGG+RNN+DNN到conformers，任何编码器或解码器都可以放进Transducer 。
     *  预训练的ASR模型，用于转录音频文件或提取下游任务的特征。

#### Feature extraction and augmentation【特征提取与增强】 ####

SpeechBrain提供非常有效并且对GPU友好的语音增强和声学特征提取方案

*  实时、完全可微的声学特征提取：可以学习滤波器组，这简化了训练流程。
 *  动态特征规范化(全局、句子、批处理和说话人级别)。
 *  基于噪声、混响和嘈杂的人声的动态环境，可用于鲁棒模型训练。
 *  动态频域和时域扩频

#### Speaker recognition, identification and diarization【说话人识别，声纹识别和声纹分割聚类】 ####

SpeechBrain对于说话人识别，声纹识别和声纹分割聚类在不同数据集上，提供不同的模型

*  ECAPA-TDNN模型在说话人识别，声纹分割聚类任务上达到SOTA。
 *  使用PLDA\[一种降维方法\]实现最初的Xvectors\[声纹识别主流baseline\]
 *  声纹分割聚类的光谱聚类(结合说话人特征)
 *  可以在你的数据集上，使用预训练模型去提取说话人特征。

### Speech enhancement and separation【语音增强和分离】 ###

*  频谱掩蔽、频谱映射和时域语音增强的方案
 *  多复杂的增强损失，包括可微STOI损失、MetricGAN和模型损失
 *  使用Conv-TasNet、DualPath-RNN和SepFormer进行语音分离的SOTA (最新性能)

#### Multi-microphone processing【多麦克风处理】 ####

组合多麦克风是在不利的声学环境中实现鲁棒性的一种有效方法

*  Delay-and-sum, MVDR, and GeV beamforming
 *  说话人定位

#### performance【表现】 ####

SpeechBrain发布的方法实现了具有最先进性能的语音处理系统：

![image-20210628142757677][]

对于更多的细节，可以去查看 /recipes/dataset

#### Documentation & Tutorials【文档和指导】 ####

SpeechBrain设计的初衷是为了语音技术得到更快的发展。因此，我们的代码由三种不同级别的文档进行备份：

*  low-level：在审查不同的pull请求的过程中，我们将重点放在给出的评论级别上。因此，任何复杂的功能或长管道都支持有用的注释，使用户可以方便地自定义代码
 *  Functional-level：SpeechBrain中的所有类都包含一个详细的docstring，该docstring详细说明了输入和输出格式、不同的参数、函数的用法、潜在的相关书目，以及在pull请求期间用于测试集成的函数示例。这样的例子也可以用来操纵一个类或一个函数来正确地理解到底发生了什么。
 *  Educational-level：我们提供了各种GoogleColab（即交互式）教程，描述了从工具箱核心到为特定任务设计的特定模型等所有SpeechBrain构建块。随着时间的推移，可用教程的数量将增加。

#### Under development ####

我们正致力于集成DNN-HMM用于语音识别和机器翻译。

#### Quick installation ####

SpeechBrain在不断进化。新功能、教程和文档将随着时间的推移而出现。SpeechBrain可以通过PyPI安装以快速使用标准库。此外，本地安装可供那些需要运行实验和修改/定制工具箱的用户使用。SpeechBrain支持CPU和GPU计算。然而，对于大多数模型来讲,GPU是必要的。在训练期间。请注意，CUDA必须正确安装才能使用GPU。

#### install via PyPI ####

如果你已经创建了python环境了，你可以输入：

pip install speechbrain

然后，你可以使用SpeechBrain

import speechbrain as sb

#### Install with Github ####

如果你已经创建了python环境了，你可以输入：

git clone https://github.com/speechbrain/speechbrain.git
    cd speechbrain
    pip install -r requirements.txt
    pip install --editable .

然后，你可以使用SpeechBrain：

import speechbrain as sb

#### Test Installation ####

请运行下面的脚本，确保你安装成功：

pytest tests
    pytest --doctest-modules speechbrain

#### Running an experiment ####

使用SpeechBrain时，你可以下面这种形式运行实验：

> cd recipes/<dataset>/<task>/
    > python experiment.py params.yaml

结果将会以yaml文件形式被保存在 `output_folder`。这个文件夹在 `experimen.py`中使用`sb.core.create_experiment_directory()`被创建。详细的日志和实验结果都将被保存在这里，对了，会有少量冗长的日志会输出到屏幕上。

#### SpeechBrain Roadmap ####

作为一个基于社区的开源项目，SpeechBrain需要社区的帮助才能朝着正确的方向发展。向我们的用户开放路线图使工具箱能够从新思想、新研究轴甚至新技术中受益。我们的讨论中提供的路线图列出了SpeechBrain当前版本中需要完成的所有更改和更新。欢迎用户通过新的话题提出新的话题！

#### Learning SpeechBrain ####

与那些又长又无聊的README不同，我们更喜欢给你不同的资源，这些资源能够让你去学会使用SpeechBrain去解决你的问题和需求：

*  常规的信息可以在这个[网站][Link 1]上找到
 *  我们提供了很多教程，你可以从[基本][Link 4]的SpeechBrain基本功能和构建块开始。我们还提供更高级的教程（例如SpeechBrain advanced、signal processing…）。你可以通过右上角SpeechBrain网站上的教程下拉菜单浏览它们。
 *  https://speechbrain.readthedocs.io/en/latest/index.html中给出了有关SpeechBrain API、如何贡献和代码的详细信息。

##### 自己的看法 #####

有实力有能力的公司都在做工具，做框架。这对于我们语音相关的开发者，无疑是一件大利好的事情，它能够让我们不用去过多关注底层的细节，更多的是使用工具快速的验证想法和工程落地。我认为从事语音相关的从业者或者研究学者，可以重点关注一下！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x6eDE1OTk1MQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221005/3c62483a71364d3599534323cc46af7c.png
[github]: https://github.com/speechbrain/speechbrain
[Link 1]: https://speechbrain.github.io/
[Link 2]: https://huggingface.co/
[Link 3]: https://zhuanlan.zhihu.com/p/352165852
[image-20210628142757677]: /images/20221005/edc5b498332a4748b6f7f9b15e1f9a27.png
[Link 4]: https://speechbrain.github.io/tutorial_basics.html