Whisper-Finetune — AI 语音识别工具中文文档

演示地址：[Web部署](https://whisper.yeyupiaoling.cn:8082/)

安装环境

1. 首先安装的是Pytorch的GPU版本，如果已经安装过了，请跳过。

pip3 install torch torchvision --index-url https://download.pytorch.org/whl/cu128

1. 安装所需的依赖库。

python -m pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

<a name='准备数据'></a>

Web部署

--host指定服务启动的地址，这里设置为0.0.0.0，即任何地址都可以访问。--port指定使用的端口号。--model_path指定的Transformers模型。--num_workers指定是使用多少个线程并发推理，这在Web部署上很重要，当有多个并发访问是可以同时推理。其他更多的参数请查看这个程序。

python infer_server.py --host=0.0.0.0 --port=5000 --model_path=models/whisper-tiny-finetune --num_workers=2

Android部署

安装部署的源码在AndroidDemo目录下，具体文档可以到该目录下的README.md查看。 <br/> <div align="center"> <img src="./docs/images/android2.jpg" alt="Android效果图" width="200"> <img src="./docs/images/android1.jpg" alt="Android效果图" width="200"> <img src="./docs/images/android3.jpg" alt="Android效果图" width="200"> <img src="./docs/images/android4.jpg" alt="Android效果图" width="200"> </div>

<a name='Windows桌面应用'></a>

使用Ctranslate2格式模型预测

这里提供了一个CTranslate2加速的方式，尽管使用Transformers的pipeline推理速度已经很快了，首先要转换模型，把合并后的模型转换为CTranslate2模型。如下命令，--model参数指定的是合并后的模型路径，同时也支持直接使用Whisper原模型，例如直接指定openai/whisper-large-v2。--output_dir参数指定的是转换后的CTranslate2模型路径，--quantization参数指定的是量化模型大小，不希望量化模型的可以直接去掉这个参数。

ct2-transformers-converter --model models/whisper-tiny-finetune --output_dir models/whisper-tiny-finetune-ct2 --copy_files tokenizer.json preprocessor_config.json --quantization float16

执行以下程序进行语音识别，--audio_path参数指定的是要预测的音频路径。--model_path指定的是转换后的CTranslate2模型。其他更多的参数请查看这个程序。

python infer_ct2.py --audio_path=dataset/test.wav --model_path=models/whisper-tiny-finetune-ct2

输出结果如下： ```shell ----------- Configuration Arguments ----------- audio_path: dataset/test.wav model_path: models/whisper-tiny-finetune-ct2 language: zh use_gpu: True use_int8: False beam_size: 10 num_workers: 1 vad_filter: False

接口文档

目前提供识别接口/recognition，接口参数如下。

返回结果：

示例如下：

{
  "results": [
    {
      "result": "近几年,不但我用书给女儿压碎,也全说亲朋不要给女儿压碎钱,而改送压碎书。",
      "start": 0,
      "end": 8
    }
  ],
  "code": 0
}

为了方便理解，这里提供了调用Web接口的Python代码，下面的是/recognition的调用方式。

import requests

response = requests.post(url="http://127.0.0.1:5000/recognition", 
                         files=[("audio", ("test.wav", open("dataset/test.wav", 'rb'), 'audio/wav'))],
                         json={"to_simple": 1, "remove_pun": 0, "language": "zh", "task": "transcribe"}, timeout=20)
print(response.text)

提供的测试页面如下：

首页http://127.0.0.1:5000/ 的页面如下：

文档页面http://127.0.0.1:5000/docs 的页面如下：

<a name='使用Ctranslate2格式模型预测'></a>

微调Whisper语音识别模型和加速推理

简体中文 | English

模型测试表

1. 原始模型字错率测试表。

| 使用模型 | 指定语言 | aishell_test | test_net | test_meeting | 粤语测试集 | 模型获取 | |:----------------------:|:-------:|:------------:|:--------:|:------------:|:-------:|:--------:| | whisper-tiny | Chinese | 0.31898 | 0.40482 | 0.75332 | N/A | 加入知识星球获取 | | whisper-base | Chinese | 0.22196 | 0.30404 | 0.50378 | N/A | 加入知识星球获取 | | whisper-small | Chinese | 0.13897 | 0.18417 | 0.31154 | N/A | 加入知识星球获取 | | whisper-medium | Chinese | 0.09538 | 0.13591 | 0.26669 | N/A | 加入知识星球获取 | | whisper-large | Chinese | 0.08969 | 0.12933 | 0.23439 | N/A | 加入知识星球获取 | | whisper-large-v2 | Chinese | 0.08817 | 0.12332 | 0.26547 | N/A | 加入知识星球获取 | | whisper-large-v3 | Chinese | 0.08086 | 0.11452 | 0.19878 | 0.35301 | 加入知识星球获取 | | whisper-large-v3-turbo | Chinese | 0.08647 | 0.21225 | 0.20390 | 0.38069 | 加入知识星球获取 |

1. 微调数据集后字错率测试表。

| 使用模型 | 指定语言 | 数据集 | aishell_test | test_net | test_meeting | 粤语测试集 | 模型获取 | |:----------------------:|:---------:|:----------------------------------------------------------:|:------------:|:--------:|:------------:|:-------:|:--------:| | whisper-tiny | Chinese | AIShell | 0.13043 | 0.4463 | 0.57728 | N/A | 加入知识星球获取 | | whisper-base | Chinese | AIShell | 0.08999 | 0.33089 | 0.40713 | N/A | 加入知识星球获取 | | whisper-small | Chinese | AIShell | 0.05452 | 0.19831 | 0.24229 | N/A | 加入知识星球获取 | | whisper-medium | Chinese | AIShell | 0.03681 | 0.13073 | 0.16939 | N/A | 加入知识星球获取 | | whisper-large-v2 | Chinese | AIShell | 0.03139 | 0.12201 | 0.15776 | N/A | 加入知识星球获取 | | whisper-large-v3 | Chinese | AIShell | 0.03660 | 0.09835 | 0.13706 | 0.33464 | 加入知识星球获取 | | whisper-large-v3-turbo | Chinese | AIShell | 0.03607 | 0.23038 | 0.35697 | 0.35697 | 加入知识星球获取 | | whisper-large-v3 | Cantonese | 粤语(含港式粤语) | 0.12443 | 0.32365 | 0.35911 | 0.02106 | 加入知识星球获取 | | whisper-large-v3-turbo | Cantonese | 粤语(含港式粤语) | 0.14028 | 0.34483 | 0.38682 | 0.03255 | 加入知识星球获取 | | whisper-tiny | Chinese | WenetSpeech | 0.17711 | 0.24783 | 0.39226 | N/A | 加入知识星球获取 | | whisper-base | Chinese | WenetSpeech | 0.14548 | 0.17747 | 0.30590 | N/A | 加入知识星球获取 | | whisper-small | Chinese | WenetSpeech | 0.08484 | 0.11801 | 0.23471 | N/A | 加入知识星球获取 | | whisper-medium | Chinese | WenetSpeech | 0.05861 | 0.08794 | 0.19486 | N/A | 加入知识星球获取 | | whisper-large-v2 | Chinese | WenetSpeech | 0.05443 | 0.08367 | 0.19087 | N/A | 加入知识星球获取 | | whisper-large-v3 | Chinese | WenetSpeech | 0.04947 | 0.10711 | 0.17429 | 0.60919 | 加入知识星球获取 |

1. 微调其他语言数据集后字错率测试表。

| 使用模型 | 实际语言 | 指定语言 | 数据集 | 测试集 | 模型获取 | |:----------------------:|:----:|:-------:|:----------------------------:|:-------:|:--------:| | whisper-tiny | 维吾尔语 | Chinese | CommonVoice-Uyghur + THUYG20 | 0.06798 | 加入知识星球获取 | | whisper-base | 维吾尔语 | Chinese | CommonVoice-Uyghur + THUYG20 | 0.04690 | 加入知识星球获取 | | whisper-small | 维吾尔语 | Chinese | CommonVoice-Uyghur + THUYG20 | 0.02855 | 加入知识星球获取 | | whisper-medium | 维吾尔语 | Chinese | CommonVoice-Uyghur + THUYG20 | 0.01669 | 加入知识星球获取 | | whisper-large-v2 | 维吾尔语 | Chinese | CommonVoice-Uyghur + THUYG20 | 0.01480 | 加入知识星球获取 | | whisper-large-v3-turbo | 维吾尔语 | Chinese | CommonVoice-Uyghur + THUYG20 | 0.01744 | 加入知识星球获取 |

说明： 1. 测试过指定语音为Chinese和uzbek，训练tiny模型的字错率分别是：0.06798和0.0685，它们差距不大，所上面使用都是指定语言为Chinese。 2. 使用CommonVoice-Uyghur的测试集作为本项目测试集，其余的和THUYG20全部作为训练集。

1. 推理速度测试表，使用GPU为GTX3090（24G），音频为test_long.wav，时长为3分钟整，测试程序在tools/run_compute.sh。

1. 经过处理的数据列表。

| 数据列表处理方式 | AiShell | WenetSpeech | |:----------:|:--------:|:-----------:| | 添加标点符号 | 加入知识星球获取 | 加入知识星球获取 | | 添加标点符号和时间戳 | 加入知识星球获取 | 加入知识星球获取 |

重要说明： 1. 在评估的时候移除模型输出的标点符号，并把繁体中文转成简体中文。 2. aishell_test为AIShell的测试集，test_net和test_meeting为WenetSpeech的测试集。 3. 测试速度的音频为dataset/test_long.wav，时长为3分钟整。 4. 训练数据使用的是带标点符号的数据，字错率高一点。 5. 微调AiShell数据不带时间戳，微调WenetSpeech带时间戳。

<a name='安装环境'></a>

微调模型

准备好数据之后，就可以开始微调模型了。训练最重要的两个参数分别是，--base_model指定微调的Whisper模型，这个参数值需要在HuggingFace存在的，这个不需要提前下载，启动训练时可以自动下载，当然也可以提前下载，那么--base_model指定就是路径，同时--local_files_only设置为True。第二个--output_path是是训练时保存的Lora检查点路径，因为我们使用Lora来微调模型。如果想存足够的话，最好将--use_8bit设置为False，这样训练速度快很多。其他更多的参数请查看这个程序。

<a name='单卡训练'></a>

合并模型

微调完成之后会有两个模型，第一个是Whisper基础模型，第二个是Lora模型，需要把这两个模型合并之后才能之后的操作。这个程序只需要传递两个参数，--lora_model指定的是训练结束后保存的Lora模型路径，其实就是检查点文件夹路径，第二个--output_dir是合并后模型的保存目录。

python merge_lora.py --lora_model=output/whisper-tiny/checkpoint-best/ --output_dir=models/

<a name='评估模型'></a>

评估模型

执行以下程序进行评估模型，最重要的两个参数分别是。第一个--model_path指定的是合并后的模型路径，同时也支持直接使用Whisper原模型，例如直接指定openai/whisper-large-v2，第二个是--metric指定的是评估方法，例如有字错率cer和词错率wer。提示： 没有微调的模型，可能输出带有标点符号，影响准确率。其他更多的参数请查看这个程序。

python evaluation.py --model_path=models/whisper-tiny-finetune --metric=cer

<a name='预测'></a>