语音之家 潜水
  • 1发帖数
  • 1主题数
  • 0关注数
  • 0粉丝
开启左侧

Kaldi的解码搜索(源码解析)

[复制链接]
语音之家 发表于 2021-9-9 14:54:56 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
构建了HCLG解码图后,解码就是在这个图上寻找一条最优路径。最优路径上去除epsilon后的输出标签序列就是单词级别的识别结果。本篇主要剖析kaldi源码实现。
解码

decode.sh

                               
登录/注册后可看大图

源码剖析:

                               
登录/注册后可看大图

过程:

                               
登录/注册后可看大图

Viterbi静态解码

功能:使用基于GMM的模型对特性举行解码。接纳维特比算法举行解码,仅产生线性序列。产生的任何lattice都是线性的,即只有一个解码结果。输入:GMM声学模型、HCLG.fst解码图、测试语音声学特性输出:解码结果(词序列、对齐序列、lattice)
过程之道:

                               
登录/注册后可看大图

1)解码第一帧时,从状态节点0出发,首先举行ProcessEmitting处置处罚的发射状态转移弧,节点0转移到节点3、2、6。接着ProcessNonemitting沿着虚线非发射转移弧将6传播到同一时候下的状态节点1。
2)解码第二帧时首先切换Token列表,把cur_toks列表转变到pre_toks列表后,将cur_toks置空。然后再举行ProcessEmitting、ProcessNonemitting。
3)随着时间的推移,帧地举行,到达末了一帧,选择最低累计代价的Token,然后以次Token回溯最优路径。
kaldi的gmm-decode-simple实现了这个过程。

                               
登录/注册后可看大图

函数剖析:
1)decoder.Decode(&gmm_decodable)
解码过程:

                               
登录/注册后可看大图


                               
登录/注册后可看大图


                               
登录/注册后可看大图

● DecodableAmDiagGmmScaled gmm_decodable()
根据声学模型,计算出某一帧的声学分数。声学得分是通过高斯混淆概率密度函数计算得到的。
● GetBestPasth()
根据末了一个token举行回溯,得到解码结果。
把结果放到这个词格中,词格中是单一路径。
● GetLinearSymbolSequence(decoded,NULL,&words,NULL)
从线性词格中取出结果,写入到words中。words中是word ID,要根据辞书把id真正转化为单词序列,得到末了的结果。
Lattice静态解码

gmm-latgen-faster功能:
解码识别:基于GMM模型生成lattices网格,生存N-best路径。(不能保证viterbi给的最优路径就是真正的对的路径)
源码剖析:

                               
登录/注册后可看大图


                               
登录/注册后可看大图

过程:
lattice生成的解码结果并非单一路径,而是N-best路径。
在每次令牌通报过程中,lattice也像viterbi解码那样删除旧令牌的方法来生成,而是通过独特的ForwardLink前向链接机制来生成lattice。
前向链接ForwardList与转移弧不同,用来链接前后两帧之间的发射转移弧之间的Token,或同一时候非发射转移弧之间的Token。
基于WFST的Lattice静态解码过程:

                               
登录/注册后可看大图

kaldi中的gmm-latgen-faster实现了lattice解码。

                               
登录/注册后可看大图

函数剖析:

                               
登录/注册后可看大图

其中解码、回溯部分、写入文件部分也包含在这个函数内。
decoder.Decode(&decodable)举行解码。

                               
登录/注册后可看大图


                               
登录/注册后可看大图

令牌通报:
LatticeDecode并不是向viterbi解码那样通报令牌自己,而是在创建新令牌后,使用一个前向链接把令牌链接起来。

                               
登录/注册后可看大图

诊断评分


                               
登录/注册后可看大图


                               
登录/注册后可看大图

末了从所有错误率中找到最低的那个错误率。

                               
登录/注册后可看大图

Kaldi的YesNo实例解码识别错误率0%。
其中 N 是 num总数,C 是 corr 准确数,S 是 sub 替换错误,D 是 Del 是删除错误,I 是 INS 插入错误。
解码结果


                               
登录/注册后可看大图
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

猜你喜欢
在线客服QQ
2241998733

24x7小时免费咨询

Powered by 创意电子 ©2018-现在 专注资源实战分享源码下载站联盟商城繁体中文