本文通过简单kaldi源码，分析DNN训练声学模型时神经网络的输入与输出。在进行DNN训练之前需要用到之前GMM-HMM训练的模型，以训练好的mono模型为例，对模型进行维特比alignement（对齐），该部分主要完成了每个语音文件的 帧到 transition-id 的映射 。 不

　　本文通过简单kaldi源码，分析DNN训练声学模型时神经网络的输入与输出。在进行DNN训练之前需要用到之前GMM-HMM训练的模型，以训练好的mono模型为例，对模型进行维特比alignement（对齐），该部分主要完成了每个语音文件的帧到 transition-id 的映射。

　　不妨查看对齐后的结果：

　　$ copy-int-vector "ark:gunzip -c ali.1.gz|" ark,t:- | head -n 1

　　speaker001_00003 4 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 16 15 15 15 18 890 889 889 889 889 889 889 892 894 893 893 893 86 88 87 90 89 89 89 89 89 89 89 89 89 89 89 89 89 89 194 193 196 195 195 198 197 386 385 385 385 385 385 385 385 385 388 387 387 390 902 901 901 904 903 906 905 905 905 905 905 905 905 905 905 905 905 914 913 913 916 918 917 917 917 917 917 917 752 751 751 751 751 751 754 753 753 753 753 753 753 753 753 756 755 755 926 925 928 927 927 927 927 927 927 927 930 929 929 929 929 929 929 929 929 4 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 16 18

　　对于一个训练语音文件speaker001_00003，后面的每一个数字标示一个transition-id，同时每个数字对应一个特征向量，对应的向量可以 copy-MATrix 查看，可参考特征提取相关内容，链接如下：

　　同样查看 transition-id：

　　$ show-transitions phones.txt final.mdl

　　Transition-state 1: phone = sil hmm-state = 0 pdf = 0

　　Transition-id = 1 p = 0.966816 [self-loop]

　　Transition-id = 2 p = 0.01 [0 -> 1]

　　Transition-id = 3 p = 0.01 [0 -> 2]

　　Transition-id = 4 p = 0.013189 [0 -> 3]

　　Transition-state 2: phone = sil hmm-state = 1 pdf = 1

　　Transition-id = 5 p = 0.970016 [self-loop]

　　Transition-id = 6 p = 0.01 [1 -> 2]

　　Transition-id = 7 p = 0.01 [1 -> 3]

　　Transition-id = 8 p = 0.01 [1 -> 4]

　　Transition-state 3: phone = sil hmm-state = 2 pdf = 2

　　Transition-id = 9 p = 0.01 [2 -> 1]

　　Transition-id = 10 p = 0.968144 [self-loop]

　　Transition-id = 11 p = 0.01 [2 -> 3]

　　Transition-id = 12 p = 0.0118632 [2 -> 4]

　　Transition-state 4: phone = sil hmm-state = 3 pdf = 3

　　Transition-id = 13 p = 0.01 [3 -> 1]

　　Transition-id = 14 p = 0.01 [3 -> 2]

　　Transition-id = 15 p = 0.932347 [self-loop]

　　Transition-id = 16 p = 0.0476583 [3 -> 4]

　　Transition-state 5: phone = sil hmm-state = 4 pdf = 4

　　Transition-id = 17 p = 0.923332 [self-loop]

　　Transition-id = 18 p = 0.0766682 [4 -> 5]

　　Transition-state 6: phone = a1 hmm-state = 0 pdf = 5

　　Transition-id = 19 p = 0.889764 [self-loop]

　　Transition-id = 20 p = 0.110236 [0 -> 1]

　　...

　　唯一的Transition-state对应唯一的pdf，其下又包括多个 Transition-id，

　　接下来看神经网络的输入与输出到底是什么。这里以steps/nnet为例。追溯脚本到steps/nnet/train.sh，找到相关的命令：

　　...

　　labels_tr="ark:ali-to-pdf $alidir/final.mdl \"ark:gunzip -c $alidir/ali.*.gz |\" ark:- | ali-to-post ark:- ark:- |"

　　...

　　feats_tr="ark:copy-feats scp:$dir/train.scp ark:- |"

　　...

　　# input-dim,

　　GEt_dim_from=$feature_transform

　　num_fea=$（feat-to-dim "$feats_tr nnet-forward \"$get_dim_from\" ark:- ark:- |" -）

　　# output-dim,

　　num_tgt=$（hmm-info --print-arGS=false $alidir/final.mdl | grep pdfs | awk '{ print $NF }'）

　　...

　　dnn）

　　utils/nnet/make_nnet_proto.py $proto_opts \

　　${bn_dim:+ --bottleneck-dim=$bn_dim} \

　　$num_fea $num_tgt $hid_layers $hid_dim >$nnet_proto

　　;;

　　从上面关键的几个神经网络的训练的准备阶段可以看出，神经网络的输入很清楚是变换后的特征向量（feats_tr），输出是labels_tr，下面单独运行上面的命令，来查看神经网络的输出（target）是什么。labels_tr的生成分两步：

　　ali-to-pdf： 将上面对齐文件中的transition-id转化为对应的pdf-id；

　　ali-to-post: 根据得到的pdf-id，生成[pdf, post]对，即pdf与其对应的后验概率。

　　$ ali-to-pdf final.mdl "ark:gunzip -c ali.1.gz|" ark,t:- | head -n 1

　　speaker001_00003 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3 3 3 3 4 440 440 440 440 440 440 440 441 442 442 442 442 38 39 39 40 40 40 40 40 40 40 40 40 40 40 40 40 40 40 92 92 93 93 93 94 94 188 188 188 188 188 188 188 188 188 189 189 189 190 446 446 446 447 447 448 448 448 448 448 448 448 448 448 448 448 448 452 452 452 453 454 454 454 454 454 454 454 371 371 371 371 371 371 372 372 372 372 372 372 372 372 372 373 373 373 458 458 459 459 459 459 459 459 459 459 460 460 460 460 460 460 460 460 460 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3 4

　　观察前两帧，结合文章一开始，transition-id 分别为4和1，而对应的pdf均为0。对该结果再进行ali-to-post：

　　$ ali-to-pdf final.mdl "ark:gunzip -c ali.1.gz|" ark,t:- | head -n 1 | ali-to-post ark,t:- ark,t:-

　　speaker001_00003 [ 0 1 ] [ 0 1 ] [ 0 1 ] [ 0 1 ] [ 0 1 ] [ 0 1 ] [ 0 1 ] [ 0 1 ] [ 0 1 ] [ 0 1 ] [ 0 1 ] [ 0 1 ] [ 0 1 ] [ 0 1 ] [ 0 1 ] ...... [ 3 1 ] [ 3 1 ] [ 3 1 ] [ 3 1 ] [ 4 1 ] [ 440 1 ] [ 440 1 ] [ 440 1 ] [ 440 1 ] [ 440 1 ] [ 440 1 ] [ 440 1 ] [ 441 1 ] [ 442 1 ] [ 442 1 ] [ 442 1 ] [ 442 1 ] [ 38 1 ] [ 39 1 ] [ 39 1 ] [ 40 1 ] [ 40 1 ] [ 40 1 ] [ 40 1 ] [ 40 1 ] [ 40 1 ] [ 40 1 ] [ 40 1 ] [ 40 1 ] [ 40 1 ] [ 40 1 ] [ 40 1 ] [ 40 1 ] [ 40 1 ] [ 40 1 ] [ 92 1 ] [ 92 1 ]...... [ 0 1 ] [ 0 1 ] [ 0 1 ] [ 0 1 ] [ 3 1 ] [ 4 1 ]

　　得到pdf-id以及相应的后验概率，这里均为1。