包含transformer的tokenizer的作用的词条

3可以利用更细粒度的对齐信息例如帧级别对齐来促进联合建模研究员们定义了两套不同的离散Tokenizer来实现这个目的，分别将语音文本映射到基于音素单元的表示空间和基于隐藏单元的表示空间音素单元Tokenizer使用混合ASR。StringTokenizer是一个Java的类，属于javautil