tokenizer.encoder_plus函数的简单介绍

tokenizer库提供预定义好的四个分词对象，其中char_delimiters_separator已弃用其他如下1char_separatorchar_separator有两个构造函数1char_。以及tokenizerencode_plus三个函数调用时的参数基本一致，主要有