tokenizer函数有什么作用-tokenize函数python用法

packagecomitheima***10编写一个截取字符串的函数，输入为一个字符串和字节数，输出为按字节截取的字符串*但是要保证汉字不被截半个，如“我ABC”4，应该截为“我AB”，输入“我ABC汉DEF”，6。ifilt3bufferappend#39#39return