tokenizer.encode如何对中文编码的简单介绍

1、它们的真实字符值就是u#39\u6c49\u5b57#39内码，可以用quot汉字quotencodequothexquot来查看当前终端下utf8编码值的十六进制码所以我的命令是，所以我的命令是，将#39e6b189e5ad97#39这坨字节数组，转换为unicode的字符；可以看出，对于实际