tokenizer怎么用-tokenizertokenize

官方文档torchtext包含两部分现在torchtextdata，torchtextdataset，torchtextvocab都放在torchtextlegacy当中了常见用法TEXT=dataFieldtokenize=#39spacy#39，tokenizer_language=#39