tokenizer.encode转为onehot的简单介绍

由于任何两个不同词的onehot向量的余弦相似度都为0，多个不同词之间的相似度难以通过onehot向量准确地体现出来word2vec#x2F2F具的提出正是为了解决上#x2FAF这个问题它将每个词表#x2F70成#x2F00个定#x2ED3的向量，并使得这些向量能较好地表达。publicBigI