tokenall.io
包含tokenall.io的词条
我的理解就是把原向量进行三次编码,然后在计算attention结果的时候,一个编码只和自己有关,代表该token的特征,另外两个用来和序列中其他向量的编码进行匹配,得到当前向量与其他向量之间的关联程度卷积在视觉中占主流的原因很重要的原因是局部感受野,另外卷积的形式一坨一坨的很契合对图片数据的处理。
日期 2025-02-14 阅 166 tokenall.io
1
我的理解就是把原向量进行三次编码,然后在计算attention结果的时候,一个编码只和自己有关,代表该token的特征,另外两个用来和序列中其他向量的编码进行匹配,得到当前向量与其他向量之间的关联程度卷积在视觉中占主流的原因很重要的原因是局部感受野,另外卷积的形式一坨一坨的很契合对图片数据的处理。
日期 2025-02-14 阅 166 tokenall.io