导读一对美国研究人员说，他们使用一种称为vokenization的更有效，可扩展的新技术，提高了对AI语言的理解。北卡罗来纳大学大学团队的新颖方法涉
一对美国研究人员说，他们使用一种称为vokenization的更有效，可扩展的新技术，提高了对AI语言的理解。
北卡罗来纳大学大学团队的新颖方法涉及对“令牌”一词的重复，该令牌是程序员用来预训练语言模型的一个词。复仇是一种上下文标记-视觉输入匹配。
Vokenization消除了为每个图像数据集中的每个图像编写字幕的需要-最适合无限数量的坐在键盘上的猴子的任务。它还为语言模型提供了上下文，这是语言模型在处理具有延展性和令人困惑的交流概念(即英语)时无法独自获得的东西。
作者在研究论文中写道：“该模型将语言标记作为输入，并使用与标记相关的图像作为视觉监控。”句子在“ vokenizer”中成为标记的序列，从而在整个句子的上下文中给出标记和图像的相关性得分。
从更具体的角度来看，这将使系统更容易自主运行并向人类解释其在环境中的行为。
“我们的视觉监督语言模型显示了在多种纯语言任务(例如GLUE，SQuAD和SWAG)上对自我监督替代方案的持续改进。”