Meta AI发表了一篇论文,研究了一种新的训练大型语言模型的方法,即通过预测多个未来标记来提高模型的效率和性能。这里的“标记”指的是词或者词组成分,而传统的模型通常只预测下一个标记。研究发现,让模型同时预测接下来的多个标记,可以帮助模型更好地学习和理解语言,从而在各种任务,特别是编程和自然语言处理任务上表现更好。
主要的改进点包括:
Support authors and subscribe to content
This is premium stuff. Subscribe to read the entire article.
Login if you have purchased
设计癖,致力于传播好工业设计媒体。设计癖是各平台中成立最早的平台,也是国内首批专注于发现、报道好设计的网站。