矩阵乘法(MatMul)是使用Transformer架构的大语言模型(LLM)中最耗费计算资源的操作,需要大量的GPU集群。随着LLM规模的扩大,MatMul的成本显著增加,从而导致训练和推理时的内存使用和延迟增加。
加利福尼亚大学圣克鲁兹分校(University of California, Santa Cruz)、苏州大学(Soochow University)和加利福尼亚大学戴维斯分校(University of California, Davis)的研究人员开发了一种新颖的架构,该架构完全消除了语言模型中的矩阵乘法,在保持高性能的同时显著减少了内存使用。
Support authors and subscribe to content
This is premium stuff. Subscribe to read the entire article.
Login if you have purchased
Flythroughs 让你的手机变成了一个专业的 3D 摄像机。你不需要是电影制片人或摄影师,也可以制作出令人惊叹的 3D 视频。