基于Ollama本地部署Llama3指南!
发布时间:2024年06月06日
众所周知,扎克伯格的Meta又开源了Llama3 8B和70B的预训练(pretrained)和指令微调(instruction-tuned)两个版本,还有个更大的400B参数预计在今年夏天发布,这个400B可能是第一个 GPT-4 级别。
我们先来对Llama3做个初步的了解把。
模型架构
Llama 3 是一个自回归语言模型(an auto-regressive language),它使用优化的
transformer 架构。调整后的版本使用监督微调 (SFT) 和带有人类反馈的强化学习 (RLHF),以符合人类对有用性和安全性的偏好。
相关参数
训练数据 |
参数量 |
上下文长度 |
分组查询注意力 (GQA) |
预训练数据 |
知识截至日期 |
|
Llama 3 |
公开在线数据集 |
8B |
8K |
是 |
15T+ |
2023 年 3 月 |
Llama 3 |
70B |
8K |
是 |
15T+ |
2023 年 12 月 |
Llama3这个模型是在Meta新建的两座数据中心集群中训练的,包括超4.9万张英伟达H100GPU。
如何安装
ollama如何安装可以看往期文章,这里不多做赘述了。
拉取Llama3
短短几个小时已经更新了54个tags了。
目前推荐拉取这四个版本,其他量化版本是不明用户调整的。
左边是版本下拉选择,选中的版本在右边代码窗口会显示拉取代码,只要点复制icon,并把它黏贴到CMD或Powershell终端内。
注意:这次示例以windows用户为例。
ollama run llama3:instruct
或者
ollama run llama3
就像这样,按回车开始拉取llama3(国内用户拉取速度也非常快)。
实际使用Llama3
llama3_8B的生成速度非常快,这个版本用N卡8G的显存跑问题也不大。
日活2亿用户,占据行业领先地位