在Win11上部署ChatGLM3详细步骤
发布时间:2024年06月06日
2023年10月27日,智谱AI于2023中国计算机大会(CNCC)上,推出了全自研的第三代基座大模型ChatGLM3及相关系列产品,这也是智谱AI继推出千亿基座的对话模型ChatGLM和ChatGLM2之后的又一次重大突破。此次推出的ChatGLM3采用了独创的多阶段增强预训练方法,使训练更为充分。评测显示,在44个中英文公开数据集测试中,到目前为止ChatGLM3在国内同尺寸模型中排名首位。官方说明该模型的性能较前一代大幅提升,是10B以下最强基础大模型!重点来了,ChatGLM3在能力大幅增强的同时,依然是开源的、免费商用!
项目下载模型地址:Ghttps://github.com/THUDM/ChatGLM3
下面的操作都是基于您已创建了python虚拟机,安装好pytorch等工作后的操作。
1、下载本仓库
git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3
2、安装相关依赖
pip install -r requirements.txt
其中 transformers 库版本推荐为 4.30.2,torch 推荐使用 2.0 及以上的版本,以获得最佳的推理性能。
3、本地加载模型
网上加载模型就不要想了,速度、速度啊。我们还是本地加载模型。
git clone https://huggingface.co/THUDM/chatglm3-6b
这个地址下载不下来,可以去modelscope这个地址下载:
git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
全模型文件如下图:
4、下载后,按照之前的方法,创建一个文件夹,THUDM,把这些模型考贝到里面。修改模型路径,参考之前的修改方法。
5、网页加载的方式,还是两种
(1)python web_demo.py
(2)、通过Streamlit方式加载
streamlit run web_demo2.py
(3)命令行方式
python cli_demo.py
CodeFormer,超最强的AI 视频去码、图片修复,人脸修复神器。