Streamer-Sales 是一个直播卖货大模型,它能够帮助直播带货主播生成商品解说文案。能根据商品特点,自动生成吸引用户的介绍,提升销售效果。
它可以将语音转成文字和观众互动、也支持生成带情感的语音,以及生成数字人视频进行解说,甚至能实时查询快递信息。
主要功能
-
主播文案一键生成:根据商品特点自动生成吸引用户的解说文案,激发购买欲望。
-
推理加速:集成LMDeploy进行推理加速,显著提升推理效率,支持KV缓存和Turbomind。
-
检索增强生成 (RAG):结合商品说明书和相关文档,增强生成的文案内容,使其更加贴合实际。
-
语音转文字 (ASR):支持将语音输入转换为文字,便于主播在直播过程中与观众互动。
-
文字转语音 (TTS):生成带有情感的语音输出,使解说更加生动自然。
-
数字人生成:生成虚拟主播视频,用数字人进行商品解说,提升观众体验。
-
实时信息查询 (Agent):通过网络查询实时信息,如快递状态,提供给用户最新的数据。
Streamer-Sales 模型架构
模型用 xtuner 在 InternLM2 的基础上指令微调而来,部署集成了 LMDeploy 加速推理🚀,支持 ASR 语音生成文字 🎙️,支持 RAG 检索增强生成📚做到可以随时更新说明书指导主播生成文案,支持 Agent 通过网络查询快递信息 🌐,还加入带有感情的 TTS 文字转语音🔊生成,最后还会生成主播数字人视频🦸,让主播不止于文字介绍。
1. 总体架构
模型介绍
-
streamer-sales-lelemiao-7b流媒体-销售-lelemiao-7b
- 基座:internlm2-chat-7b
- 数据量:大约40万 Token
- 特点:这是一个基于 internlm2-chat-7b 微调的模型,专为直播带货生成解说文案。模型通过大量商品数据的训练,能够生成高质量的商品解说文案,精准激发用户购买欲望。
- 适用场景:线上直播销售、线下门店推广、商品广告文案生成等。
- 下载:https://modelscope.cn/models/HinGwenWoong/streamer-sales-lelemiao-7b
- streamer-sales-lelemiao-7b-4bit
- 基座:internlm2-chat-7b
- 数据量:大约40万 Token
- 特点:这是 streamer-sales-lelemiao-7b 模型的 4bit 量化版本,进一步优化了推理速度和资源占用。量化后的模型在保持生成质量的同时,显著提升了推理效率,适合在计算资源有限的环境中使用。
- 适用场景:需要高效推理和快速响应的直播带货场景,尤其是在资源受限的情况下。
- 下载:https://modelscope.cn/models/HinGwenWoong/streamer-sales-lelemiao-7b-4bit
Streamer-Sales 项目通过多个模块和技术的集成,构建了一个全面的直播带货大模型系统。其主要架构包括以下几个部分:
-
数据生成与处理模块
- 数据集生成:采用通义千问和文心一言生成数据集,包括商品文案和问答对话。
- 数据清洗和合并:对生成的数据进行清洗,合并并转换为适合训练的格式。
- RAG 数据库生成:创建向量数据库,以支持检索增强生成。
-
模型训练与微调
- 基础模型:使用 InternLM2 作为基础模型。
- 微调:使用 xtuner 对基础模型进行指令微调,以适应不同商品和用户需求。
- 量化处理:使用 LMDeploy 进行4bit量化,提升推理效率。
-
推理与生成模块
- 推理加速:集成 LMDeploy 和 Turbomind,支持 KV cache,显著提升推理速度。
- 检索增强生成 (RAG):结合商品说明书和相关文档,增强生成的文案内容。
-
语音处理模块
- ASR (语音转文字):支持语音输入转换为文字。
- TTS (文字转语音):生成带有情感的语音输出,增强用户体验。
-
数字人生成模块
- 使用 ComfyUI workflow 生成虚拟主播视频,提供生动的商品解说。
-
实时信息查询模块
- Agent 集成:通过网络查询实时信息,如快递状态和天气信息,提供即时反馈。
GitHub:https://github.com/PeterH0323/Streamer-Sales
在线体验:https://openxlab.org.cn/apps/detail/HinGwenWong/Streamer-Sales
Arvin ChatGPT 扩展,可以在任何网站中使用。是使用电子邮件,Twitter和LinkedIn以及博客和Youtube摘要器的AI作家。