Dolphin 2.9.1 Mixtral 1x22b是Cognitive Computations团队创建的一个多功能文本生成模型。它能够处理指令、对话和编码任务,并且具有基本的代理能力。
Mixtral 1x22b模型设计为不受限制,数据集经过过滤以去除对齐和偏见,高度符合性(即它会严格按照用户的指令执行),意味着它在生成文本时没有严格的限制或过滤机制。这种设计使得模型能够自由生成各种内容,而不强制进行内容审核或过滤。
如果用户提出不道德的请求,模型可能仍会遵循这些请求并生成相应的内容。
该该模型基于Dolphin-2.9-Mixtral-8x22b,使用64k上下文的基础模型,经过16k序列长度的全权重微调,在8xH100 GPU上耗时27小时。模型通过使用SLERP提取方法组合所有8个专家而保持其性能,而不完全转换为密集模型。
主要功能特点
- 多功能文本生成:该模型在处理指令、对话和编码任务方面表现出色,具有广泛的应用能力。
- 高性能:
- 基于Dolphin-2.9-Mixtral-8x22b,拥有64k上下文的基础模型。
- 全权重微调,使用16k序列长度,在8xH100 GPU上耗时27小时完成。
- SLERP提取技术: 通过SLERP提取方法组合所有8个专家而不完全转换为密集模型,从而保持原始模型的性能。
- 初步代理能力: 支持函数调用,具备初步的代理能力,能够处理更复杂的任务。
- 不受限制的模型: 模型经过过滤以去除对齐和偏见,设计为不受限制,具有高度符合性,但可能存在遵循不道德请求的风险。
模型下载:https://huggingface.co/cognitivecomputations/dolphin-2.9.1-mixtral-1x22b
Linktree 是一款允许您在一个页面上集合所有重要链接的在线工具。