搜狗ceo王小川最新视频:搜狗创始人王小川开源baichuan7B
人气:479 ℃/2025-02-21 05:07:00
目前商业化最彻底、许可限制最少的4个大模型,适合企业直接商业部署:
国内:清华悟道Aquila天鹰(直接使用)、王小川baichuan(需发邮件)
国外:Bloom(直接使用)、Falcon(100W刀销售限制)
简介
baichuan-7B 是由搜狗输入法创始人王小川所属百川智能公司开发的一个开源可商用的大规模预训练语言模型。基于 Transformer 结构,在大约 1.2 万亿 tokens 上训练的 70 亿参数模型,支持中英双语,上下文窗口长度为 4096。在标准的中文和英文权威 benchmark(C-EVAL/MMLU)上均取得同尺寸最好的效果。
地址:https://github.com/baichuan-inc/baichuan-7B
评测(仅看中文支持,英文略过)
C-Eval 数据集(国内目前比较权威的评测数据集)是一个全面的中文基础模型评测数据集,涵盖了 52 个学科和四个难度的级别。我们使用该数据集的 dev 集作为 few-shot 的来源,在 test 集上进行了 5-shot 测试。
同级别绝对是碾压的效果
Gaokao 是一个以中国高考题作为评测大语言模型能力的数据集,用以评估模型的语言能力和逻辑推理能力。我们只保留了其中的单项选择题,随机划分后对所有模型进行统一5-shot测试。
协议
遵循开源许可协议 Apache 2.0。
baichuan-7B 支持商用。如果将 baichuan-7B 模型或其衍生品用作商业用途,请您按照如下方式联系许可方,以进行登记并向许可方申请书面授权:联系邮箱:opensource@baichuan-inc.com, 具体许可协议可见《baichuan-7B 模型许可协议》。
申请方式
各位老哥编辑不容易,请点赞、转发、评论!!