10月16日消息，IDEA研究院（粤港澳大湾区数字经济研究院）CCNL封神榜团队开源中文基座模型Ziya2-13B-Base及其对话模型Ziya2-13B-Chat，两款模型均完全免费、可商用，已在魔搭社区ModelScope首发上架。
三个月前，Meta开源Llama2系列大模型，包括7B、13B、70B等多个版本，它们均基于超过2万亿tokens数据集训练而成。封神榜团队在Llama2-13B的基础上，进行了650B tokens自建高质量中英文数据集的继续训练，最终训练出Ziya2-13B系列模型，弥补Llama2中文能力不足的问题。
今年5月，封神榜团队曾基于LLaMA一代推出了Ziya-LLaMA-13B模型并开源，迅速成为LLaMA生态里最好的中文基座模型。相较于Ziya-LLaMA-13B，Ziya2-13B-Base的初始训练loss值更低，训练速度提升38%，还解决了训练后期不稳定的问题。
评测结果显示，Ziya2-13B-Base模型在中文、英文、数学、代码等下游理解任务上的表现均明显优于Llama2-13B和Ziya-LLaMA-13B。
依托于Ziya2-13B-Base强大的基础能力，封神榜团队优化了SFT阶段的训练策略，在300B tokens 预训练的Ziya2-13B-Base模型基础上，使用约40万指令样本和8K上下文窗口，训练出对话模型Ziya2-13B-Chat。此外，还在数万条高质量人类偏好数据训练的奖励模型上，针对多种问答、写作以及安全任务进行了强化学习训练，使Ziya2-13B-Chat模型的输出更贴合人类偏好，具有更高的安全性。
评测结果显示，Ziya2-13B-Chat模型与Ziya-LLaMA-13B-v1.1模型在side-by-side评测下取得了66.5%的胜率，相较于人类反馈强化学习前的版本取得了58.4%的胜率。
魔搭社区基于Ziya2-13B-Chat模型开发了体验接口，普通用户可以直接体验或使用模型；魔搭公众号也推出了最佳实践教程，提前跑通模型的部署、推理和微调，供开发者参考。
作为魔搭社区的重要合作伙伴，封神榜团队开源的系列大模型都把魔搭作为首发平台，这些模型也在开发者群体中广受欢迎。
阿里云魔搭是国内规模最大、开发者最活跃的AI模型社区，已聚集国内30多家头部人工智能机构贡献的1200多款优质AI模型，并提供一站式的模型体验、下载、推理、调优、定制等服务，模型总下载量已突破 8500万次。
附：
Ziya2-13B-Base开源地址：
https://modelscope.cn/models/Fengshenbang/Ziya2-13B-Base
Ziya2-13B-Chat开源地址：
https://modelscope.cn/models/Fengshenbang/Ziya2-13B-Chat
魔搭创空间链接：
https://modelscope.cn/studios/Fengshenbang/Ziya2_13B_chat/summary
魔搭最佳实践教程：
https://mp.weixin.qq.com/s?__biz=MzkxNTM5NTg2OA==&mid=2247486897&idx=1&sn=0cddc4c1e739d66e6250353796dc99e5&chksm=c15e89c2f62900d4555b36a5bef058a196f8ed47f0d5b5cb306dfc8cdf5f930ff9eef67d7634#rd
- 田溯宁、高念书分别荣膺“中国软件产业40年功勋人物”、“中国软件行业领军人物” – 2024年4月28日
- 东软亮相Japan IT Week 2024 – 2024年4月28日
- 支付宝全新AI产品开启灰测，支持挂号订票点外卖等30多项办事服务 – 2024年4月26日