李开复官宣全球最强开源大模型Yi-34B 一次可处理40万汉字

生活网11月6日 消息:零一万物推出了「Yi」系列开源大模型，其中Yi-34B在全球开源大模型排行榜上取得了显著成就，击败了其他竞品模型，成为双料冠军，尤其在中文指标上表现卓越。Yi-34B的性能超越了全球其他大模型，拥有强大的语言理解和处理能力，可以满足国内市场的需求。

https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard

与此同时，Yi-34B还提供了全球最长的上下文窗口，支持200K字符，相比OpenAI的GPT-4的32K上下文窗口，具有更大的处理能力。

这一成就得益于零一万物的科学训模方法和AI Infra团队的支持。他们采用了一系列优化措施，包括计算通信重叠、序列并行、通信压缩等，使大规模模型训练的能力提升了近100倍。

与传统的「炼丹」方法不同，零一万物通过规模化训练实验平台进行数据配比、超参搜索和模型结构实验，使模型的预测能力更强，减少了资源浪费。这使得Yi-34B具有卓越的性能，同时降低了训练成本。

Yi-34B的开源属性也是一个亮点，它允许开发者直接使用200K上下文窗口，提供更丰富的语义信息，有助于理解超过1000页的PDF文档，以及其他依赖于向量数据库构建知识库的应用场景。

此外，零一万物计划继续训练更大规模的模型，以进一步提高性能和降低成本。未来几个月，预计会有更多的Yi系列大模型推出。

这一成就是零一万物科学训模方法和AI Infra团队的结晶，通过科学方法和技术优化，他们实现了超越行业水平的训练效果，降低了模型训练成本，提高了性能。Yi-34B的发布标志着中国在大模型领域的取得重大突破，为全球开源大模型社区带来了新的竞争力。