算力龙头发布开源千亿级大模型 浪潮信息宣布全面开源

神童股手

　　11月27日，记者从浪潮信息获悉，公司于当日发布“源2.0”基础大模型，并宣布全面开源。“源2.0”基础大模型包括1026亿、518亿、21亿三种参数规模的模型，在编程、推理、逻辑等方面展示出了先进的能力。

　　公司当日在投资者关系平台上表示，公司作为算力系统供应商，支持多元异构算力，可适配多种架构的AI加速芯片。公司一直致力于多元算力平台构建，公司期待与行业内更多厂商合作，共同赋能千行百业。

　　多项模型评测表现不俗
　　浪潮信息是全球领先的IT基础设施产品、方案和服务提供商，拥有8个研发中心、10个生产基地、26个分支机构，业务遍及120多个国家和地区。公司长期扎根于服务器行业，专注于为客户提供先进的云计算、大数据、边缘计算等计算产品和解决方案。

　　浪潮信息表示，基础大模型的关键能力是大模型在行业和应用落地时的重要支撑，但基础大模型的发展也面临着来自算法、数据和算力等方面的诸多挑战。“源2.0”基础大模型则针对性地提出了新的改进方法并获得了能力的提升。

　　据介绍，在算法方面，“源2.0”提出并采用了一种新型的注意力算法结构，能够更好地学习到自然语言的局部和全局的语言特征，对于自然语言的关联语义理解更准确、更人性，提升了模型的自然语言表达能力，进而提升了模型精度。

　　在数据方面，“源2.0”通过使用中英文书籍、百科、论文等高质量中英文资料，降低了互联网语料内容占比，结合高效的数据清洗流程，为大模型训练提供了高质量的专业数据集和逻辑推理数据集。

　　“为了获取中文数学数据，我们清洗了从2018年至今约12PB的互联网数据，但仅获取到了约10GB的数学数据，投入巨大，收益较小。为了更高效地获得相对匮乏的高质量中文数学及代码数据集，”源2.0“采用了基于大模型的数据生产及过滤方法，在保证数据的多样性的同时也在每一个类别上提升数据质量，获取了一批高质量的数学与代码预训练数据。”浪潮信息相关负责人举例说。

　　在算力方面，“源2.0”采用了非均匀流水并行的方法，综合运用“流水线并行+优化器参数并行+数据并行”的策略，该方法显著降低了大模型对芯片间P2P带宽的需求，为硬件差异较大训练环境提供了一种高性能的训练方法。

　　上述负责人告诉记者，“源2.0”作为千亿级基础大模型，在业界公开的评测上进行了代码生成、数学问题求解、事实问答方面的能力测试。测试结果显示，“源2.0”在多项模型评测中，展示出了较为先进的能力表现。

　　实现算力全流程绿色化
　　数字经济时代，算力已成为最核心的生产力，作为算力的重要载体，数据中心的绿色降碳涉及到包括服务器、存储、网络、供电、散热、基础设施管理在内的方方面面。

　　为全面推进绿色计算，浪潮信息提出了“低碳、高效、健康”的绿色算力理念。浪潮信息服务器产品线总经理赵帅表示：“我们要从服务器基础部件到整机系统，再到整个数据中心，在算力生产、运营与服务各环节，实现算力全流程的绿色化，从而促进绿色算力在企业的广泛应用。”

　　据其介绍，目前，浪潮信息具备从整体数据中心的规划、建设到实施全套的绿色化解决方案，实现了从室外液冷一次侧循环冷源到室内CDU、集液器、液冷二次侧循环、液冷服务器等全线布局，为用户全方位打造绿色节能数据中心交钥匙工程。“同时，还可根据客户所处环境，帮助客户采用模块化、预制化等不同建设模式，最大程度上实现节能降碳。”

　　构建绿色算力产业生态
　　计算的绿色化是一个长期的过程，新的绿色节能技术在不断迭代、进化。目前，浪潮信息已参与制定并发布了十余项液冷相关设计技术标准，牵头编制并发布了国内首批冷板式液冷核心部件团体标准，涵盖冷板、连接系统、冷量分配单元、监控系统等方面，填补了冷板式液冷数据中心标准的空白。

　　作为国内算力龙头企业，浪潮信息还牵头制定了《模块化数据中心通用规范》国家标准，进一步推动绿色数据中心产业的快速发展及绿色节能技术的大规模普及。

　　赵帅表示，“从算力源头减少碳排放，绿色化实践与度量体系缺一不可。”由于业界对于国家及地区宏观能效调控以及规模化算力中心的能效标准均有定义，但对于整机及部件尤其是使用环节的碳排放评测缺乏统一标准。为精准计算服务器算力和碳排放水平，浪潮信息与中国信息通信研究院联合发布《绿色算力白皮书》，构建“绿色算力评测体系”，推出了业界首个服务器碳排放评测标准。

　　在推动绿色算力标准化的同时，浪潮信息也通过智能化、模块化、预制化等创新实践，不断打造绿色数据中心新样板，布局建设了一系列绿色产线，推动构建健康的绿色算力产业生态。

　　此外，浪潮信息建成了亚洲产能最大的天池液冷产业基地，构建了研发、测试、生产、品控、交付全链条液冷智造能力，实现了液冷产品的标准化、品质化、系列化生产，年产能超10万台。

　　浪潮信息表示，未来将继续携手产业链上下游合作伙伴，依托自身在绿色数据中心领域强大的研发储备、丰富的产品体系、出色的绿色智造供应与交付能力以及构建完善生态的产业格局，助推数据中心产业转型升级，加速数据中心产业绿色低碳发展。

　　浙商证券研报指出，随着深度学习领域的快速发展，越来越多的应用场景需要使用大模型来进行训练和推理。然而，企业在大模型开发全流程中，常常面临切换硬件集群、适配底层硬件以及微调优化等复杂问题。加之大模型研发周期长、部署门槛高等系列挑战，“攒机”式开发手段难以满足需求。

　　平安证券则认为，当前，全球大模型技术发展方兴未艾，大模型需要大算力。浪潮信息作为全球服务器行业龙头，在AIGC技术创新方面取得积极成果。公司具备强大的抗风险能力，在经过供应链的波动之后，长期来看，公司仍将深度受益算力(包括AI算力)需求的增长。