以此治理大模子从业者国产化迁徙难问题成都专业的神秘顾客调查公司

发布日期：2024-03-08 20:03    点击次数：169

AI大模子云的新吸收，开箱即用的模子开采部署器用。

作家 | 三北

裁剪 | 漠影

跟着OpenAI的视频生成模子Sora爆火，国内大模子同业正在铆足劲加快追逐，同期濒临的算力瓶颈及对应的资本压力日益突显。

软件优化要领是破解算力瓶颈的一条捷径。本年3月，国内著明AI公司潞晨科技开源的Sora复现架构决议Open-Sora，据称可申斥46%复现资本，背后就收货于潞晨科技的Colossal-AI软件系统。

Colossal-AI是潞晨科技自研的面向大模子的通用深度学习系统，可用于大模子稽查、微调、推理部署的全历程。该系统在圈内与微软DeepSpeed和英伟达的Megatron分庭抗礼，并凭借GitHub上三万六千多颗星，被一众开采者视为细分赛谈世界第一。

本年2月，潞晨科技更进一步集合华为推出Colossal-AI云平台——ColossalAI Platform，以此治理大模子从业者国产化迁徙难问题，为用户提供开箱即用的高性能算力及开采部署全历程器用。与此同期，潞晨昇腾训推一体机仍是上线，据称性能最高可达对应A800机器性能的92%。

ColossalAI Platform网站截图

ColossalAI Platform地址：

https://platform.luchentech.com/

当下恰恰AI成两会热点话题，高层初度将开展“东谈主工智能+（AI+）”举止写进政府职责禀报，AI算力瓶颈问题备受关爱。那么相宜中国的AI算力治理决议应该是什么样的？

潞晨科技与华为集合推出的算力治理决议，为产业提供了一个典型新范本。

01 .

直击传统行业“AI+”痛点

两大决议培植算力中心价值

“参预2024年，咱们不雅察到大模子有关算力需求彰着加多。”潞晨有关肃肃东谈主告诉智东西，“相等是视频生成大模子如Sora的爆发，以及对话机器东谈主的正常应用，推动了大模子在不同业业的落地应用。”

在这种配景下，客户的需求特征变化主要体咫尺对更大边界、更高性能的筹备资源的遑急需求，以满足复杂任务的稽查和推理。各地算力中心如棋布星罗般落成，一方面有望在启用后说合大批AI算力需求，另一方面则在落地场景中濒临严峻的应用挑战。

算力中心唯有靠提供异常行状，才气形成诱骗客户的卖方上风。

业内东谈主士称，不少算力中心有硬件却很难卖出去，因为无法帮客户信得过把算力用起来。算力中心的客户在大模子开采过程中濒临重重挑战，触及千般化的⼯具和框架、复杂的开采和部署过程、资源管制和攻击、数据管制、膨胀、监控和调试、安全性和权限管制等多方面，成为传统行业“AI+”转型的路障。

潞晨科技与华为最新的配合，为算力中心及传统行业“AI+”转型提供了新解法。本年2月，潞晨科技与华为推出了两类集合治理决议：

一是ColossalAI Platform独处部署版，这是个⼀体化的AI开采和部署平台，不错助用户在昇腾上像作念PPT相似稽查/微调/部署大模子。用户可通过华为云云商店下单，进行ColossalAI Platform绝顶化部署，从而在土产货以更低门槛、更低资本、更高速率通过绝顶数据稽查/微调出恶果更好的绝顶垂类大模子。

ColossalAI Platform独处部署版网站截图

ColossalAI Platform独处部署版地址：

ht tps://marketplace.huaweic loud.com/contents/b0fa0a48-b4b5-4651-8277-a14430a8b4d0#productid=OFFI967630942413742080

二是潞晨昇腾训推一体机，也即是潞晨昇腾超等职责站，用户购买机器后可零资本迁徙，开箱即用地赢得与英伟达机器忘形的高性能算力，用上与ColossalAI Platform访佛的功能及行状。

1、电烤炉在通电前必须检查漏电保护器、底线、电缆、开关是否关好，检查箱门是否合上，合上开关通电，调节适当温度，进行预加热。

02 .

云平台：千元预算半天稽查

让路源模子忘形GPT

潞晨有关肃肃东谈主告诉智东西，关于自有昇腾硬件算力的客户或算力中心来说，神秘顾客仪器他们只需要在华为云云商店下单Colossal-AI Platform独处部署版，就大意赢得访佛“千元半日训出70亿参数大模子”、“万元训出忘形GPT大模子”的体验。

几个月前，Colossal-AI团队仅讹诈8.5B tokens数据、15小时、数千元的稽查资本，到手构建了性能非凡的70亿参数中语Llama 2版块模子，在多个评测榜单性能优厚。

Colossal-LLaMA-2-7B测试忘形同边界SOTA模子

在此基础上，1月，Colossal-AI再次迭代，讹诈25B tokens数据，仅破耗数万元资本，打造了恶果更佳的130亿参数的Llama 2模子，在CMMLU、AGIEVAL、GAOKAO与C-Eval多个榜单上进展优异，并排破耗上千万元的主流大模子。这些大模子在许多场景中能忘形OpenAI的GPT-3.5以至是GPT-4模子。

Colossal-LLaMA-2-13B测试超同边界主流模子

关于用户来说，ColossalAI Platform上手书单。平台提供统⼀的接⼝和⼯具，底层本领繁难仍是被屏蔽了，使得开采大模子变得像作念PPT相似容易。

证实潞晨官方测试，通过活泼的筹备资源、可膨胀性和高度可定制的环境，ColossalAI Platform能助大模子预稽查资本申斥50%，大模子基础设施资本申斥10倍，大模子硬件需求资本申斥10倍，大模子神色上线时候缩小10倍。

从功能模块来看，ColossalAI Platform主要包括基础设施层、行状层-AI行状中台、应⽤层-AI治理⽅案三层架构。

ColossalAI Platform的主要架构

其中，基础设施层包括筹备节点、存储和⽹络几个模块，提供硬件与框架⽀握、原⽣集成ColossalAI的预制镜像、预制镜像⾥AI代码框架版块的按期更新、AI算⼒资源管制等功能。

行状层-AI行状中台主要提供AI算⼒资源管制、AI云主机、模子稽查、稽查任务模版、模子部署、模子管制、数据集管制、算法管制等功能。

应⽤层-AI治理⽅案主要提供AI应⽤阛阓、镜像管制、⽂档中⼼等功能。

总的来说，Colossal-AI Platform的主要上风如下：

1、ColossalAI Platform和Colossal-AI通过在⼤型集群上提供“低代码零代码开采体验”，显贵提⾼复杂应⽤体式的开采速率。

2、ColossalAI Platform原⽣集成⾼效踱步式开采基础设施Colossal-AI，进⼀步优化⼤模子的稽查和推理过程。

3、ColossalAI Platform预置⾃动化算⼒和存储资源的治理⽅案，⾃动为⽤户建树最优集群，并确保数据安全。

神秘顾客_赛优市场调研

4、ColossalAI Platform显贵申斥企业研发资本，将⼤模子项⽬上线时候缩小10倍。

Colossal-Al云上大模子高效治理决议旧年底赢得了华为云集合CNCF、中国通讯院等颁发的“2023年度云原生本领翻新奖”，Colossal-AI大模子开采系统也在同期期入选中国信通院委果开源大模子产业鞭策方阵。

潞晨科技获“2023年度云原生本领翻新奖”

03 .

一体机：克服昇腾适配瓶颈

性能对都NV同代居品

关于一些尚未采购算力的客户，潞晨昇腾超等职责站是优选旅途。

潞晨昇腾超等职责站具有两大中枢上风，0资本末端到昇腾机器的无缝迁徙，并从性能上忘形英伟达高端稽查卡。

潞晨Colossal-AI系统行为亚洲AI系统细分赛谈名递次一的选手，凭借其在AI系统软件的职责当先匡助国内企业治理了昇腾机器适配繁难，仅需装置Colossal-AI便可末端原先PyTorch神色到昇腾机器上的无缝迁徙。

潞晨昇腾超等职责站末端0资本适配

在性能方面，在Colossal-AI的加握下，昇腾性能则可径直忘形以至越过英伟达在原生PyTorch框架下的性能，弥补了国内在AI系统上的空白，为国内繁多有落地大模子筹划的企业提供了可靠的寰宇产替代决议。

潞晨昇腾超等职责站获昇腾本领认文凭

04 .

结语：开释国产算力

助大模子产业摧毁瓶颈

当下恰恰“东谈主工智能+”高涨为国度打造新质出产力的政策举止，同期好意思国OpenAI推出的Sora对国内AI产业形成更大的压力，这都条款智能算力产业给出更高性能、更高效用的算力治理决议，助大模子产业摧毁瓶颈，打造相宜中国的大模子算力决议。

“华为昇腾+潞晨Colossal-Al”组合为中国大模子发展提供了一个巨大参考，其创始性在于将华为昇腾先进AI芯片本领与潞晨高性能筹备相勾通，为国内客户提供了全面、高效、可定制的治理决议成都专业的神秘顾客调查公司，形成推动中国大模子本领和产业演进的更大能量。

• 一次
• 模子
• 治理
• 国产化
• 从业者