股民炒股配资申请_实盘炒股配资开户_最新股票杠杆官网

股票去杠杆 国产摩尔线程千卡GPU集群!700亿参数大模型轻松搞定
股民炒股配资申请_实盘炒股配资开户_最新股票杠杆官网
栏目分类
股民炒股配资申请_实盘炒股配资开户_最新股票杠杆官网
股民炒股配资申请
实盘炒股配资开户
最新股票杠杆官网
股票去杠杆 国产摩尔线程千卡GPU集群!700亿参数大模型轻松搞定
发布日期:2024-07-22 04:42    点击次数:198

股票去杠杆 国产摩尔线程千卡GPU集群!700亿参数大模型轻松搞定

今年以来,PCB板块表现出色,生益电子、胜宏科技、沪电股份、深南电路、鹏鼎股份等公司今年涨幅超50%。其中,生益电子自今年2月份低点至今股票去杠杆,涨幅达251%。

摩尔线程、憨猴科技集团联合宣布,基于摩尔线程的夸娥(KUAE)千卡智算集群,憨猴集团成功完成了7B、34B、70B不同参数量级的大模型分布式训练。

经双方共同严苛测试,兼容适配程度高,训练效率达到预期,精度符合要求,整个训练过程持续稳定。

这充分验证了夸娥智算集群作为国产全功能GPU千卡千亿大模型预训练平台,在稳定性、高效能、易用性和高算力利用率的先进性。

这也是憨猴集团首次使用国产AI算力完成大模型训练测试。

在此之前,摩尔线程已成为第一家接入无问芯穹,并成功完成千卡级别大模型训练的国产GPU公司,夸娥千卡集群与无穹Infini-AI顺利完成了系统级融合适配,并完成了LLama2 700亿参数大模型的训练测试。

“夸娥”集群基于双路八卡GPU服务器MCCX D800,每个节点有八块MTT S4000 GPU加速卡、两颗Intel第四代至强处理器、16 x 64GB内存、4 x 3.84TB NVMe SSD,以及双路400Gb IB、四路25Gb以太网网络。

夸娥氏是我国神话传说中的大力神,出自《愚公移山》:“帝感其诚,命夸娥氏二子负二山,一厝朔东,一厝雍南。自此,冀之南,汉之阴,无陇断焉。”

说到GPU加速卡,根据来自Intel内部的最新消息,代号Falcon Shores的下一代GPU AI加速卡,功耗将达到史无前例的1500W!

这是什么概念?

NVIDIA不久前发布的Blackwell架构的B200 GPU加速卡,双芯封装,功耗也才不过1000W,单个核心的B100则是700W。

Grace、Blackwell合体的GB200最高可达2700W,不过人家是两颗GPU加一颗CPU。

AMD最新的Instinct MI350X最高功耗为750W,Intel自己的Gaudi 3则是最高900W。

Intel刚刚确认将迅速放弃代号Ponte Vecchio的第一代GPU Max加速卡,后续推广重点转向Gaudi 2/3独立加速器,以及这个Falcon Shores。

Falcon Shores最初的规划是同时集成x86 CPU、Xe GPU,就像AMD Instinct MI300A那样打造成融合式APU,后者整合了24个Zen4 CPU核心、CDNA3 GPU核心。

可惜,因为软硬件设计难度都太大,Intel暂时放弃了这种方案,Falcon Shores回归纯GPU方案,预计明年发布,还是叫做GPU Max。

据说,Falcon Shore交给了Gaudi团队操刀设计。