OB电竞,OB电竞,而在大模型时代,系统性能和训练效率成了重中之重。框架需要提供强大的分布式训练支持,稳定和性能压倒一切。巨头玩家搞大模型的时候,
框架接口的好坏,直接决定了一个框架的受欢迎程度OB电竞,。比如,屎堆型界面,谁也受不了。
它就会帮你自动(把代码、数据、硬件资源组织好),让模型跑出结果,而不用操心底层的数学运算和硬件适配。
也就是说,昇思MindSpore针对昇腾第二代AI处理器去做设计的时候,
也就是说,当你需要让模型跑在多张GPU上并行训练时,PyTorch本身是帮不上太多忙的——这个活儿,靠的是像Megatron这样的“专业外包选手”。
底层软件的宿命,就是被用得天经地义,却无人留意。除非上面一层,仍然是自己人。
但芯片厂商为了吸引开发者,开发了特定的异构计算架构。比如,英伟达的CUDA,AMD的ROCm,甚至华为的CANN。
Dataflow(美国AI芯片公司Sambanova架构)等等,框架如何快速适配?
只要这个标准组件的性能比PyTorch原生的Llama提升15%。大家都很“现实”,当“标准模型”成熟,开发者根本不关心它是用什么框架写的。他们只想知道:哪种框架能让我用的模型跑得更快?
群体很大,抓住了,又有苹果的硬件和全系统的支持,相对小(1TB)的模型就可在上面训练,做微调。苹果这个例子说明了什么呢?
才开始搞,还要再观察,而且,苹果在端上的优势,是另一个故事了《AI推理篇》。将苹果的MLX框架集成于M系列芯片中,猛搞终端推理优化。
这种策略虽然不抢占大模型训练市场OB电竞,,但在iPhone、iPad上构筑强大封闭生态。放眼望去,这条路也能走出大生态。