近日，中國移動研究院副院長段曉東攜手天數智芯、壁仞科技、中興、海光、瀚博等一眾產業合作伙伴，共同推出了“芯合”異構混合并行訓練系統1.0版本。

該系統具備兩大核心能力，首先是基于非均勻計算任務切分ITD(Inhomogeneous Task Distribution)算法的3D并行策略。該策略利用通用混合訓練框架，實現了異構數據并行和異構流水線并行，能夠靈活應對各種復雜的計算任務。通過這一技術，系統能夠根據異構算力的特點，自適應地調整數據微批次大小、數量以及流水線并行度等參數，從而充分發揮不同計算單元的性能優勢。

其次，“芯合”系統還采用了基于GDR(GPU Direct RDMA)的異構芯片高速通信技術。這一技術為異構芯片之間的數據傳輸提供了高速通道，極大地提升了數據傳輸效率，從而進一步提升了系統的整體性能。

“芯合”異構混合并行訓練系統1.0的發布，標志著中國移動及其合作伙伴在異構計算領域取得了重要突破，為未來的高性能計算和人工智能應用提供了更加高效和靈活的訓練平臺。