cann/hccl超节点间算法支持

超节点间通信算法支持度列表【免费下载链接】hccl集合通信库Huawei Collective Communication Library简称HCCL是基于昇腾AI处理器的高性能集合通信库为计算集群提供高性能、高可靠的通信方案项目地址: https://gitcode.com/cann/hccl本节所述的超节点间通信算法支持度表格仅适用于Atlas A3 训练系列产品/Atlas A3 推理系列产品。ring算法集合通信算子数据类型网络运行模式是否支持确定性计算不支持算子处理方法ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR是自动选择为NHR或者H-D_R算法AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR是自动选择为NHR或者H-D_R算法AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR是自动选择为NHR或者H-D_R算法Reduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR是自动选择为NHR或者H-D_R算法ReduceScatterVint8、int16、int32、int64、float16、float32、bfp16- 单算子模式是自动选择为NHR或者H-D_R算法Scatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式是自动选择为NHR或者H-D_R算法AllGatherVint8、int16、int32、int64、float16、float32、bfp16- 单算子模式是自动选择为NHR或者H-D_R算法H-D_R算法集合通信算子数据类型网络运行模式是否支持确定性计算不支持算子处理方法AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR是自动选择为NHR或者ring算法Broadcastint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR是自动选择为NHR或者ring算法Reduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR是自动选择为NHR或者ring算法NHR算法集合通信算子数据类型网络运行模式是否支持确定性计算不支持算子处理方法ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR是自动选择为H-D_R或者ring算法AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR是自动选择为H-D_R或者ring算法AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR是自动选择为H-D_R或者ring算法Broadcastint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR是自动选择为H-D_R或者ring算法ReduceScatterVint8、int16、int32、int64、 float16、float32、bfp16- 单算子模式是自动选择为H-D_R或者ring算法Scatterint8、int16、int32、 int64、float16、float32、bfp16- 单算子模式是自动选择为H-D_R或者ring算法AllGatherVint8、int16、int32、 int64、float16、float32、bfp16- 单算子模式是自动选择为H-D_R或者ring算法NB算法集合通信算子数据类型网络运行模式是否支持确定性计算不支持算子处理方法ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR是自动选择为NHR、H-D_R或者ring算法AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR是自动选择为NHR、H-D_R或者ring算法AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR是自动选择为NHR、H-D_R或者ring算法Broadcastint8、int16、int32、int64、float16、float32、bfp16- 单算子模式- 图模式Ascend IR是自动选择为NHR、H-D_R或者ring算法ReduceScatterVint8、int16、int32、 int64、float16、float32、bfp16- 单算子模式是自动选择为NHR、H-D_R或者ring算法Scatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式是自动选择为NHR、H-D_R或者ring算法AllGatherVint8、int16、int32、int64、float16、float32、bfp16- 单算子模式是自动选择为NHR、H-D_R或者ring算法pipeline算法集合通信算子数据类型网络运行模式是否支持确定性计算不支持算子处理方法AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式仅开启零拷贝的场景下生效是自动选择为NHR、H-D_R或者ring算法ReduceScatterint8、int16、int32、float16、float32、bfp16- 单算子模式仅开启零拷贝的场景下生效是自动选择为NHR、H-D_R或者ring算法【免费下载链接】hccl集合通信库Huawei Collective Communication Library简称HCCL是基于昇腾AI处理器的高性能集合通信库为计算集群提供高性能、高可靠的通信方案项目地址: https://gitcode.com/cann/hccl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考