开放数据中心委员会:李锴:面向新型智算中心的技术探索

显存压力大:每块GPU上存储一份完整模型,造成冗余,模型参数量增加导致显存的压力增大 ? 互联压力大:Server需要与每个Worker进行梯度传输,带宽成为整个系统计算效率的限制因素

  • 2024-03-27
  • 收藏0
  • 阅读70
  • 下载0
  • 22页
  • pdf
  • 9.76KB

评价

评分 :
   *