百度智能云+大模型分布式训练性能优化与实践

将模型权重切分到多卡进行计算,需保证数学上与单卡计算等价;减少权重、激活的显存占用,将模型权重切分到多卡进行计算,需保证数学上与单卡计算等价;减少权重、激活的显存占用

  • 2023-12-05
  • 收藏0
  • 阅读83
  • 下载1
  • 24页
  • pdf
  • 4.33M

评价

评分 :
   *