微博在线机器学习平台的K8S实践

? 通信优化:数据请求(PULL&PUSH)聚合,同模型多矩阵并发,锁粒度优化,性能提升5-10倍 ? 缓存优化:使用堆外内存与LRU过期机制,解决GC引起的性能损耗,性能提升3-5倍 ? 分区优化:支持多种分区策略(RANGE/HASH/MOD),解决数据倾斜导致的流量热点瓶颈问 题,性能提升2-5倍 ? 存储优化:自定义存储方式(ByRow&ByKey),基于row进行矩阵压缩存储,参数内存占用减少 90%

  • 2021-06-30
  • 收藏0
  • 阅读163
  • 下载0
  • 25页
  • pdf
  • 2.85M

评价

评分 :
   *