大数据网络分布式独立内存分配算法研究_李浩光
传统的大数据内存分配算法因数据承载方式混乱等原因而存在运行速度慢、分配不均匀的问题,为此,研究一种新的大数据网络分布式独立内存分配算法。通过多层限制玻尓兹曼机堆叠形成数据库管理系统,并构建大数据网络分布式内存框架；然后利用无监督贪婪模式逐层训练方法构建并行框架,采用分布式存储的方法实现数据承载。同时,对较小内存Task做分化处理,小内存Task实际申请到的内存为本文算法直接给予其申请内存的一半或空闲内存的最小数值,大内存Task则是在源码所利用的公平分配算法内对所有的Task能够适用内存的最小保障,以此避免不必要的溢出操作。实验发现:该算法的内存分配情况更合理、运行速度快,内存分配效果明显优于传统系统。
- 2021-06-21
- 阅读237
- 下载0
- 5页
- pdf
