会员中心
搜索
登录
注册

解决方案

数字化转型通用方案行业方案安全方案大数据人工智能物联网行业展望自动控制其他

产品|技术

白皮书产品介绍技术介绍技术创新模型算法

政策|规范

政策规范行动计划

电子书

电子书课件

报告|论文

报告模板论文

Web大数据环境下的不一致跨源数据发现

中不同数据源之间的数据不一致是一个普遍存在的问题，严重影响了互联网的可信度和 质量．目前数据不一致的研究主要集中在传统数据库应用中，对于种类多样、结构复杂、快速变化、数量 庞大的跨源Web大数据的一致性研究还很少．针对跨源Web数据的多源异构特性和Web大数据的5V特征，将从站点结构、特征数据和知识规则3个方面建立统一数据抽取算法和Web对象数据模型； 研究不同类型的web数据不一致特征，建立不一致分类模型、一致性约束机制和不一致推理代数运算 系统；从而在跨源Web数据一致性理论体系的基础上，实现通过约束规则检测、统计偏移分析的Web 不一致数据自动发现方法，并结合这两种方法的特点，基于Hadoop MapReduce架构提出了基于层次 概率判定的Web不一致数据的自动发现算法．该框架在Hadoop平台上对多个B2C电子商务大数据进 行实验，并与传统架构和其他方法进行了比较，实验结果证明该方法具有良好的精确性和高效性．

  • 2021-06-21
  • 阅读497
  • 下载0
  • 14页
  • pdf

面向数据经济的跨境数据流动管理研究

据经济时代，数据的外部性特征决定了数据需要在更多的维度和更广的范围实现开放、流动、融合才能产生更高的价值和效用。从国际范围看，数据全球化趋势明显，各国数据主权管辖全面兴起，全球跨境数据流动管理政策面临重构。对我国而言，跨境数据流动管理需遵循数据经济发展规律，把握全球产业竞争和政策演进的趋势，认清我国产业能力和发展目标，明确我国国家安全和网络安全的“红线”，实现经济发展、国家安全、公民权利等多个价值目标的有机协同，推动我国数据经济的发展和数据主权的实现。

  • 2021-06-21
  • 阅读501
  • 下载0
  • 10页
  • pdf

数据中心网络中基于ELM的流簇大小推理机制

近年来研究流簇（Coflow）为单位的调度策略成为改进数据中心网络的新热点。然而现有的信息未知 流簇调度器难以快速地推理任务级信息，导致小任务不能被及时调度，以及平均任务完成时间无法最小化。 因此数据中心网络需要更加高效的推理模型提升流簇大小判断的准确性和敏感性。提出了一种基于机器学 习的流簇大小推理模型（MLcoflow），利用极限学习机（ELM）以最小训练误差为求解目标建立推理模型，并且 使用不完全信息建模以提升敏感度。实验证明与其他算法相比，ELM方法的准确性评分平均高出19.8%，敏感度 平均高出10.2%。通过仿真模拟对比了几种调度器，基于MLcoflow的调度器将平均任务完成时间降低了20.1%。 关键词：数据中心；流簇大小；流簇调度；推理模型；极限学习机（ELM）

  • 2021-06-21
  • 阅读363
  • 下载0
  • 9页
  • pdf

数据管控系统在生态环境大数据中的应用

随着互联网+政务的发展和应用，生态环境领域的业务系统和信息源节点数都呈爆炸式增长。虽然目前的大数据平台能够实现一定程度的数据融合。

  • 2021-06-21
  • 阅读314
  • 下载0
  • 7页
  • pdf

一种基于时空大数据的索引模型

随着天地空海一体化对地观测网络的完善和物联网技术的发展，具有时 空特性的数据来源不断丰富，体量不断增大。如何快速有效的实现海量时空数 据的统一组织和检索进而形成数据共享服务能力尤为关键。本文针对时空大数 据在底层数据组织管理和查询效率方面的问题，设计了一种基于时空数据的多 尺度数据组织与索引方法。首先采用一种基于空间金字塔的模糊聚类算法，利 用空间位置的连通性实现不同尺度下的数据分类，通过时空特征描述子建立不 同尺度下的数据时空关联；然后提取时空属性对已分类数据集构建一种面向时 间、空间、目标的索引模型，解决了时空数据尤其是大规模影像数据的联合检 索的效率问题。最后，引用两类常用的时空数据类型分别构建分类和索引模型， 验证了方法的可行性和通用性。实验结果表明，本文提出的方法大幅提高了时 空大数据的综合检索效率，扩展了数据共享服务模式，具有较高的应用价值。

  • 2021-06-21
  • 阅读315
  • 下载0
  • 21页
  • pdf

面向大数据处理的数据流编程模型和工具综述

利用大数据计算平台对大量的静态数据进行数据挖掘和智能分析助推了大数据和人工智能应用的落地。在面 临互联网、物联网产生的日益庞大的实时动态数据的处理需求时，数据流计算被逐步引入目前的一些大数据 处理平台中。针对数据流的编程模型，比较了传统软件工程的面向数据流的分析和设计方法与目前针对大数 据处理平台的数据流编程模型提供的结构定义和模型参考，分析了两者的差异和不足，总结了数据流编程模 型的主要特征和关键要素。分析了目前数据流编程的主要方式以及与主流编程工具的结合，针对大数据处理 的数据流计算业务需求，给出了可视化数据流编程工具的基本框架和编程模式。

  • 2021-06-21
  • 阅读394
  • 下载0
  • 14页
  • pdf

面向政府治理大数据的高性能计算系统

大数据处理系统是未来社会的基础设施之一。政府治理场景下的大数据处理任务具有多域异构、多主体等特 点，因此需要针对性地进行研究设计。从应用需求出发，分析各类政府治理场景对大数据处理技术提出的挑 战，梳理大数据分布并行处理的关键技术，包括数据存储管理、计算平台、关键算法等，调研总结相关技术的 研究现状，并提出面向政府治理大数据的高性能计算系统的技术框架，分析讨论不同技术路线的优劣。最后 展望相关技术的未来发展趋势。

  • 2021-06-21
  • 阅读394
  • 下载0
  • 16页
  • pdf

基于matlab大数据技术的油田压裂井产能预测模型

技术多元线性回归，在 Tall 数组框架的基础上，建立了优化后的压力井产能预测模型；将该模型运用于 压裂井产能预测，并开展了预测模型的准确度分析，通过预测模型的准确性分析后证明模型具有较强的准确性，预测结果与实际结果的相对误差小于 5%。同时研究表明，利用 matlab 大数据技术能准确预测油田 压裂井产能，且实现过程较简单，实用，突破了预测模型的传统模式，易于现场应用，该建模方法也可推 广应用于其他油田进行产能分析。

  • 2021-06-21
  • 阅读438
  • 下载0
  • 8页
  • pdf