会员中心
搜索
登录
注册

解决方案

数字化转型通用方案行业方案安全方案大数据人工智能物联网行业展望自动控制其他

产品|技术

白皮书产品介绍技术介绍技术创新模型算法

政策|规范

政策规范行动计划

电子书

电子书课件

报告|论文

报告模板论文

基于NoSQL数据库的农田物联网云存储系统设计与实现

为了解决农田物联网大量图像、视频和传感器等结构化和非结构化数据实时处理与写入问题，该文基于分布式 存储与 NoSQL（Not Only SQL）技术，结合农田物联网数据特征，利用 HDFS（Hadoop Distributed File System）和 HBase（Hadoop Database）存储非结构化和结构化数据，基于 Redis 缓存服务，设计了三层物联网数据云存储框架，实现了 海量农田物联网数据存储中的业务处理、事务处理、图片打包与索引、负载均衡等关键技术。面对复杂业务下的事务数 据一致性，该文采用基于 HLock 的乐观锁机制，实现了 HBase 对强事务性的支持，经过与传统 MySQL 集群事务对比测 试，当数据量级在 500 万时，数据读取效率提升达 35.75%。为了提高农田物联网中大量的小图片和小文件处理效率，基 于图片打包合并策略，利用 SequenceFile 技术实现物联图片的快速索引读写技术，与原生 HDFS 存储效率相比，读写效 率提升 30%以上。该研究可以为海量农业物联网数据的存储和管理提供技术参考和理论支撑。

  • 2021-06-24
  • 阅读216
  • 下载0
  • 8页
  • pdf

一种数据存储方法、装置、存储介质及服务器

本发明实施例公开了一种数据存储方法、装置、存储介质及服务器。所述方法包括：获取目标数据；基于同一关键字段对应的非空字段信息填写字段信息为空的目标数据，并根据填写操作为目标数据添加是否为变化数据的标识信息；其中，字段信息为空的目标数据与非空字段信息所属的目标数据的其他关键字段对应的字段信息相同；将执行完填写操作后的目标数据中，所有关键字段对应的字段信息相同的目标数据进行合并后，根据合并的目标数据中的各个目标数据的标识信息及其来源，确定合并后的目标数据的类型信息；根据类型信息对合并后的目标数据进行存储。通过本方案，可以减少数据存储的资源消耗，保证数据存储时本地已存储数据的可用性。

  • 2021-06-24
  • 阅读203
  • 下载0
  • 18页
  • pdf

一种生成数据签名的方法及装置

本发明公开一种生成数据签名的方法及装置，涉及通信领域。本发明通过引入哈希运算对签名私钥进行处理，对处理结果和待签名数据做哈希处理，再对哈希过后的数据进行运算；避免直接使用签名私钥进行运算带来的安全性问题，保证了对签名私钥处理的安全，提升了签名结果数据的安全性。

  • 2021-06-24
  • 阅读207
  • 下载0
  • 24页
  • pdf

数据查询方法、装置及电子设备

本发明提供了一种数据查询方法、装置及电子设备，涉及数据处理技术领域，该方法包括：接收针对目标数据的查询请求；根据该目标数据的数据属性和属性值要求，确定该目标数据所在的数据集；其中，该数据库的数据预先根据该数据属性集，以及该数据属性集中各个数据属性的属性值，划分为多个数据集；根据确定出的数据集，得到查询结果。本发明实施例通过预先根据数据属性和其属性值将数据库中的数据划分成多个数据集，当需要查询目标数据时，可以根据目标数据的数据属性和属性值快速定位该目标数据所在的数据集，进而将查询范围缩小在某一个或多个数据集中，大大减少了查询数据量，提高了检索效率。

  • 2021-06-24
  • 阅读217
  • 下载0
  • 19页
  • pdf

整车数据配置系统及方法

本发明涉及汽车技术领域，公开了一种整车数据配置系统及方法。本发明通过所述数据获取模块获取整车的配置数据及车型版本信息，并将所述配置数据及所述车型版本信息发送到所述数据规划模块，所述数据规划模块基于预设整车需求信息通过所述配置数据及所述车型版本信息确定生产订单信息和车辆识别码信息，所述数据规划模块根据所述生产订单信息、所述车辆识别码信息和所述配置数据确定单车配置数据，并将所述生产订单信息、所述车辆识别码信息和所述单车配置数据发送给数据配置模块，所述数据配置模块根据所述生产订单信息、所述车辆识别码信息和所述单车配置数据对所述整车进行数据配置，使配置数据与车辆实际功能配置一致，避免实车关联错误。

  • 2021-06-24
  • 阅读208
  • 下载0
  • 25页
  • pdf

隐私数据的保护方法和装置

本说明书实施例提供了一种隐私数据的保护方法和装置。根据该实施例的方法，首先，获取目标用户在目标平台上传过的历史数据；然后，从历史数据中提取身份数据和身份关联性数据，身份数据为唯一对应用户身份的数据，身份关联性数据为可推测用户身份的数据；接着，对所提取的身份数据和身份关联性数据进行分析，并根据分析结果确定目标用户在目标平台的隐私泄露风险等级；最后，根据隐私泄露风险等级，对目标用户在目标平台上传的数据进行数据脱敏处理。

  • 2021-06-24
  • 阅读220
  • 下载0
  • 24页
  • pdf

基于不同采集场景的断线缓存方法

一种基于不同采集场景的断线缓存方法 ,该方法根据不同的数据采集源类型和异常类型进行不同处理；数据采集源为数据库时，出现异常时记录异常开始时间并尝试重新连接，直到连接恢复则继续采集数据；数据采集源为协议推送类型且异常类型为数据采集源侧异常时，输出数据丢失报告；数据采集源为协议推送类型且异常类型为存储数据库侧异常时，数据采集模块按配置要求正常采集数据，存储到指定的临时存储器中，并按预定周期向存储数据库发送连接请求，直到与存储数据库之间的连接恢复正常。本发明可根据不同配置信息采取不同的断线缓存机制；在从时序数据库中采集数据时，可自动通过数据库缓存的方式保证数据的完整性。

  • 2021-06-24
  • 阅读245
  • 下载0
  • 14页
  • pdf

基于网络大数据的公共服务平台助力智慧城市建设项目_李振新

数字城市建设是城市可持续发展的需要,是城市政治与经济发展的需要,是贴合群众生活息息相关的重要建设方针,它提供了全新的城市规划、建设和管理的调控手段,辅助有关政策法规的执行,能够制止猖獗的违规建筑,并避免制约工程招标和房地产建设中的大量弊端。运营商的数据作为城市建设基础数据的主要数据源它不仅涵盖了人们之间互相通信的信息,还涵盖了人们日常生活中网络信息获取的信息,例如活动轨迹及通信社交轨迹为依托从衣、食、住、行、游、购、娱等,它是人们随身携带的移动信息源,最为贴近反应人们日常生活习惯及行为习惯的信息数据。基于这样一个与人息息相关的信息基础数据,如何能够将通信网络大数据与数字城市融合助力智慧城市建设带来了新的课题和思考。

  • 2021-06-24
  • 阅读199
  • 下载0
  • 5页
  • pdf