数据描述性分析 用统计学方法,描述数据的统计特征量,分析数 据的分布特性。 主要包括数据的集中趋势分析(Central tendency)、 数据离散趋势分析(Dispersion tendency)、数据的频 数分布(Frequency distribution)等。
Spark是基于分布式数据集的概念的,可以包含任意的Java、Python对象。 我们只需要基于这些外部数据构造数据集,然后对这些数据集进行并行操 作。Spark API的基础构件是RDD API,在RDD API之上,又提供了高层的API 供使用,例如DataFrame API,机器学习API。这些更高层次的API提供了特 定数据操作的方法,本部分将通过若干例子说明最简单的Spark应用,展示 Spark的强大功能。
MapReduce的具体应用 基本思路: ? 在map阶段, 把关键字 作为key输出,并在 value中标记出数据是 来自data1还是data2; 在shuffle阶段会自然按 key分组; ? reduce阶段,判断每一 个value是来自data1还 是data2,在内部分成2 组,做集合的乘积。
相关概念与术语 ? Application:指用户编写的Spark应用程序,其中包括一个Driver功能的 代码和分布在集群中多个节点上运行的Executor代码; ? Driver: Spark中的Driver(包含Application的main函数)创建 SparkContext对象,准备Spark应用程序的运行环境,SparkContext负责与 ClusterManager通信,进行资源申请、任务的分配和监控等; ? Executor: Application运行在worker节点上的一个进程,该进程负责运行 一些Task, 并且负责将数据存到内存或磁盘上,每个Application都有各 自独立的一批Executor;
Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP 实验室)所开发的类Hadoop MapReduce的通用并行框架;可用来构建 大型的、低延迟的数据分析应用程序。
Hadoop MapReduce采用Master/Slave结构 ? Master:是整个集群的唯一的全局管理者,功能包括:作业管理、状 态监控和任务调度等,即MapReduce中的JobTracker。 ? Slave:负责任务的执行和任务状态的回报,即MapReduce中的 TaskTracker。
并行计算(Parallel Computing)或称平行计算是相对于串行计算来说的。 它是一种一次可执行多个指令的计算,目的是提高计算速度,以及通 过扩大问题求解规模,解决大型而复杂的计算问题。
Hive中的元数据包括表的名字,表的列和分区及其属性,表的属 性(是否为外部表等),表的数据所在目录等。 由于Hive的元数据 需要不断的更新、修改,而HDFS系统中的文件是多读少改的, 这显然不能将Hive的元数据存储在HDFS中。目前Hive将元数据 存储在数据库中,如Mysql、Derby中。我们可以通过修改Hive 的配置文件以修改元数据的存储方式。
没有账户,需要注册
语言模型、视觉模型、语音模型、视频模型、时序模型,分别对应文字、图像、声音、视频、连续传感器数值,通用大模型,垂类大模型,AI
时序大模型是面向时间序列数据的基础大模型,以 Transformer 等架构为核心,通过在海量多领域时序数据上进行预训练,学习时间维度上的通用模式、周期规律与长距离依赖关系。区别于传统时序模型针对单一任务单独训练,时序大模型具备强大的迁移能力,只需少量样本微调或零样本提示,即可适配时序预测、异常检测、缺失值补全、时序分类等下游任务。在工业场景中,它能够直接处理传感器、设备测点产生的海量时序信号,挖掘设备状态演变规律,支撑设备故障预警、工况识别与生产趋势预判,为工业智能落地提供底层模型能力。如:中服云的CServerAIR
2025年,全球人工智能市场规模达到3909亿美元,中国人工智能核心产业规模突破9000亿元。AIAgent细分市场以49.6%的年复合增长率高速扩张,制造业应用大模型的企业比例在一年之内从9.6%跃升至47.5%。从2024年初,中国日均词元(Token)调用量为1000亿;至2025年底,跃升至100万亿;2026年3月,已突破140万亿,两年增长超千倍。这些数字背后,是一场深刻变革的加速到来-人工智能正在从"能力突破"走向“系统重构”。
中服云能碳管理系统依托中服云工业物联网底座打造,聚焦工业企业能耗管控与碳资产管理需求。 系统整合水、电、气、热等多类能源数据,实现用能实时采集、集中监测、智能分析。 依托数字化手段精准核算碳排放总量,助力企业摸清碳排底数、合规完成台账管理。 通过节能诊断、能耗优化策略推送,有效降低生产能耗与运营成本。 全方位赋能企业绿色低碳转型,筑牢安全生产与节能减排双重发展防线。
超硬材料制品是典型的“材料—工具”型制造:金刚石刀头、锯片、工程钻、磨轮,最终用在石材与建材加工、路面与混凝土切割、玻璃与陶瓷、半导体与蓝宝石加工。产品小批量、多品种,工艺链却很长。 这条工艺链把同一道围墙切成几段:压制、烧结、焊接、磨削与检测分散在不同厂房,一段停摆,整批报废。以下痛点与解法取自一座已投运的园区平台,数据为界面实测值,企业名称脱敏。
印刷机械是装备制造中比较典型的一类产品:单机价值高、定制化程度高、客户分散在全国各地的包装与印刷车间,一台凹版印刷机开机就是十几年。设备卖出去了,服务却要跟十几年——这是行业共同的结构性难题,也是工业物联网在装备制造领域最容易见效的地方。 本文以一个真实的落地样本为观察对象:一家印刷机械制造企业把 178 台在役设备接进了自己的远程运维系统,系统的底座选用中服云工业物联网平台的设备版。下文按“行业之困、平台解法、落地成效、可复制经验”四步展开。
石油和天然气开采业的生产对象在地下,管理的关键环节在地面。从井口到计量间,从转油站、联合站到外输与处理装置,油气田用“井—站—管网”的骨架把分散的资源汇集起来,联合站是这条骨架上设备最密集、工艺最连续、安全要求最高的节点。 这类站场大多已经上了SCADA,数据并不缺。问题在于数据上来之后,新的麻烦更清楚了:设备家底说不清,画面说不清位置,报警说不清先后。本文按“痛点—解决方案—成效”的顺序,说明中服云物联网平台与数字孪生平台如何分工配合,逐条解决这些问题。
油气田的地面作业现场有一个共同特征:设备搬着走、电源跟着换、负荷忽高忽低。钻修井井场靠网电、柴油发电机组、储能、光伏凑出一套临时电力系统;压裂井场更极端,几十台电驱压裂泵并联运行,瞬时功率爬升快,砂罐、混砂、供液、仪表车密集停放,作业段集中、单段时长以小时计。 这两类现场的管理难题是同一类:能耗与碳排放算不清、设备状态看不见、峰值容量报不准、多能协同靠经验。中服云用同一套工业物联网平台加数字孪生平台,把这两类现场做成了可以被“看懂、算清、考核”的对象。本文以已投运的钻修井现场为实测样本,说明平台在野外作业领域的典型应用,并给出向压裂井场复制的路径。
扫码咨询
或
客服咨询
用手机扫二维码
复制当前地址
方案库赚钱指南