1.3 智能电网大数据及特点

1.3.1 智能电网中的大数据

电网业务数据大致分为三类：一是电网运行和设备检测或监测数据；二是电力企业营销数据，如交易电价、售电量、用电客户等方面的数据；三是电力企业管理数据。

根据数据的内在结构，这些数据可以进一步细分为结构化数据和非结构化数据。结构化数据主要包括存储在关系数据库中的数据，目前电力系统中的大部分数据是这种形式，随着信息技术发展，这部分数据增长很快。但由于数据库存储容量的限制，数据会定期更新，一般只存储最新的数据。相对于结构化数据而言，不方便用数据库二维逻辑表表现的数据即称为非结构化数据，主要是包括视频监控、图形图像处理等产生的数据等。这部分数据增长非常迅速，据IDC的一项调查报告中指出，企业中80%的数据都是非结构化数据，这些数据每年都按指数增长60%。在电力系统中，非结构化数据占智能电网数据很大比重，这部分数据增长速度也很快，对电网数据中心的存储压力很大。

结构化数据根据处理时限要求又可以划分为实时数据和准实时数据，比如电网调度、控制需要的数据是实时数据，需要快速而准确地处理；而大量的状态监测数据对实时性要求相对较低，可以作为准实时数据处理。数据依据时限要求不同可以采取不同的处理方式，比如实时数据采用流式内存计算方式，而准实时数据可以采用批处理方式。

智能电网与传统电网存在很大的不同，具有更高的智能化水平，而实现智能化的前提是大量的实时状态数据及时获取和快速分析处理，目前智能电网中的大数据主要是因为以下几个方面。

（1）为了准确实时获取设备的运行状态信息，采集点越来越多，常规的调度自动化系统含数十万个采集点，配用电、数据中心将达到百万甚至千万级。需要监测的设备数量巨大，每个设备都装有若干传感器，监测装置通过适当的通信通道把这些传感器连接在一起，由变电站的数据收集服务器按照统一的通信标准上传到数据中心，这实际上构成了一个物联网。而物联网的后端采用云计算平台已被认为是未来的发展趋势。智能电网设备物联网同云计算平台的基础设施层互联，进行数据交换。

（2）为了捕获各种状态信息，满足上层应用系统的需求，设备的采样频率越来越高。比如在输变电设备状态监测系统中，为了能对绝缘放电等状态进行诊断，信号的采样频率必须在200kHz以上，特高频检测需要吉赫兹的采样率。这样，对于一个智能电网设备监测平台来说，需存储的监测或检测的数据量十分庞大。

（3）为了真实而完整地记录生产运行的每一个细节，完整地反映生产运行过程，要求达到“实时变化采样”，实现对设备的全生命周期管理和实时状态评估。

同时，在智能电网中，大数据产生于电力系统的各个环节。

（1）发电侧：随着大型发电厂数字化建设的发展，海量的过程数据被保存。这些数据中蕴藏丰富的信息，对于分析生产运行状态、提供控制和优化策略、故障诊断以及知识发现和数据挖掘具有重要意义。基于数据驱动的故障诊断方法被提出，利用海量的过程数据，解决以前基于分析的模型方法和基于定性经验知识的监控方法所不能解决的生产过程和设备的故障诊断、优化配置和评价的问题。

另外，为及时准确掌握分布式电源的设备及运行状态，需要对分布广泛和大量的分布式能源进行实时监测和控制。为支持风机选址优化，所采集的用于建模的天气数据每天以80%的速度增长。

（2）输变电侧：在2006年美国能源部和联邦能源委员会建议安装同步相量监测系统（Synchrophasor-based Transmission Monitoring Systems）。目前，美国的100个相位测量装置（Phasor Measurement Unit, PMU）一天收集62亿个数据点，数据量约为60GB，而如果监测装置增加到1000套，每天采集的数据点为415亿个，数据量达到402GB。相量监测只是智能电网监控的一小部分，电网中还包括其他大量需要高采样监测的设备。

（3）用电侧：为了准确获取用户的用电数据，电力公司部署了大量的具有双向通信能力的智能电表，这些电表可以每隔五分钟的频率向电网发送实时用电信息。美国太平洋天然气电力公司（Pacific Gas&Electric）每个月从900万个智能电表中收集超过3TB的数据。国家电网公司也建成了包含上亿用户的自动化采集系统。

电动汽车的无序充放电行为会对电网运行带来麻烦，如果能合理地安排电动汽车的充放电时间，则会对电网带来好处，变害为利，而前提是对基数很大的电动汽车电池的充放电状态进行监测，并合理制定调度规则，而这也会产生大数据，需要大数据处理技术的支撑。

1.3.2 智能电网中大数据的特点

与互联网中的大数据相似，智能电网中的大数据也具备“4V”特征，即规模大（Volume）、类型多（Variety）、价值密度低（Value）和变化快（Velocity）。

1.规模大

从TB级别，跃升到PB级别。常规SCADA系统10000个遥测点，按采样间隔3～4s计算，每年产生1.03TB的数据（1.03TB=12字节/帧×0.3帧/s×10000遥测点×86400秒/天×365天）；广域向量测量系统（Wide Area Measurement System, WAMS）10000个遥测点，采样率可以达到100次/s，按上述公式计算，则每年产生495TB的数据。目前正在发展的直升机和无人机巡线技术所产生的红外、紫外视频信息，每年作业采集的数据量达40TB。某省级电力公司已有数字化变电站178座，每天产生的数据量约为700TB。随着监测系统规模的扩大，以及数据采样频率的提高，数据量还将成倍增加。若同时考虑环境、气象、地理信息等，则数据量更为庞大。

2.类型多

电网数据广域分布、种类众多，包括实时数据、历史数据、文本数据、多媒体数据、时间序列数据等各类结构化、半结构化数据以及非结构化数据，各类数据查询与处理的频度和性能要求也不尽相同。比如，电力设备状态监测数据中的油色谱数据半个小时采样一次，而绝缘放电数据的采样速率高达几百千赫兹，甚至吉赫兹。随着状态监测技术的发展和智能化设备类型与数量的增加，音视频等非结构化数据在数据中的占比进一步加大。此外，大数据应用过程中还存在对电网系统运行环境相关数据（气象、地理、环境等）的大量关联分析需求，而这些都直接导致数据类型的增加以及状态评估应用领域数据的复杂度。

3.价值密度低

以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。在输变电设备状态监测中也存在同样问题，所采集的绝大部分数据都是正常数据，只有极少量的是异常数据，而异常数据是状态检修的最重要的依据。以视频数据和高压设备放电波形为例，连续不间断监测过程中，基于经验和人工的传统输变电设备状态监测评估方法可能只对小段时间（如1～2s）的数据和少量异常数据予以关注、处理和分析，而丢弃大量所谓的“正常数据”，对这些正常数据的深度挖掘也可能为故障分析提供重要的线索和依据。

4.变化快

在几分之一秒内对大量数据进行分析，以支持决策制定。这种在线的流数据分析与挖掘同传统的数据挖掘技术有着本质的不同。输变电设备状态评估和风险预测要求对大量数据进行及时分析并做出判断，以支持生产调度决策的制定，对在线状态数据的处理性能要求远高于离线数据。尤其对输变电设备状态监测系统，在极端（天气、故障发展阶段等）情况下，大规模报警数据会在短时间内以“井喷式”的方式产生与传输，并要求实时处理，将对信息处理系统的吞吐技术提出挑战。SCADA采集了大量的电压、电流、开关状态等电网稳态数据。常规SCADA系统10000个遥测点，按采样间隔3～4s计算，每年产生1.03TB数据（1.03TB=12字节/帧×0.3帧/s×10000遥测点×86400s/天×365天），目前三华的数据量每日65.3万条，7.58GB；WAMS 10000个遥测点，采样率100次/s，按上述公式计算，每年产生495TB的数据。

另外，智能电网中的数据处理，对数据质量有一定的要求，可以考虑为各类智能电网数据引入一个新的属性：数据的真实性。数据的真实性是指与特定类型数据相关的可靠性级别。高质量数据对于数据分析结果的正确性有重要影响。然而即使最好的数据清洗方法也无法去除某些数据固有的不可预测性。承认不确定性需求，并将数据的真实性作为智能电网大数据的一个维度是可行的。

智能电网中汹涌而来的大数据为智能电网建设带来了新的挑战和机遇。国网信通公司成立了大数据团队应对智能电网建设中的大数据挑战问题。IBM收集并建模大数据，服务于智能电表分析、基于决策的运维、基于天气数据的风机选址、分配负荷预测与调度等各类能源行业与公用事业。

中国电机工程学会电力信息化专委会在此基础上，总结智能电网中大数据特征还包括“3E”，分别是数据即能量（Energy）、数据即交互（Exchange）、数据即共情（Empathy）。

1.数据即能量（Energy）

电力大数据具有无磨损、无消耗、无污染、易传输的特性，并可在使用过程中不断精炼而增值，可以在保障电力用户利益的前提下，在电力系统各个环节的低耗能、可持续发展方面发挥独特而巨大的作用。通过节约能量来提供能量，具有与生俱来的绿色性。电力大数据应用的过程即是电力数据能量释放的过程，从某种意义上讲，通过电力大数据分析达到节能的目的，就是对能源基础设施的最大投资。

2.数据即交互（Exchange）

电力大数据以其与国民经济社会广泛而紧密的联系，具有无与伦比的正外部性。其价值不只局限在电力工业内部，更能体现在整个国民经济运行、社会进步以及各行各业创新发展等方方面面，而其发挥更大价值的前提和关键是电力数据同行业外数据的交互融合，以及在此基础上全方位的挖掘、分析和展现。这也能够有效地改善当前电力行业“重发轻供不管用”的行业短板，真正体现出“反馈经济”所带来的价值增长。

3.数据即共情（Empathy）

企业的根本目的在于创造客户，创造需求。电力大数据天然联系千家万户、厂矿企业，推动中国电力工业由“以电力生产为中心”向“以客户为中心”转变，这其中的本质就是对电力用户的终极关怀，通过对电力用户需求的充分挖掘和满足，建立情感联系，为广大电力用户提供更加优质、安全、可靠的电力服务。在电力行业价值最大化的贡献过程中，中国的电力工业也找到了常变常新的动力源泉，共情方能共赢。