2. 中国南方电网有限责任公司, 防冰减灾重点实验室, 贵州贵阳 550002;
3. 南方电网科学研究院有限责任公司, 广东广州 510663
2. Key Laboratory of Ice Prevention & Disaster Reducing, China Southern Power Grid Co., Ltd., Guiyang, Guizhou, 550002, China;
3. Southern Power Grid Research Institute Co., Ltd., Guangzhou, Guangdong, 510663, China
由于温度、湿度、风速等综合因素的影响,输电线路发生结冰这一物理现象给电网安全运行造成了严重威胁,如造成输电线路跳闸,严重时会引发地线断线、倒塔等事故,导致大范围停电,给电网及工农业生产造成经济损失,给人们生活用电带来困扰[1]。因此,分析与掌握多年来累积的覆冰数据及图像特性,并构建覆冰预测模型,是解决输电线路覆冰的首要任务。
国内外对电网覆冰预测模型做了大量研究,主要分为两类,其中一类是基于物理过程的预测模型,另一类则是基于数据驱动的预测模型[2]。基于物理过程的预测模型是从覆冰的形成过程和产生机理出发,结合热力学、动力学等相关学科理论来构建覆冰预测模型,如张子翀等[3]通过计算力学参数结合风力影响来计算覆冰厚度。然而基于物理过程的预测模型往往无法考虑到所有覆冰因素的影响,需要大量微观参数才能保证预测精度,因此提出的模型往往实用性不佳,而且计算复杂度高,难以支持实时覆冰预测。基于数据驱动的覆冰预测模型主要以历史覆冰数据为主,通过机器学习算法、神经网络模型等方法,分析覆冰形成过程中的影响因素,捕获数据中的非线性关系、时间动态性和不确定性等特性,将覆冰厚度与微气象、微地形等因素之间的关系进行建模,以此构建覆冰预测模型,其大致可分为3类:基于传统统计学模型的覆冰预测方法、基于机器学习的覆冰预测方法和基于深度学习的覆冰预测方法。
早期有研究者通过拟合回归曲线[4]和基于多变量灰色关联模型[5]来进行短期覆冰预测。为了探究覆冰数据与微气象之间的关系,卢锦玲等[6]建立了覆冰监测数据与微气象之间的模糊推论,利用微气象数据为评估线路的覆冰情况提供参考。黄新波等[7]利用历史覆冰数据提出了一种基于时间序列预测的覆冰短期预测模型,采用了差分整合移动平均自回归(Autoregressive Integrated Moving Average, ARIMA)模型,同时利用卡尔曼滤波减少各种气象因素误差的影响,通过遗传算法寻找最优参数,结果表明,ARIMA模型在短期的输电线路覆冰预测中是可行的,此模型虽然预测出了覆冰的变化规律,但是预测精度不高,在前5个预测时间点中其预测的平均绝对误差为6.21%,而且这种预测方法的数据必须符合某些严格的假定条件,实际环境难以满足。
在基于机器学习的覆冰预测方面,早期的预测方法主要有BP神经网络[8]和马尔可夫模型[9]。2018年Li等[10]采用支持向量回归(Support Vector Regression, SVR)算法,利用历史覆冰数据和在线气象数据,结合wavelets数据预处理方式和相空间重构理论来构建架空电力线路短期积冰负载的结冰警报系统,此系统可预测5 h架空电力线路的实时结冰值。2019年任源[11]选择了极限学习机(Extreme Learning Machine, ELM)神经网络模型和基于粒子群优化的支持向量机(Support Vector Machines, SVM)模型对输电线路的覆冰厚度进行了预测,结果表明该方法减小了预测的相对误差。针对最小二乘支持向量机(Least Squares SVM, LSSVM)中需要确定的几个关键参数,刘闯等[2]采用扩展记忆粒子群算法对LSSVM进行参数寻优,并建立了输电线路覆冰厚度预测。由于覆冰形成过程十分复杂,基于机器学习的覆冰预测方法在建立模型时通常有较多的经验参数,然而这些参数的取值往往很难确定,拟合模型所使用的训练数据多为某一地区的数据,而当环境或地区变化时,模型参数必然也会随之变化,导致模型的复用性不高。
2018年林刚等[12]利用卷积神经网络(Convolutional Neural Network, CNN)对覆冰图像进行处理来计算覆冰厚度。此类研究多是对覆冰情况的监测,多应用于覆冰灾害已经发生的情况,缺乏对覆冰情况的预测工作。在与时空序列预测方法结合方面,2020年陈雨鸽等[13]提出了一种基于结合气象因素和导线覆冰量的时间序列模型预测法,利用长短期记忆网络(Long Short-Term Memory, LSTM)训练预测模型,并利用线路实际运行数据对模型进行调整和优化。然而该模型计算费时,在时间跨度大且网络很深的情况下,计算量很大。同时,该模型在长序列输入输出时的表现不佳,特别是当预测序列长度较大时,误差迅速上升,推理速度急剧下降,模型的收敛性能和优化能力仍需提高。
上述文献研究虽然在覆冰预测上取得了一定的成果,但是并没有涉及覆冰过程中的空间特征信息,因而存在预测精度欠佳的问题。目前,国际上最直接、最可靠、误差最小的覆冰监测法是通过拉力传感器监测覆冰的质量换算厚度[14],因此对输电线路覆冰的预测也就是对线路拉力数值的预测。基于此,本文提出一种基于图卷积网络(Graph Convolutional Network, GCN)的输电线路覆冰预测方法,该方法利用图神经网络对输电线路拉力的图数据进行特征提取,通过若干时间步的图特征向量,预测后面几个时间步的特征,最后针对图卷积网络体系进行分析,验证其在真实数据集上的准确性与有效性。
1 时空序列预测本节将介绍时空序列预测问题的定义以及各类基于深度学习的时空序列预测方法。
1.1 问题定义时空序列数据是指嵌入在连续空间中,同时具有空间和时间相关性的数据,时空数据广泛存在于诸多领域。根据已采样的历史时空序列数据预测未来某些时刻被观测的时空变量值的过程, 称为时空序列预测。时空序列预测由多条具有空间相关性的时间序列组合而成,将长度为M的时间序列定义如下:
$X=\left[x_1, x_2, \cdots, x_M\right],$ | (1) |
式中,
时空序列预测任务是根据M个历史观测结果预测长度为L的序列数据,分为单步和多步预测。当L=1时为单步预测,L>1时为多步预测,其输出是一个不独立同分布的序列。多步预测又分为间接和直接多步预测,间接多步预测将单步预测结果作为样本输入进行下一步预测,所以会导致误差不断累积,预测效果不佳;直接多步预测的主要动机在于通过最小化长期误差来避免误差漂移的问题,从构建模型时就不再训练一个模型,而是训练L个模型,从而能一次预测全部结果。
在对时空序列进行预测时,为了同时提取时间特征和空间特征,深度学习技术已被广泛应用[15]。基于深度学习的时空序列预测技术大致可分为两种类型:学习时间序列特征和学习空间序列特征的模型。目前,主流的学习时间序列特征的模型是循环神经网络(Recurrent Neural Network, RNN)及其变体。学习空间序列特征的模型主要有CNN和GCN,前者用于处理结构化数据,后者用于提取拓扑图结构的空间特征[15]。其中,图卷积网络在路网交通流量预测领域中展现出瞩目的性能[16]。与路网相似,电网在空间上相邻节点间的关联极强,时间上受天气、季节因素的影响,因此可以将常用于预测交通流量的GCN模型迁移到电网覆冰预测领域,用于对输电线路覆冰过程的时间和空间因素上同时进行建模,从而提升基于时间序列的输电线路覆冰预测的准确度。
1.2 基于深度学习的时空序列预测RNN是一种能够处理变化序列数据的神经网络,前一个时间步的输出会输入到下一步的时间步网络中,对具有非线性特征的序列具有很好的学习能力。然而由于存在梯度爆炸和梯度消失的问题,导致其仅具有短期记忆。LSTM是一种特殊的RNN,相比普通的RNN,LSTM能够在更长的序列中有更好的表现。然而由于RNN采用迭代训练的方式,所以容易发生误差积累且计算量大,难以训练。同时由于CNN利用卷积核在图片上平移,通过卷积的方式来提取特征使其局限于对欧氏空间数据进行建模,Kipf等[17]提出GCN的概念,对非欧氏空间数据进行处理,使卷积操作更加适用于时空序列预测。利用空域图卷积或频域图卷积构建的深度网络模型,输入层与输出层均为图信号数据,其中隐含层为图卷积层,图结构在各层中共享,最终实现节点的聚类或节点值的预测等输出[3]。Yu等[18]将一阶切比雪夫图卷积操作与门控线性单元(Gated Liner Units,GLU)组成时空卷积模块,并构建时空图卷积的通用框架,实现时序特征的提取。
2 覆冰时空序列数据探索分析基于中国南方电网提供的电网覆冰真实数据集进行相关探索分析,结果如图 1所示。数据集包含公司下属的广东、云南、贵州等地各局塔杆上的拉力检测器回传的数据,原始数据包括电线最大拉力、最大风力等共12个字段。记录数为13 132 477条,时间跨度为2020年1月1日至2020年1月31日,包含终端1 069个,输配电线路为6种等级。
各字段的相关系数分布如图 1(a)所示,可见最大拉力值与最小拉力值非常相关,虽然与风力相关,但是与风的偏斜和倾角相关性较弱,各终端的采样间隔分布也不相同。由图 1(b)可知,有97.56%的终端采样间隔为0-30 min。同时,拉力数据存在一定的缺失[图 1(c)],因此在数据处理时需要对部分缺失数据进行填补,并剔除缺失数据过多的塔杆数据。
以海拔约1 883.8 m的超高电压XY8212号塔杆、海拔约284.5 m的超高电压CC0404号塔杆和海拔约809.4 m的超高电压CC0430号塔杆为例,其拉力的箱线图如图 2所示。可见在海拔越高的地区塔杆其平均拉力值越高,波动幅度越大,而在海拔更低的地区其拉力值为300-2 100,数值更集中。以时间序列为轴对3个塔杆的部分拉力数值进行可视化分析(图 3),可见在高海拔地区短时间内拉力变化剧烈,拉力数值不平稳。
3 基于图卷积的输电线路覆冰预测模型 3.1 输电线路覆冰预测问题
基于深度学习的输电线路覆冰预测问题的求解分为两个阶段,分别是模型的训练阶段和模型的预测阶段。在模型训练阶段,用学习函数F建模历史时刻拉力值X与未来时刻拉力值Y的关联,基于预测值
将覆冰数据定义在图上,覆冰数据向量vt可以看作是在权重为ωij的图G上的图信号,在图卷积网络模型中,带权的邻接矩阵计算公式如下:
$\omega_{i j}=\left\{\begin{array}{l}\exp \left(-\frac{d_{i j}^2}{\sigma^2}\right), i \neq j \text { and } \exp \left(-\frac{d_{i j}^2}{\sigma^2}\right) \geqslant \varepsilon \\ 0, \text { otherwise }\end{array}\right.,$ | (2) |
式中,ωij是边的权重,由塔杆i和j之间的欧式距离dij2决定;σ2为10,ε为0.5,分别用来控制矩阵的分布和稀疏性的阈值。
为了将CNN推广到结构化数据上,使用图傅里叶变换,使卷积在谱域中进行操作,定义图信号x与卷积核Θ在傅里叶域上的乘积为图卷积算子“*G”,则
$\Theta * G x=\Theta(L) x=\Theta\left(U \Lambda U^{\mathrm{T}}\right)=U \Theta(\Lambda) U^{\mathrm{T}} x,$ | (3) |
式中,U∈
本文建立的图卷积网络由两个时空卷积块(Spatiotemporal Convolution Block, STCB)和一个全连接输出层(Fully Connected Layers,FC)组成,每个卷积块中包含一个空间图卷积层(Spatial Graph-Conv)和两个时间门控卷积层(Temporal-Conv),模型架构如图 4所示。其中,输入的pt-M+1, …, pt序列被时空卷积块处理,以连贯地探索覆冰数据中的空间依赖性和时间依赖性特征。
3.3.1 空间特征提取
首先计算图卷积内核Θ,但其时间复杂度为Ο(n2),为了降低时间复杂度,利用切比雪夫多项式逼近来解决这个问题:
$\Theta(\Lambda)=\sum\limits_{k=0}^{K-1} \theta_k \Lambda^k$ | (4) |
式中,θk∈
将图卷积内核Θ看作是L特征向量的函数,即Θ(Λ)。利用切比雪夫多项式Tk(x)的k阶截断来获得近似的Θ(Λ),上式可改写为
$\Theta(\Lambda) \approx \sum\limits_{k=0}^{K-1} \theta_k T_k(\widetilde{\Lambda}),$ | (5) |
将
$\Theta * G x=\Theta(L) x \approx \sum\limits_{k=0}^{K-1} \theta_k T_k(\tilde{L}) x,$ | (6) |
式中,Tk(
对于覆冰观测数据,如图 5所示,可以视为一个多维矩阵,通过上述空间特征的计算,可以对给定的覆冰观测历史数据进行空间图卷积深度关联特征学习,得到其空间依赖特征。
3.3.2 时间特征提取
时间特征提取结构如图 4右下部分所示,包含一个二维卷积,其卷积核宽度为Kt。对于输入模型中的每个顶点数据,可以看作是长度为M的动态序列,有Ci个通道,时间卷积对输入序列Kt大小的近邻序列进行计算,每次计算都将序列长度缩短Kt-1。通过上述计算,沿着时间维度逐步进行卷积,随后在ReLU激活层进行计算。通过这种设计可以在缓解梯度消失的同时又能在最大程度上保留模型的非线性特征学习的能力,上述时间特征提取过程如图 6所示。基于上述空间特征与时间特征提取模型设计,通过空间卷积层提取非欧氏空间以及时间卷积层提取时间维度的特征,再通过1个空间卷积层和两个时间卷积层堆叠形成更复杂的时空卷积块,从而更有效地捕获覆冰数据中隐含的深度时空关联性特征。
4 验证实验及结果分析 4.1 覆冰数据的预处理
在上一章节对数据集初步探索的基础上,本文进一步构建了如图 7所示的数据预处理流程。
首先,获取2020年1月份覆冰拉力监测数据,对数据进行可视化异常分析,将异常值设置为空值,将数据按站点切割分别处理,基于上采样方法,以1 h作为采样频率对监测数据进行采样,对拉力采用平均值聚合,清洗掉缺失10%以上的数据,获得有拉力监测和位置记录的共有终端;然后,对缺失值按线性插值法进行填补;最后,对各站点数据进行拼接,转化为以下形式:
$X_1, X_2, \cdots, X_s \stackrel{\text { concat }}{\longrightarrow}\left(\begin{array}{l}P_1 \\ \cdots \\ P_t\end{array}\right),$ | (7) |
式中,Xs为站点s的拉力值,Pt为t时刻各站点的拉力值。
原始数据集中包含大量冗余数据,通过对数据的预处理,删去20.77%的不完整数据,最终得到582个监测站、744 h的拉力数据,在能适配6种输电线路监测器记录的情况下,保留最多的信息。
4.2 实验设置本文所有实验都使用12 h作为历史时间窗口,也就是12个观测数据点用于预测未来3 h的拉力值。为了测量和评估不同方法的性能,采用时空序列预测领域常用的平均绝对误差(MAE)、平均绝对百分比误差(MAPE)、均方根误差(RMSE)来评价模型的性能。定义如下:
$\mathrm{MAE}=\frac{1}{N} \sum\limits_i\left|x_i-\hat{x}_i\right|,$ | (8) |
$\mathrm{MAPE}=\frac{1}{N} \sum\limits_i\left|\frac{x_i-\hat{x}_i}{x_i}\right| \times 100 \%,$ | (9) |
$\text { RMSE }=\sqrt{\frac{1}{N} \sum\limits_i\left(x_i-\hat{x}_i\right)^2}, $ | (10) |
式中,xi和
在图卷积模型中,第一块时空卷积块中3层通道分别为6,12,24,第二块时空卷积块中3层通道分别为48,96,192,图卷积核和时间卷积核大小均为3。使用基于RMSprop的最小化均方根误差来训练模型,持续80个epoch,batch_size大小为16,初始学习率为10,后续每5个epoch的衰减率为0.7。
4.3 结果分析将本文基于时空图卷积网络的输电线路覆冰预测模型与ARIMA[11]、SVR[15]、LSTM[18]等基线模型进行比较,结果如表 1所示。单步预测结果显示,相比于不同的基线模型,本文提出的模型能保持最优的预测性能,总体预测误差最低。
模型Model | 平均绝对误差MAE | 均方根误差RMSE | 平均绝对百分比误差(%) MAPE (%) |
ARIMA | 125.97 | 618.22 | 17.50 |
SVR | 125.09 | 743.80 | 13.31 |
LSTM | 124.39 | 628.89 | 13.74 |
This article | 72.00 | 442.79 | 8.67 |
Note:results of this article are displayed in bold font |
表 2展示了未来多个时间步的MAPE的变化情况,在利用历史12 h预测未来3 h的拉力值时,本文模型明显优于基线模型。在训练模型时,由于很多拉力数据差分后依然难以平滑,因此不能建立正确的模型导致无法预测,使得ARIMA模型在4个模型中表现最差,MAPE高达54.79%。由此可以看出, 传统的统计和机器学习方法对短期预测可能表现良好,但由于误差积累、记忆问题和空间信息的缺失,使得其对长期预测并不准确。因此,使用深度学习方法比传统的机器学习方法能取得更好的预测结果。
模型Model | 平均绝对百分比误差(%) MAPE (%) | ||
步骤1 Step 1 | 步骤2 Step 2 | 步骤3 Step 3 | |
ARIMA | 17.50 | 32.13 | 54.79 |
SVR | 13.31 | 14.25 | 18.31 |
LSTM | 13.74 | 13.65 | 14.02 |
This article | 8.67 | 9.23 | 10.04 |
Note:results of this article are displayed in bold font |
图 8展示了利用图卷积模型对CC0890号塔杆、CC0677号塔杆和CC1515号塔杆测得的实际拉力值与预测拉力值的情况。从图 8可以看出, 利用图卷积模型在拉力值较小和较大的塔杆都能捕获拉力值的变化趋势,特别是在拉力值量程较小的塔杆上拟合较好,而在拉力值量程较大的塔杆上也能拟合未来拉力值的动态变化趋势。
5 结论
针对目前已有的基于数据驱动的输电线路覆冰预测模型鲜有将覆冰数据中的空间信息纳入模型建模的问题,本文提出了一种基于图卷积网络的覆冰预测模型,实现了在时间和空间依赖信息上的共同建模。该模型通过空间卷积层提取非欧氏空间以及时间卷积层提取时间维度的特征,将1个空间卷积层和两个时间卷积层堆叠形成时空卷积块,从而捕获覆冰数据的时空关联性,为输电线路覆冰预测提供更全面准确的信息。在中国南方电网提供的真实覆冰数据集上进行的实验评估对比结果表明,本文提出的模型优于现有的ARIMA、SVR和LSTM 3种方法,单步预测时MAPE、MAE、RMSE预测误差最小,多步预测时MAPE也始终低于基线模型,显示出更精确的预测性能。实验结果证实了采用本文的图卷积网络模型能够实现快速收敛,捕获拉力变化趋势,预测拉力值变化。未来将进一步优化模型和提升数据预处理质量,以实现更精准的输电线路覆冰预测。
[1] |
黄绪勇, 李晓帆, 王艳涛. 基于LSTM人工神经网络的输电线路覆冰灾害预警模型[J]. 中国战略新兴产业, 2017(44): 142-144. |
[2] |
刘闯, 何沁鸿, 卢银均, 等. 输电线路PSOEM-LSSVM覆冰预测模型[J]. 电力科学与技术学报, 2020, 35(6): 131-137. |
[3] |
张子翀, 王健. 基于拉力和倾角的输电线路覆冰厚度预测模型[J]. 广东电力, 2015, 28(6): 82-86, 92. |
[4] |
FARZANEH M, SAVADJIEV K. Statistical analysis of field data for precipitation icing accretion on overhead power lines[J]. IEEE Transactions on Power Delivery, 2005, 20(2): 1080-1087. DOI:10.1109/TPWRD.2004.838518 |
[5] |
刘宏伟, 陆佳政, 赖旬阳, 等. 输电线路覆冰厚度短期多变量灰色预测模型研究[J]. 高电压技术, 2015, 41(10): 3372-3377. |
[6] |
卢锦玲, 朱墨. 采用模糊理论的覆冰灾害风险评估[J]. 电力科学与工程, 2019, 35(3): 37-44. |
[7] |
黄新波, 李弘博, 朱永灿, 等. 基于时间序列分析与卡尔曼滤波的输电线路覆冰短期预测[J]. 高电压技术, 2017, 43(6): 1943-1949. |
[8] |
LUO Y, LI Y, YAO Y, et al. Research on power transmission line ice prediction system based on BP neural network [C]//Proceedings of 2012 International Conference on Measurement, Information and Control. Piscataway, NJ: IEEE, 2012: 817-820.
|
[9] |
LIU C, LIU H W, WANG Y S, et al. Research of icing thickness on transmission lines based on fuzzy Markov chain prediction [C]//Proceedings of 2013 IEEE International Conference on Applied Superconductivity and Electromagnetic Devices. Piscataway, NJ: IEEE, 2013: 327-330.
|
[10] |
LI J G, LI P, MIAO A M, et al. Online prediction me-thod of icing of overhead power lines based on support vector regression[J]. International Transactions on Electrical Energy-Systems, 2018, 28(3): 1-29. |
[11] |
任源. 基于改进粒子群算法的输电线路覆冰研究[D]. 西安: 西安理工大学, 2019.
|
[12] |
林刚, 王波, 彭辉. 基于强泛化卷积神经网络的输电线路图像覆冰厚度辨识[J]. 中国电机工程学报, 2018, 38(11): 3393-3401. |
[13] |
陈雨鸽, 高伟, 林鸿伟, 等. 一种基于长短期记忆网络的线路覆冰预测模型研究[J]. 电工电气, 2020(3): 5-11. |
[14] |
刘博, 王明烁, 李永, 等. 深度学习在时空序列预测中的应用综述[J]. 北京工业大学学报, 2021, 47(8): 925-941. |
[15] |
王竟成, 张勇, 胡永利, 等. 基于图卷积网络的交通预测综述[J]. 北京工业大学学报, 2021, 47(8): 954-970. |
[16] |
张予. 架空输电线路导线覆冰在线监测系统[J]. 高电压技术, 2008, 34(9): 1992-1995. |
[17] |
KIPF T N, WELLING M. Semi-supervised classification with graph convolutional networks [C]//International Conference on Learning Representations. Toulon, France: [s. n.], 2017: 1-14.
|
[18] |
YU B, YIN H T, ZHU Z X. Spatio-temporal graph convolutional networks: a deep learning framework for traffic forecasting [C]//Proceedings of the 27th International Joint Conference on Artificial Intelligence. San Francisco: Margan Kaufmann, 2018: 3634-3640.
|