風速を予測するための長期短期記憶リカレント ニューラル ネットワークの応用
Jul 17, 2024
抽象的な：
風速の予測は、発電用の風力発電予測において最も重要かつ困難な問題の 1 つです。長期短期記憶は、時系列の研究に使用されるリカレント ニューラル ネットワーク (RNN) が経験するトレーニング プロセス中の勾配情報の消失または爆発の問題に対処するため、短期記憶の解決策として使用されました。
長期記憶は記憶と切り離せないものです。記憶は、感覚、知覚、認知、実行、反応など、人間の脳のあらゆる側面を含むかなり複雑なプロセスです。私たちの目標は、受け取った情報を後で使用できるように長期記憶に保存することです。
このプロセスでは長短期記憶モデル (LTM) が重要です。 LTM とは、処理された情報を保存する能力を指します。つまり、LTM は、短期記憶から脳に情報を保存するのに役立ちます。そして、メモリに関しては、長期保存が最終目標です。
私たちの生活において、長期記憶を生み出す多くの要因は、個人の経験や活動に関連しています。たとえば、ある状況に長時間さらされたり、講義を聞いたり、記憶力を向上させたりすると、記憶力が向上します。
長短期記憶モデルは次のように簡単に説明できます。私たちは初めて情報を学習すると、それを短期記憶に保存できます。この情報は一定期間保存されますが、すぐに消去されます。しかし、この情報について深く考えたり、過去の経験と結びつけたりすると、その情報は長期記憶に転送されます。
したがって、長期記憶を強化する鍵は、脳をアクティブでポジティブで創造的な思考に保つことです。私たちは、本を読んだり、インタラクティブなゲームをしたり、新しいことを調べたり、日記を書いたりすることで、頭の体操をすることができます。特に、学習と探索を密接に組み合わせることで、記憶力をより強化できます。
つまり、長期記憶モデルと短期記憶モデルが記憶に与える影響は非常に重要です。生活や勉強において、私たちは記憶に注意を払い、練習する必要があります。積極的な思考と運動を通じて、私たちは長期記憶能力を継続的に向上させ、新しい知識をより簡単かつ効果的に学ぶことができます。記憶力を向上させる必要があることがわかります。シスタンケは、記憶と学習に非常に重要なアセチルコリンや成長因子のレベルを高めるなど、神経伝達物質のバランスも調節できるため、記憶力を大幅に向上させることができます。さらに、シスタンシュは血流を改善し、酸素の供給を促進することで、脳に十分な栄養とエネルギーを確保し、それによって脳の活力と持久力を向上させることができます。
本研究では、長短期記憶に基づく予測モデルと、将来の複数の時間ステップの風速値を予測するために開発されたディープニューラルネットワークを提案することで、この問題に対処します。
カナダのハリファックスの気象データベースは、2 つの系列の時速風速のソースとして使用されました。予測モデルのトレーニングとテストには、春 (2015 年 3 月) と夏 (2015 年 7 月) の 2 つの異なる季節が使用されました。その結果、提案したモデルの使用により風速予測の精度が効果的に向上できることが示されました。
キーワード: 予測;長期短期記憶。複数の時系列。 RNN;風速。
1. はじめに
風速の予測は、大気の他の変数と比較して非常に困難な課題です。これは、風力発電が系統に統合するのが困難な原因となる、風力の無秩序で断続的な性質によるものです。
風速は最も開発され、最も安価なグリーン エネルギー源の 1 つであるため、短期的に正確に予測することが重要な問題となっており、電力網に決定的な影響を与えます。動的手法と統計的手法の両方、および 2 つの手法を組み合わせたいくつかのハイブリッド手法が、短期風速の予測に適用されました。
高解像度の数値天気予報 (NWP) モデルを実行するには、データの同化、空間と時間における NWP モデルの推定方法、予測の検証と検証の実行方法に関する知識など、モデルをサポートする多くの基本原理を理解する必要があります。これは、計算時間の点でコストがかかる可能性があります。
風力資源を特徴づけ、予測するために、風速を予測するための信頼できる方法と技術がますます重要になってきています[1]。予測の主な目的は、時系列モデルを構築、特定、調整、検証することです。
時系列予測は、機械学習と人工知能一般の最も重要な応用問題の 1 つです。予測手法の改善により、さまざまな領域のさまざまな要因の挙動をより正確に予測できるようになります。伝統的に、そのようなモデルは 1960 年代と 1970 年代に開発された統計分析と数学的モデリングの方法に基づいています [2]。
ARIMA モデルは、モデル予測精度の一般的な誤差率測定を使用して風速を予測するために使用されました [3]。最近、機械学習コミュニティにおけるディープ ラーニングは、多くの隠れ層を持つディープ ニューラル ネットワークのトレーニングを容易にする一般的なフレームワークと考えられているため、非常に人気が高まっています [4]。
大規模なデータセットの利用可能性と、アルゴリズムの改善およびコンピューティング能力の指数関数的成長が相まって、機械学習のトピックに対する関心がかつてないほど高まっています。
これらの方法では、過去と未来の間のランダムな依存関係を学習するために履歴データのみが使用されます。これらの方法の中で、リカレント ニューラル ネットワーク (RNN) は、シーケンスのあるステップから次のステップへ隠れ状態をトラバースし、入力と組み合わせて、入力間を行き来することでデータのシーケンスを学習するように設計されています [5] 。
長期短期記憶ベースのリカレント ニューラル ネットワーク (LSTM-RNN) は、1 ～ 24 時間先の風力発電の予測に使用されています [6]。 LSTM、エクストリーム ラーニング マシン (ELM)、および SVM の間で比較が行われました。その結果、深層学習アプローチは、方向性ループ ニューラル ネットワーク構造と特別な隠しユニットを介して予測精度を向上させる点で、従来の機械学習手法よりも効果的であることが示されました [7]。研究では、NWP モデルと人工ニューラルネットワークを組み合わせることが有益であり、従来の NWP モデルのダウンスケーリング方法と比較してより高い精度が得られる可能性があることが示唆されています [8]。
数値気象予測法 (NWP) は最もよく使用される手法の 1 つであり、計算量が多いため、短期および中期の予報よりも長期の予報に適しています [9]。リカレント ニューラル ネットワーク モデルの風速予測精度の分析が行われ、単変量および多変量 ARIMA モデルと比較して優れた結果が得られました [10]。
短期的な風速を予測するために、外部変数の有無にかかわらず線形および非線形の自己回帰モデルが開発されました。モデルの精度を測定するために、MAE、RMSE、MAPE という 3 つのパフォーマンス指標が使用されました [11]。
LSTM 法を風速の予測に使用し、その結果を従来の人工ニューラル ネットワークや自己回帰統合移動平均モデルと比較したところ、提案された方法の方が良い結果が得られることが証明されました [12]。長期記憶モデル (LSTM) は、過去の風速と自己回帰の 2 年間のデータを使用して、5 つの場所の短期時空間風速予測に実行されました。
このモデルは、より短い時間軸での予測精度を向上させることを目的としていました。たとえば、LSTM を 2 時間または 3 時間使用すると、通常 6 時間の頻度で更新される NWP モデルを使用して、最大 15 日間にわたる期間を予測できます [13]。多変量時系列を予測するための RNN のトレーニング速度は、特にネットワーク深度が大きい場合には通常比較的遅くなります。
最近では、長期記憶 (LSTM) と呼ばれるさまざまな RNN が、標準 RNN アーキテクチャの勾配消失問題や勾配爆発問題をより適切に解決することにより、トレーニング段階で優れたパフォーマンスを発揮するために好まれています [14,15]。
データ駆動型の軽量天気予報のために長短期記憶 (LSTM) および時間畳み込みネットワーク (TCN) モデルが提案され、そのパフォーマンスが古典的な機械学習アプローチ (標準回帰 (SR)、サポート ベクター回帰 (SVR)、ランダム フォレスト( RF））、統計的機械学習アプローチ（自己回帰統合移動平均（ARIMA）、ベクトル自動回帰（VAR）、およびベクトル誤差修正モデル（VECM））、および動的アンサンブル手法（予測エキスパートのアービトラージ（AFE））。
提案されたモデルの結果は、効果的かつ正確な天気を予測する能力を実証しています [16]。風速の長期予測における LSTM アルゴリズムの研究は継続的に開発されているにもかかわらず、予測には従来の RNN アルゴリズムが依然としてほとんどの研究で好まれています。
この論文では、風速予測の分野における LST アルゴリズムの適用に重点が置かれており、異なる風速時系列の下でのアルゴリズムの予測効率と精度の比較がトレーニングとテストに使用されました。
2. 方法論とデータソース
2.1.データソース
この研究では、Weather Research and Forecasting Model (WRF) などの NWP モデルを使用して動的ダウンスケーリングを行う際の高い計算時間を回避するために、提案されたモデルは風速の短期予測のみに実装されました。北緯 44.66 度、西経 63.58 度に位置するノバスコシア州のハリファックス造船所駅からの風速データ。
風速は高さ 3.80 m で測定され、図 1 に示すように、春 (2015 年 3 月) と夏 (2015 年 7 月) の 2 つの異なる季節の風源として使用されました。
両方の季節で、データはそれぞれトレーニング グループとテスト グループとして観測として (576 読み取り/24 日)、(168 読み取り/7 日) として各時間に記録されました。提案された LSTM 実装は、時系列データセットとよく適合します。トレーニング プロセスの収束精度を向上させることができます。
2.2.リカレント ニューラル ネットワーク
リカレント ニューラル ネットワーク (RNN) は、連続したデータ ニューラル ネットワークであり、その目的は、同じシーケンスの前のステップと比較して、一連の観察における次のステップを予測することです。
RNN には、時間の経過とともに分散された隠れ層が含まれており、シリアル データの読み取りの前の段階で取得した情報を保存できます。風速は短期と長期によって異なります。
単純な RNN モデルは長期にわたる依存関係を処理できません。 RNN の展開から生じる 1 つの問題は、ネットワークがあまりにも多くのタイム ステップにわたって展開されると、一部の重みの勾配が小さくなりすぎたり、大きくなりすぎたりし始めることです。
この現象は勾配消失問題と呼ばれ、前のタイム ステップの隠れ層のみを活性化する機能が含まれているため、短期記憶のみを保存でき、これにより長期的には情報が失われます [17,18]。
この問題を解決するネットワーク アーキテクチャの一種が LSTM です。典型的な実装では、隠れ層は、ブロック内のエラーをトラップするゲートで構成される計算ユニットの複雑なブロックに置き換えられ、いわゆる「エラー カルーセル」を形成します [5]。図 2 は、以前に隠された層の出力が現在の隠れ層に入力される RNN 構造を示しています。 RNN モデルは次のように表されます。
2.2.リカレント ニューラル ネットワーク
リカレント ニューラル ネットワーク (RNN) は、連続したデータ ニューラル ネットワークであり、その目的は、同じシーケンスの前のステップと比較して、一連の観察における次のステップを予測することです。 RNN には、時間の経過とともに分散された隠れ層が含まれており、シリアル データの読み取りの前の段階で取得した情報を保存できます。風速は短期と長期によって異なります。
単純な RNN モデルは長期にわたる依存関係を処理できません。 RNN の展開から生じる 1 つの問題は、ネットワークがあまりにも多くのタイム ステップにわたって展開されると、一部の重みの勾配が小さくなりすぎたり、大きくなりすぎたりし始めることです。この現象は勾配消失問題と呼ばれ、前のタイム ステップの隠れ層のみを活性化する機能が含まれているため、短期記憶のみを保存でき、これにより長期的には情報が失われます [17,18]。
この問題を解決するネットワーク アーキテクチャの一種が LSTM です。典型的な実装では、隠れ層は、ブロック内のエラーをトラップするゲートで構成される計算ユニットの複雑なブロックに置き換えられ、いわゆる「エラー カルーセル」を形成します [5]。図 2 は、以前に隠された層の出力が現在の隠れ層に入力される RNN 構造を示しています。
RNN モデルは次のように表現されます。 h は入力、 h は隠れ層の状態値、時刻 t の出力層で値が計算されます。なぜ入力層からの重みがあり、なぜ時刻 t での遅延出力の重みがあるのですか-図１において、tanhは隠れ層の活性化関数である双曲線正接、σは出力層の活性化関数であるシグモイド関数である。
2.3.長短期記憶
長短期記憶ネットワークは、長期依存の問題を回避するために設計されたリカレント ニューラル ネットワーク (RNN) の一種であり、各ニューロンには、RNN によって使用された以前の情報を保存したり、必要に応じてそれを忘れたりできる記憶セルが含まれています [19] 。現在、時系列予測問題で成功を収めており、広く使用されています。
LSTM-RNN は、長期的な依存関係を保存するメモリ セルから設計されました。メモリ セルに加えて、LSTM セルには入力ゲート、出力ゲート、およびフォーゲット ゲートが含まれています。
セル内の各ゲートは、現在の入力 tx、直前の隠れ状態 ht-1、およびセルの内部メモリの状態情報 Ct-1 を受け取り、さまざまな操作を実行し、論理関数を使用してアクティブにするかどうかを決定します。ユニットの状態 ht、時刻 t での出力、時刻 t1 での入力隠れ状態は、tanh () と出力ゲートの情報を非線形的に活性化することによって決定されます。
3. 結果と考察
この研究では、MATLAB ソフトウェア (R2019b) が LSTM のトレーニング プロセスに使用されました。LSTM は、シーケンスの将来のタイムステップの値を予測するための RNN の高度なアーキテクチャです。シーケンス回帰ネットワークは LSTM シーケンスに合わせてトレーニングされました。応答は 1 つのタイム ステップで値が変化するトレーニング シーケンスです。
つまり、LSTM ネットワークは、入力シーケンスのタイム ステップごとに、次のタイム ステップの値を予測することを学習します。この研究では、提案されたモデルの有効性と適用可能性を包括的かつ体系的に評価するために、気候特性が異なる 2 つの異なる季節、それぞれ春 (2015 年 3 月) と夏 (2015 年 7 月) の風速に関する 2 つのシリーズのデータが選択されました。 ）。
各データシリーズは、観察グループとして 1 ～ 576 (24 日間)、トレーニング グループとテスト グループとして 577 ～ 744 (7 日間) にそれぞれ分割されました。トレーニング データは、トレーニングの発散を防ぐために、予測時点でゼロ平均と単位分散を持つように標準化されています。最低の RMSE を取得するための最適なトレーニング パラメーターは、初期学習率 0.005 を使用して見つかります。
図 4 と図 5 は、一度訓練された LSTM の評価のために、それぞれ春 (2015 年 3 月 1 日から 31 日) と夏 (2015 年 7 月 1 日から 31 日) に収集された風速系列の観測値と予測値の比較を示しています。前の予測の値) を再利用して、式 (2) ～ (4) で表される予測間の各時間ステップを予測します。これは、モデルが最初にトレーニング データに適合すると更新が行われないことを意味し、この場合のモデルは更新がないため、固定モデルと呼ばれます。
LSTM ネットワーク トレーニング オプションが 200 の非表示モジュールに対して選択されました。初期学習率は 0.005 で、最大反復数は 250 に固定されています。勾配の爆発を防ぐために、勾配のしきい値は 1 に設定されています。学習率は 125 エポック後に係数 0.2 を乗算して低下します。図 6 と図 7 の両方で、LSTM は、テスト セットからの予測値と更新された状態値を使用して、時系列予測の新しいデータで更新され、利用可能になっています。次のタイムステップの予測モデル 特に、modifiedLSTMでは入力ゲート、忘却ゲート、出力ゲートにCt−1を採用しました。
これは、LSTM が進行するたびに、Ct-1 が LSTM の入力、忘却、および出力に影響を与えるためです。すべての予測はテスト データ セットに収集され、モデルのスキルを要約するためにエラー スコアが計算されます。二乗平均平方根誤差 (RMSE) が使用されるのは、大きな誤差にペナルティが課せられ、予測データと同じ単位 (時速風速) でスコアが得られるためです。
ここで、予測値の代わりに観測値を使用してネットワーク状態を更新すると、予測はより正確になります。結果から、LSTM アップデートを使用すると、春 (2015 年 3 月) と夏 (2015 年 7 月) の両方のシリーズで RMSE の値がそれぞれ 4.5845 と 4.9392 低下したことがわかります。これは、それぞれの特性の違いによるものです。
この研究および異なるモデルに基づくさまざまな先行研究に基づくと、予測モデルの精度は情報の異なる特性に応じて異なるため、これまでに、異なる情報に対して同じ精度で機能するモデルに到達していないことがわかります。 。表 1 は、RMSE エラー メトリクスを使用した、提案された LSTM モデルにおける 2 つのデータ シリーズ (2015 年 7 月) と (2015 年 3 月) のエラーを示しています。
4. 結論
風速源の正確な予測モデルは、最適な風力発電所を生成し、エネルギー市場での需要と供給のバランスを取る際に送電網運用者やシステム設計者に力を与えるための重要な情報を提供するために必要です。
この研究では、風速を予測するために修正長期短期記憶 (LSTM) が提案されています。予測間のタイムステップの実際の値にアクセスできるため、ゲートの代わりに観測値を使用して各予測のネットワーク状態を更新することによって風速が予測されます。
これは、LSTM が進行するたびに、セルの状態が LSTM の入力、忘却、および出力に影響を与えるためです。モデルの結果は、風速の予測精度の向上を実証しました。
著者の寄稿: Conceptualization、ME。方法論、私。ソフトウェア、私。検証、ME、形式分析、ME、AM。執筆 - 原案作成、私。執筆 - レビューと編集、午前。監修、AM。プロジェクト管理者、AM すべての著者は原稿の出版版を読み、同意しました。
資金提供: この研究の一部はリビア教育省の助成金番号 3772 によって行われました。
治験審査委員会の声明: 該当なし。
インフォームドコンセント声明: 該当なし。
データの可用性に関する声明: 適用されません。
利益相反: 著者は利益相反がないことを宣言します。
参考文献
1. モンファレド、M.ラステガー、H.コジャバディ、HM 人工知能手法を使用した風速予測の新しい戦略。 Renew.Energy 2009、34、845–848。 [相互参照]
2. ボックス、GE;ジェンキンス、GM。レインセル、GC; Ljung GM 時系列分析: 予測と制御、第 5 版;ジョン・ワイリー＆サンズ：米国ニュージャージー州ホーボーケン、2015年。 129–171ページ。
3. エルサライティ、M.メラベット、A. Al-Durra、A. 風速データの時系列分析と予測。 IEEEIndustry Applications Society Annual Meeting、米国メリーランド州ボルチモア、2019 年 9 月 29 日～10 月 3 日の議事録。 1 ～ 5 ページ。
4. ヤダブ、AP;クマール、A. Behera, L. 適応学習率を使用した RNN ベースの日射量予測。群集、進化的、およびミームコンピューティングに関する国際会議において。スプリンガー：スイス、シャム、2013年。 442–452ページ。
5. ホッホライター、S. Schmidhuber, J. 長期短期記憶。ニューラルコンピューティング。 1997、9、1735 ～ 1780 年。 [相互参照] [PubMed]
6. クマール、D.マトゥール、HD;バノット、S. RC バンサル 隔離されたマイクログリッドにおける負荷周波数制御に LSTM RNN を使用した太陽光発電と風力発電の予測。内部。 J.モデル。サイマル。 2020. [クロスリファレンス]
7.シー、X。レイ、X。ファン、Q.ファン、Ｓ．レン、K。 Hu, Y. 変分モデル分解と長期短期記憶のハイブリッド モデルを使用した、1 時間ごとの風力発電の前日予測。エネルギー 2018、11、3227。[CrossRef]
8. ロドリゲス、ER;オリベイラ、I.クーニャ、R. Netto, M. DeepDownscale: 高解像度天気予報のための深層学習戦略。 2018 IEEE 14th International Conference on e-Science (e-Science) の議事録、オランダ、アムステルダム、2018 年 10 月 29 日～11 月 1 日。 IEEE: 米国ニューヨーク州ニューヨーク、2018 年。 415–422ページ。
9. チェン、N.銭、Ｚ．ナブニー、IT; Meng, X. ガウス プロセスと数値天気予報を使用した風力発電予測。IEEE Trans。パワーシステム。 2013、29、656–665。 [相互参照]
10. 曹 Q.ブリティッシュコロンビア州ユーイング。マサチューセッツ州トンプソン リカレント ニューラル ネットワークを使用した風速の予測。ユーロ。 Ｊ．Ｏｐｅｒ．解像度2012、221,148–154。 [相互参照]
11. リディア、M.クマール、SS;セルヴァクマール、AI; Kumar、GE 短期風速予測のための線形および非線形自己回帰モデル。エネルギー変換者。管理。 2016、112、115–124。 [相互参照]
12. ガデリ、A.サナンダジ、BM; Ghaderi, F. Deep Forecast: 深層学習ベースの時空間予測。コーネル大学: 米国ニューヨーク州イサカ、2017 年。
For more information:1950477648nn@gmail.com
