Microsoft Word - ディープ ラーニングと従来のモデル_アブデル ハイ_最終回。パート 2
Jan 03, 2024
機械学習モデル用のデータを準備するために、次のデータ前処理手法が実行されました。
データとメモリは密接に関係しています。 現代社会では、テキスト、写真、ビデオなどの大量の情報やデータが毎日受け取られます。これらのデータを効果的に処理し、整理するには、強い記憶力が必要です。
一方で、データは記憶のサポートを提供してくれます。 たとえば、新しい知識を学ぶとき、関連するデータや事実を暗記することで、知識ポイントをより速く、よりよく理解して習得できます。 この種の学習方法は、強力な記憶力を構築し、知識を制御する能力を長期間維持するのに役立ちます。
一方で、データは記憶力のトレーニングや向上にも役立ちます。 さまざまな記憶力トレーニング方法を通じて、データを柔軟に活用して記憶力トレーニングを実施し、ある程度の記憶力を強化することで、社会の発展や仕事や生活のニーズによりよく適応することができます。
データとメモリの関係は非常に密接で重要であることがわかります。 データを積極的かつ効果的に処理して利用することによってのみ、記憶能力をより有効に活用し、より良い結果を達成することができます。 したがって、データとメモリの関係を積極的に扱い、関連するトレーニングとアプリケーションを実行し、常に能力を向上させる必要があります。 私たちは記憶力を向上させる必要があることがわかります。カンクサにはアセチルコリンや成長因子のレベルを高めるなど、神経伝達物質のバランスも調節できるため、記憶力を大幅に向上させることができます。 これらの物質は記憶と学習にとって非常に重要です。 さらに、肉は血流を改善し、酸素の供給を促進するため、脳に十分な栄養素とエネルギーが確実に供給され、脳の活力と持久力が向上します。
カテゴリ特徴量は 1 つのホット エンコードでした。 連続特徴と離散特徴は、次のように定義される最小最大正規化手法 32 を使用して正規化されました。
次の機能ごとに、各遭遇で異なる数の録音がありました。 したがって、代わりに次の統計値が計算されました。 拡張期血圧と収縮期血圧については、最小値、最大値、平均値を計算しました。
BMI には、最小値、最大値、平均値、および分散係数が使用されました。 これらの統計値を正規化して特徴量として使用した。 さらに、臨床検査、診断、および処置の数が異なるため、遭遇時の特徴の数も異なりました。 遭遇には複数の診断コードや手順コードが存在する場合もあれば、何も存在しない場合もあります。
これを改善し、特徴ベクトルの次元を統一するために、次のデータ表現手法を使用してモデルの学習を強化しました。 診断コードと手順コードについては、ワンホット エンコーディングの表現を使用しました。各値は 0 または 1 に設定され、各遭遇に対して診断/手順コードが存在するかどうかを示しました。 各テストには関連する結果があるため、このデータ表現手法を臨床検査用にわずかに変更しました。
したがって、コードが存在することを示す 1 を実験室の結果に置き換えました。 検査結果は式 1 を使用して正規化されました。結果は異なる単位と測定値であったため、検査結果を正規化する際には、各検査コードの最小値と最大値を個別に考慮しました。 この手法では、固有のコードが多数あるため、高次元の疎な配列が作成されました。
次に、特異値分解 (SVD) アルゴリズムを利用して、埋め込みと次元の削減を学習しました。SVD が使用されたのは、入力として正方行列を想定しておらず、スパース データに適しているためです。33 実験室テストは 50 コンポーネントに削減されました。手順コードは 45 コンポーネントに削減され、診断コードは 25 コンポーネントに削減されました。
さまざまなコンポーネントを調査し、分散比の合計を観察して、次元を削減するための最適なコンポーネント数を決定しました。 すべての特徴は、遭遇ごとに特徴ベクトルに連結されました。 SVD は、次元を削減して統一するために、各遭遇に個別に適用されました。 エンカウンターの次元は、エンカウンターごとに 50 個の特徴に削減されました。
次に、特定の患者のすべての遭遇を、入院日順に並べられた特徴ベクトルに連結しました。 クラス分布は、再入院のない患者 27,511 人（陰性クラス）と再入院した患者 9,130 人（陽性クラス）でした。
実験的アプローチ
次の目的に対処するために、EHR データを使用して広範な実験を実施しました。
- 糖尿病患者が 30 日以内に再入院するかどうかを予測します
- 利用されている DL メソッドのパフォーマンスをいくつかの従来のモデルと比較します。
- 再入院を予測するには、2 年以内に過去に何回遭遇したか (つまり過去のデータ) が最適であるかを分析する
- すべての臨床検査をデータに組み込んだ場合の効果と、分野の専門家が選択したテストのサブセットから学習した場合の効果を評価します。
この研究では、DL モデルは入力として 3-3- 次元テンソル � x � x � を受け取り、p 人の患者の e 回の出会いごとに f 個の特徴を表します。 対照的に、従来のモデルでは、データは通常、単一の患者に対応するすべての遭遇のすべての特徴を長い特徴ベクトルに連結した 2- 次元行列として表されます。
各エンカウントの次元は 50 個の特徴に削減され統合されているため、ディープ モデルでは � のサイズは 50 になります。従来のモデルでは、特徴ベクトルはすべてのエンカウントで構成されているため、サイズは � x 50 になります。
患者によって遭遇回数が異なるため、寸法が不均一になります。 したがって、統一された形式を実現するために、特徴ベクトルには 0 が埋め込まれました。 DL モデルと従来のモデルの入力として使用されるデータ表現を、それぞれ図 1 の左側と右側のパネルに示します。
異種の逐次データをモデル化するために、DL モデルの 2 つのバリアントを開発し、両方をベースラインとして使用されるいくつかの従来のモデルと比較しました。 私たちの研究で使用された DL モデルは次のとおりです。1) 1-way Long Short-Term Memory (LSTM) ネットワーク。これは、順序依存の不連続データを学習できるリカレント ニューラル ネットワーク (RNN) の一種です32。 2) RNN の別のバリエーションである双方向ゲート型リカレント ユニット (GRU)。
ベースラインとして使用される従来のモデルは次のとおりです。1) ランダム フォレスト (RF)、分類と回帰のためのアンサンブル手法。 トレーニング中に、複数の決定木を構築します。30 RF は、医療データを使用した予測に関して、既存の文献の最先端のパフォーマンスを頻繁に達成します。 2) マルチレイヤ パーセプトロン (MLP)、時間情報を考慮しない単純なニューラル ネットワーク モデル。
MLP は複数のパーセプトロン層で構成され、バックプロパゲーション学習を実行し、非線形活性化関数を利用します。31 3) ロジスティック回帰 (LR)、再入院予測に関する既存の文献で頻繁に使用され、医療データに適用される解釈可能なモデル。 4) AdaBoost。入力パラメータが共同で最適化されないため、オーバーフィッティングが起こりにくくなります。
DL モデルは、「TensorFlow」の高レベル API である「Keras」Python ライブラリを使用して実装されました。 「Scikit-learn」ライブラリは、Python で従来のモデルを実装するために利用されました。
提案されたモデル LSTM のアーキテクチャは、128 個のニューロン、シーケンシャル層、入力を 3- 次元テンソルに再形成するために使用された再形成層、およびマスク値 0 を持つマスキング層で構成されます。データが欠落しているタイムステップをスキップするために使用されます。
0 によるパディングは次元を統一するために実行されたため、マスキング レイヤーに続くすべてのレイヤーの欠損値による計算を回避するためにマスキング レイヤーが利用されました。そのため、学習中に欠損値は考慮されませんでした。
さらに、非表示レイヤーと出力レイヤーの間にドロップアウトが追加されました。 この手法を利用して、ドロップする特定のパーセンテージをランダムに選択することは、モデルがデータの一般的なパターンを学習するのを支援する一般的な正則化手法です。
RNN はニューラル ネットワークの変形であり、時間 EHR データを分析できる隠れたニューロンで構成されます 32。RNN は基本的なニューラル ネットワークと同じ構造を備えていますが、同じ層のニューロンが接続されているため、ニューロンは同じネットワークから学習できます。前の層の出力と入力データから学習することに加えて、隣接する層を学習します。 したがって、RNN ニューロンには、現在と最近の過去という 2 つの入力ソースが含まれます。 学習のプロセスは次のように定義されます。
隠れニューロンの値「」を計算するには、非線形変換関数 ReLU が、その左側の隠れニューロンの重み付き「値」「#$」とその入力「」の重み付き「値」に適用されます。
予測は、バイアスを加えたすべての隠れニューロンの重み付けされた合計のアシグモイド関数を使用して計算されます。 RNN の欠点は、勾配消失問題に悩まされていることです。つまり、重みが変化しないため、モデルの収束が困難になるため、モデルの学習が困難になります。
これを解決するために、RNN のシグモイドニューロンをより複雑な短期記憶構造に置き換える LSTM 層が導入されました。 LSTM はレイヤ間で同じ重みを共有するため、ネットワークが計算するパラメータの数が減ります。
GRU は、勾配消失問題に対する代替ソリューションです。 これは、単純なニューロンをゲート ユニットで置き換えます。ゲート ユニットは、出力ゲートがないため、LSTM ニューロンよりもパラメーターが少なくなります。33
For more information:1950477648nn@gmail.com
