人工知能駆動型のデジタルインタラクティブなデザインとHua Tuoの5つの動物のフロリックのパブリックコミュニケーション
Feb 26, 2025
3。人工知能アルゴリズムに基づくモーションキャプチャ
カメラの前にある5アニマルエクササイズデバイスのインタラクティブな機能を有効にするために、コアは仮想表現と実際の表現の間の接続を確立することにあります。参加者は現実の世界に存在しますが、最初に仮想世界で再構築する必要があります。次に、仮想文字は参加者の再構築された画像と一致し、さまざまなインタラクティブな機能を可能にします。高度に同期した相互作用を達成するには、2つの主要な技術的課題に対処する必要があります。人間のポーズ推定そして人間のモーションリターゲティング。従来の人間の再建方法は、しばしば高価なモーションキャプチャ装置に依存していますが、この研究は人工知能の利点を活用して、より低いコストで人間の再建を達成します。
ボディービルのための新しいTCMハーブシスンチェ
人間のポーズ推定技術の主な目標は、ビデオストリームから人間の位置とキーポイントを検出することです。このテクノロジーは、デバイス設計の2つの重要な機能に適用できます。
リアルタイムのビデオストリームはカメラを介してキャプチャされ、モデルは人間のキーポイントを検出し、後続の操作の準備をします。
5回の動物運動の動きの要件を満たすために、これらのエクササイズのビデオクリップがモデルにプリロードされ、各動きのキーポイントを検出し、5回の動物エクササイズキャラクターの骨格シーケンスを生成し、ユーザー表現の転送の準備をします。
ボディビルディングのための新しいTCMハーブシスンチェ
次のセクションでは、技術的実装プロセスの詳細な説明を示します。
ボディビルディングのための新しいTCMハーブシスンチェ
3.1スケルトン抽出
この研究では、オープンポーズツール[13]リアルタイムの2Dキーポイントキャプチャと録音を実現します。 OpenPoseは、主にリアルタイムのマルチパーソン2Dポーズ推定に使用されます。画像内の各人のキーポイント（関節位置など）を検出して関連付けることにより、3D表面情報や身体部分の詳細なセグメンテーションを提供しませんが、ポーズ認識を可能にします。この方法では、の概念を紹介しますパーツアフィニティフィールド（PAF）、畳み込みニューラルネットワーク（CNNS）を通じて、部品間の身体部分とアフィニティフィールドの信頼マップを同時に予測します。キーポイントは、貪欲な推論プロセスを使用して解析され、強力なリアルタイムパフォーマンスを提供します。
事前に訓練されたOpenPoseモデルが準備されているため、この調査では、ビデオストリームデータ（ナショナルチャンピオンのCao Jinによるデモビデオを使用）をモデルに供給し、骨格データを抽出して骨格シーケンスを取得します（図4を参照）。
図4人体のキーポイントの検出結果
3.2密な人間のポーズ推定
2Dスケルトン抽出は、その後のモーションリターゲティングタスクを限定的なサポートで提供し、2Dスケルトンへの単純な文字マッピングにのみ適用できます。より複雑な文字表現のニーズを満たすには、人体の3D表面構造も抽出する必要があります。デュレスポーズ[14]は、3Dヒト表面上の対応するポイントに画像内のすべての人間のピクセルをマッピングすることにより、密集した人間のポーズ推定を達成することを目指しています。この方法は、キーポイントを検出するだけでなく、各ボディ部分の詳細な表面パラメーター化も提供し、UV座標とボディパーツセグメンテーションマスクを出力します。
DENCESPOSES-RCNNシステムは、デンセレグマスク-RCNNアーキテクチャを使用した方法。地域の提案生成と機能のプーリングのカスケードを採用し、密な予測のために完全に畳み込みのネットワークを使用します。これにより、個別の部分ラベルと連続表面座標が生成され、トレーニングを通じて人間の表面の密な対応関係を予測します。
DenceSposeは豊富な身体表面情報を提供するため、3Dモデリング、仮想現実（VR）、拡張現実（AR）などの詳細な人間の形状と外観を必要とするアプリケーションに適しています。最終的に、Deneseposeは、より複雑な文字表現の転送をサポートする、人間の表面情報と動きシーケンスを含む詳細なデータを生成することができます（図5を参照）。
図5Hua Tuoの5つの動物のフロリックビデオ画像と密集したポーズ比較チャート
3.3人間の動きのリターゲティング
仮想文字がユーザーのリアルタイムの動きを模倣することを可能にするか、ユーザーの写真をアニメーション化して5つの動物のエクササイズを実行するかどうかにかかわらず、それはすべて依存しています人間のモーションリターゲティングテクノロジー。このテクノロジーは、ソースモーションシーケンスを新しいモーションシーケンスにリダイレクトします。これを達成するにはさまざまなアプローチがあり、インタラクティブデバイスの要件に基づいて、この調査では2つの適用される手法を採用しています。
抽出されたものスケルトンシーケンス、スケルトンに基づく単純な処理では、新しいフォームに転送するのに十分です。たとえば、「スティックフィギュア」モデルを設計することにより、ヘッドキーポイントを拡大して身体部分に異なる色を追加して、新しい表現を生成できます。表35回の動物演習ビデオを使用して、モーションリターゲティングの効果を示しています。
Tab.3リターゲットビデオからのキーポイント画像と画像を含む結果
より複雑なモーションリターゲティングシナリオのために、目標の達成を支援するために拡散モデルを導入できます。魔術師フレームワーク[15]を使用すると、参照画像の時間的一貫性と忠実度を維持しながら、特定のモーションシーケンスに付着するビデオアニメーションを生成できます。このモデルは、参照画像を外観エンコーダーに埋め込み、外観埋め込みを生成しますが、ターゲットポーズシーケンス（DenceRpose）はポーズコントロールネットワーク（ControlNet）に入力して動き条件を抽出します。これらの2つの信号に基づいて、モデルは、指定されたポーズに従って参照アイデンティティをアニメーション化するビデオ拡散モデルを訓練します。
この機能を使用して、インタラクティブなデバイスは、ターゲットポーズシーケンスとしてユーザーのモーションシーケンスを採用し、5アニマルエクササイズの文字画像を参照画像として使用できます。これにより、カメラの前でのユーザーの自由な動きが5つの動物運動のキャラクターの同期モーションを駆動し、インタラクティブなエクスペリエンスを作成できます（参照図6).
図6スクリーン効果の生成
4。 "動き、健康を維持し、楽しんでください」パブリックインタラクティブデバイスデザイン
4.1機能機能
「移動し、健康を維持し、楽しむ」インタラクティブなデバイスは、カメラと人工知能技術を活用して、参加者がデバイスの前で一連のタスクを実行できるようにします。これらの動きはリアルタイムで記録され、仮想文字イメージと一致し、没入型のインタラクティブな体験を提供します。インタラクティブデバイスのアプリケーションシナリオはに表示されます図7.
機能1：ユーザーは、活気のあるカンフーキャラクター、ユニークなスタイルのブロック文字、簡素化されたスティックフィギュアなど、個人の好みに基づいたさまざまな仮想文字表現から選択できます。これらの視覚効果を通して、ユーザーは豊かなインタラクティブな体験を楽しんでいます。これらのキャラクターは、ユーザーの動きを模倣するだけでなく、それらにも反応します。
機能2：ユーザーは、カメラの前で全身の写真を撮って、5回の動物のエクササイズを実行する経験を強化できます。このシステムは、ユーザーの画像を5回の動物のエクササイズビデオクリップに挿入し、ユーザーが自分自身をHua Tuoの5回の動物演習のマスターとして想像できるようにし、さまざまな専門的な動きを正確に実行します。
図7ワイルドフィットアプリケーションシナリオ
4.2パラメーター設定
デバイスに名前が付けられています「動き、健康を維持し、楽しんでください」動物、自然、フィットネスの間のつながりを確立する。目標は、デザインをこれらの3つの要素間のブリッジにすることです。この概念に基づいて、このデバイスは、屋外の芝生または遊園地に配置されることを目的としたインタラクティブな画面インストールです。示されているように、さまざまなパラメーターが装備されています表4.
表4：「移動し、健康を維持し、お楽しみください」パラメーター構成
| パラメーター | 詳細 |
|---|---|
| 画面サイズ | 2.5m×1.5m |
| 解決 | 1920ピクセル×1080ピクセル |
| インタラクティブボタン | 開始ボタン。モーショントラッキングおよびフィードバックインジケーターボタン。終了ボタン |
| 感度に触れます | 10ms応答時間、30fpsフレームレート。手のジェスチャー、身体の姿勢、身体的センシングをサポートします |
| フィードバック相互作用 | 音声プロンプト;または視覚的なフィードバック（例えば、整理されていない身体姿勢または不完全なモーションジェスチャーを示す指標） |
| 耐久性 | IP65防水定格;アルミニウム合金材料シェル
|
図8ワイルドフィットデザインコンセプトのデモンストレーション
4.3.2物理的評価：内容と方法
適用後の物理デバイスの影響をさらに評価するために、次の評価方法が提案されています。
1）身体的健康指標
目的：フィットネスプログラム（体重、体脂肪率、心拍数、血圧など）に従事する前後に参加者の身体的健康指標を比較して、フィットネスプログラムの身体的健康への影響を評価します。
方法: 線形回帰分析
線形回帰は、フィットネスプログラムの前後に参加者の身体的健康指標の変化を分析するために使用されます。式は次のとおりです。
y =β₀ +βx +ε
Y：従属変数（例、重量変化）。
X：独立変数。
β₀そしてβ₁：回帰係数。
ε：ランダムエラー。
2）心理的健康指標
目的：精神的幸福への影響を評価するために、フィットネスプログラム（感情状態、ストレスレベル、幸福など）に参加した後の参加者の心理的健康指標を調査します。
方法: ロジスティック回帰分析
ロジスティック回帰は、プログラムの心理的健康指標に対する影響を評価するために使用されます（例：幸福）。式は次のとおりです。
p（y =1）= 1 /（1 + e^ - （β₀ +β₁x））
Y：バイナリ変数（たとえば、参加者が幸せに感じるかどうか）。
X：独立変数。
β₀そしてβ₁：回帰係数。
「移動し、健康を維持し、楽しむ」デバイスについては、独立した変数が詳細に説明されています表5.
3）エンゲージメントと満足度調査
目的：参加者のエンゲージメントとフィットネスプログラムに対する満足度を調査します。
方法：調査アンケートを設計および配布して、デバイスの使いやすさ、楽しみ、および実用性に関するユーザーフィードバックを収集し、5つの動物運動インタラクティブデバイスに対する全体的な満足度を収集します。
参加者はこれらの側面を評価し、フィードバックスコアと提案を使用して、デバイスの有効性を評価します。
