Fitness video observation is a common approach in sports practice.
However, in videos, important frames and others are presented at a constant speed, there is a substantial cognitive load in accurately capturing key movements and timing, especially in the quick-paced videos of complex activities such as dance.
We hypothesize that extracting keyframes from dance videos and replaying them in sync with rhythm (frame-by-frame presentation) can reduce this cognitive load and improve the dance technique execution.
Our first study using a 2D display suggests that frame-by-frame presentation is not only as preferred as conventional videos, but also enables more accurate learning of movements.
Based on that, we developed DRF, a VR application that combines frame-by-frame presentation with motion trajectory visualization.
User study results indicate that with DRF, users could significantly improve both choreographic dance technique and rhythm accuracy compared to video-based VR systems.
Qualitative user evaluations from beginners, experienced dancers, and professionals expressed the benefits and potential use of the frame-by-frame presentation method.

スポーツ学習において，動画観察は一般的な学習方法です。しかし，動画では重要なフレームとそれ以外が一定の速度で提示されるため，重要な動作やポーズのタイミングを正確に捉えることが難しく，特にダンスのようなタイミングが重要な身体運動の学習においては認知負荷が高いです。そこで我々は，動画からキーフレームを抽出し，コマ送りで提示する手法により，認知負荷を軽減し，ダンス学習効果を向上させると考えました。動画とコマ送りを比較した事前実験を通じて，コマ送りでは次の動作の予測が難しく，またダンス学習において手首の学習が特に困難であることが示唆されました。この結果を元に，コマ送りと動作軌跡の可視化を組み合わせたVRアプリケーションを開発し，従来の動画ベースの手法との学習効果を比較する評価実験を行いました。結果，提案手法は従来の手法と比べ，リズム感と振付の正確性を共に向上させる傾向が見られました。初心者，経験者，プロを対象とした実験結果から，コマ送り提示の利点を確認し，身体運動の学習における潜在的な使用方法の可能性を議論します。

Publications

• 時田聡実, 石黒祥生, 第28回 情報処理学会 インタラクション2024, 2024年3月
• Satomi Tokida, and Yoshio Ishiguro, In IEEE VR 2024 Workshop, 2024