In elementary education, digital teaching tools are expected to promote active, interactive, and collaborative learning, while alleviating learning challenges faced by children needing special support. Interactive learning experiences using AR/MR/VR hold the potential to engage students and enhance understanding of complex concepts. However, their implementation in actual classroom settings remains limited.
This study focused on an approach that incorporates physical activity into the learning process and developed an interactive digital teaching tool to support embodied learning in Japanese language education.
The tool enabled students to physically act as characters in a story, generating narrative illustrations in real time based on their full-body movements.
We evaluated this system in second-grade Japanese language classes, including regular and special needs classrooms. The results indicate that interactive, movement-based visual feedback promoted active student engagement, enhancing creative expression skills from both physical and linguistic perspectives.
This research demonstrates the potential of XR technology for individualized support in language education and highlights key challenges to address for broader application.

小学校教育において、デジタル教育ツールは、子どもたちの積極的、対話的、そして協働的な学びを促進し、特別な支援を必要とする児童が直面する学習課題を軽減することが期待されています。
AR/MR/VRを活用したインタラクティブな学習体験は、生徒の興味を引き出し、複雑な概念の理解を深める可能性を秘めていますが、実際の教室環境における導入は依然として限定的です。
本研究では、身体活動を学びのプロセスに取り入れるアプローチに注目し、日本語教育を支援するインタラクティブなデジタル教育ツールを開発しました。このツールは、児童が物語のキャラクターとして身体全体を使って動くことで、リアルタイムに物語のイラストを生成します。
このシステムを通常学級および特別支援学級を含む小学2年生の日本語授業で評価した結果、動きに基づくインタラクティブな視覚フィードバックが児童の積極的な参加を促し、身体的および言語的な観点から創造的な表現力を高めることが確認されました。
本研究は、言語教育におけるXR技術の個別支援の可能性を示すとともに、より広範な応用に向けて解決すべき課題を明らかにしました。

Publications

• 時田聡実，伊藤勇太，茅野政徳，石黒祥生, 即興的な身体表現を引き出すインタラクティブなデジタル教科書, WISS 2024 デモ, 2024
• 【★Honorable Mention Award】 Satomi Tokida, Yuta Itoh, Masanori Kayano, and Yoshio Ishiguro. 2024. MotionTales: Enhancing Creative Physical Expression in Elementary Education. In SIGGRAPH Asia 2024 Educator’s Forum (SA ’24). Association for Computing Machinery, New York, NY, USA, Article 4, 1–8. https://doi.org/10.1145/3680533.3697061