AI技術を使って手話表現を認識する、オンラインの手話学習ゲーム『手話タウン』。ゲームの舞台は手話が公用語の架空の町。そこには、旅行準備や宿泊、食事注文などいくつかのシチュエーションが用意されています。映像で2種類の手話の見本を習った後、カメラの前でその手話を実践すると、AIが手話を判定してストーリーが進みます。
表示される言語は日本語のほか、英語、中国語（繁体字）から選択でき、学ぶ手話言語は「日本手話」と「香港手話」の２つから選ぶことができます。
学びのポイント
- AI技術で手話を学ぶ
- 手話を母語とするろう者の文化を知る
- 手話認識技術のソースコードをオープンソースとして無償で公開（英語版のみ）
対象者：全年齢
手話は、手の動きや体の動き、表情や口形などを同時に使う視覚言語です。ろう者が意思疎通を図るために使用しており、日本国内では2011年に『改正障害者基本法』において手話の言語性が認められました。
ろう者が社会参画を進めるためには、手話で生活できる環境が不可欠です。しかし、まだ生活のあらゆる面で手話が広がっているとは言えず、ろう者が手話によって社会参加するにはハードルがある状態です。
一方で、新型コロナウイルス感染症の世界的な蔓延で知事や市長の記者会見に手話通訳がついたり、東京オリンピックの閉会式でのろう通訳が話題になったりと、社会での手話への関心や注目が高まっています。
このような世の中の動きとICT推進の流れをくみ、Googleおよび関西学院大学の協力のもと、日本財団と香港中文大学が共同開発をしてこのコンテンツが作成されました。「手話」や「ろう者」の理解を深めるために、カメラで表現した手話表現をAI（人工知能）技術で確認することができる手話学習ゲームです。
学び方
手話タウンでは、パソコンについているカメラを使います。これらの動画はあくまでデバイス上でのみ処理され、どこかにデータが送信されたり保存されたりすることはありません。
学ぶシチュエーションは複数用意されていて、それぞれのステージで単語を6つずつ学ぶことができるようになっています。
シチュエーション例
- ＜手話タウンに行きたいな＞
- ＜おなかすいたよ。＞
- ＜どこかに泊まりたいな。＞
＜手話タウンに行きたいな＞のシチュエーションは、旅行に備えた荷造りのシーンで必要なもの、ジャケットやシャツ、帽子や腕時計といった「身につけるものに関する手話」について学びます。
＜おなかすいたよ。＞のステージでは、カフェでの注文を想定したシーンで、メインの料理は何にするか、飲み物はどうするかなど、食べ物に関する手話を学んでいきます。
＜どこかに泊まりたいな。＞は、宿泊するホテル探し。お風呂やプール、ボディソープやシャンプーなど旅行に関する手話を学ぶことができます。
まずはステージを選択。すると、各質問について2種類の手話の見本動画が表示されます。どちらを伝えてみたいかを自分で選び、準備ができたらカメラの前で手話を実践してみます。
AIは「人のポーズとジェスチャー」「口と顔の表情」「手の形と指の動き」の3つの異なる動きを検出し、手話の特徴である上半身の向き、うなずき、表情などを組み合わせた表現を高い精度で判定します。
AIに手話が正しく伝わると、見本動画と自分の動画が並んで表示され、見比べてみることで、表現の違いを確認することができます。
見本動画は、右下にある[拡大アイコン]をクリックすることで、動画を大きく表示し、再生スピードを遅くすることもできるため、複雑な動きや見慣れない手話は、細かい部分まで学習することができます。
それぞれのステージに用意された6つの手話が正しく伝わると、シチュエーションにまつわる記念バッジがもらえ、6つ全てを集めるとシチュエーションがクリアになる仕掛けとなっています。
また、ゲーム内にはあちこちにミニコラムも散りばめられていますので、ろう者の世界を知るヒントにもなります。
立体的な、そして複雑な動きを行う手話は、これまでは特殊な機具や専用カメラでしか認識することが難しいものでした。しかし、このゲームではパソコンに搭載されたカメラを使って手話を認識し、正しく手話が話せているかどうかを判定してくれます。
英語などの外国語習得と同じように、コミュニケーションである手話も「伝わった！」と感じる瞬間が何よりも嬉しく、それが次の学びへの動機にもなります。「覚える」ことはできても、なかなか事前に「伝わる」練習をすることが難しかった手話ですが、ぜひこの学習ゲームでコミュニケーションの喜びを感じて、多様な世界を知るきっかけにしてみてください。
紹介したコンテンツ（日本語、英語、中国語（繁体字））
