【イベント報告】KDDI&Prokids 聴覚障がい者向けAI音声認識IOT教室

ろう学校の中高生がAIとIOTに挑戦


 

聴覚障がいを持つ中高生向けのプログラミングイベントをKDDIとプロキッズで行いました。今回はAIやIOTの領域もカバーしたりと、昨年より難易度が上がっています。

 

プロキッズは、アプリの企画・開発から教材開発、当日の講師まで担当し、「AIによる音声認識を搭載したIOT」にみんなで挑みました。

 

今年もろう学校に通う中高生の生徒たちが、自ら手を挙げて集まってくれました。昨年の参加者も数名来てくれていました。

 

29258374_1899145370157548_3717421222640746496_o

手話通訳者を交えて授業を進めます

 

きっかけは好きな番組のテロップがない


 

「好きなTV番組にテロップが出てこない」

「大学講義によって授業を文字化してくれない」

 

そんな現状に対して、もしもTVや先生の声をリアルタイムで拾うことができれば、健聴者と同じように日常生活を楽しむことができます。

 

生徒たちが日頃から不便に思うことを、自分たちの力で解決できないか。

AIを活用した音声認識IOTの企画は、こうした背景からスタートしました。

 

そこで今回は、IOT(Rasberry Pi)を活用し、リモートで音声認識された文字を瞬時にスマホへ表示するアプリを開発することになりました。

 

29342281_1899146236824128_8205001184637878272_o (1)

機材をイチから組み立てプログラミング

 

初めてMacを触る子もいましたが、どんどんプログラミングは続きます。みんな集中して画面設計やAIを活用していました。

 

「大変だけど、意外と簡単にできた!」

 

まずは自分の声を認識する所まで完成。プログラミングの可能性を感じてもらいながら、1日目は無事に終了しました。

 

29314569_1899145700157515_8452186061580271616_o一人一個作るので質問も飛び交っていました

 

音声認識IOTを自分専用アプリへ


 

「バラードの曲だと音声認識の精度が上がる」

「NHKのニュースは聞き取りやすいなぁ」

 

2日目は自分の好きな音楽やニュースを、自分が作ったIOTで聞き取る所からスタートしました。その後はアプリのアイコンを作ったり、画面の精度を上げたりと、最終発表に向けて準備を開始しました。

 

2日目31

AIを活用した音声認識IOT、完成画面はこんな感じ

 

発表の場では、アイコンの紹介から画面遷移までプレゼンしてもらいました。

 

「コマンドの入力するとコードが勝手にでて、映画で見るハッカーのようだった」

「将来はJavaやPythonを勉強してみたいと思った」

 

非常に熱いコメントをたくさんもらいました。

 

2日目25

アイコンへのこだわりなど生徒の興味もさまざま

 

最後は先生も授業で活用


 

実は今回の2日間、生徒たちの傍らでろう学校の先生たちも音声認識IOTを一緒に作っていました。

そこで最後は先生が作った音声認識を使って、手話をせずに授業を行うことに挑戦しました。先生が情報の教科書を読むと、リアルタイムで文字が表示されていきます。

 

「99%くらい合ってる!」

 

生徒たちからも嬉しい声が上がりました。

 2日目6 教科書(右)をリアルタイムに文字化(左)に成功!

 

先生からは、今後この音声認識を活用し、みんなと授業を行っていくお話がありました。

未来の教育の一場面を垣間見た瞬間でした。

 

実際の動画はこちらです。

このAI音声認識IOTは、先生自身がプロキッズのテキストを見ながら作り上げたものです。

 

 

自ら悩みを解決できる、その先へ


 

聴覚障がい者が抱える悩みを自ら解決できるという気づきは大きな一歩だと思います。

 

2日目13

こんな日が来るのもすぐそこに・・・

 

ろう学校の生徒達へのIT教育を通して、みんなの将来の選択肢を1つ広げるきっかけになると嬉しいです。

 

2日目1

ぜひ、授業で使ってみてくださいね!

記事掲載(2018/4/4時点)

 

このイベントの様子がASCII.jpに掲載されました!

 

■ASCII

・聴覚障がい者がプログラミングで情報保証を自ら実現できる未来

2日間の生徒たちの様子や全員のプレゼンの様子も大変詳しく書かれてあります。