【イベント報告】KDDI＆PROKIDS　聴覚障がい者向けAI音声認識IoT教室

2018/03/20 お知らせ記事

ろう学校の中高生がAIとIoTに挑戦

聴覚障がいを持つ中高生向けのプログラミングイベントをKDDIとプロキッズで行いました。今回はAIやIoTの領域もカバーしたりと、昨年より難易度が上がっています。プロキッズは、アプリの企画・開発から教材開発、当日の講師まで担当し、「AIによる音声認識を搭載したIoT」にみんなで挑みました。今年もろう学校に通う中高生の生徒たちが、自ら手を挙げて集まってくれました。昨年の参加者も数名来てくれていました。

29258374_1899145370157548_3717421222640746496_o

手話通訳者を交えて授業を進めます

きっかけは好きな番組のテロップがない

29342281_1899146236824128_8205001184637878272_o (1)

機材をイチから組み立てプログラミング

「好きなTV番組にテロップが出てこない」「大学講義によって授業を文字化してくれない」そんな現状に対して、もしもTVや先生の声をリアルタイムで拾うことができれば、健聴者と同じように日常生活を楽しむことができます。生徒たちが日頃から不便に思うことを、自分たちの力で解決できないか。 AIを活用した音声認識IoTの企画は、こうした背景からスタートしました。そこで今回は、IoT（Rasberry Pi）を活用し、リモートで音声認識された文字を瞬時にスマホへ表示するアプリを開発することになりました。

初めてMacを触る子もいましたが、どんどんプログラミングは続きます。みんな集中して画面設計やAIを活用していました。「大変だけど、意外と簡単にできた！」まずは自分の声を認識する所まで完成。プログラミングの可能性を感じてもらいながら、1日目は無事に終了しました。

29314569_1899145700157515_8452186061580271616_o

一人一個作るので質問も飛び交っていました

音声認識IoTを自分専用アプリへ

AIを活用した音声認識IoT、完成画面はこんな感じ

「バラードの曲だと音声認識の精度が上がる」「NHKのニュースは聞き取りやすいなぁ」 2日目は自分の好きな音楽やニュースを、自分が作ったIoTで聞き取る所からスタートしました。その後はアプリのアイコンを作ったり、画面の精度を上げたりと、最終発表に向けて準備を開始しました。

アイコンへのこだわりなど生徒の興味もさまざま

発表の場では、アイコンの紹介から画面遷移までプレゼンしてもらいました。「コマンドの入力するとコードが勝手にでて、映画で見るハッカーのようだった」「将来はJavaやPythonを勉強してみたいと思った」非常に熱いコメントをたくさんもらいました。

最後は先生も授業で活用

実は今回の2日間、生徒たちの傍らでろう学校の先生たちも音声認識IoTを一緒に作っていました。そこで最後は先生が作った音声認識を使って、手話をせずに授業を行うことに挑戦しました。先生が情報の教科書を読むと、リアルタイムで文字が表示されていきます。「９９％くらい合ってる！」生徒たちからも嬉しい声が上がりました。