第8回 「事件」はどこで起こっている？
「高齢者向け電子ゲームのAI技術の適応可能性の研究」の探究活動
[8-1]フィールド調査の探究活動
皆さん、こんにちは。テラオカ電子です。有名なドラマの台詞に「事件は、会議室で起こっているんじゃない。現場で起こっているんだ」というのがありました。第８回では、教室を飛び出してフィールドワークをした探究活動を紹介します。
この探究活動では、教室（実習室）では脇役を演じていた生徒が、現場（介護施設）では主役を演じるなど、普段とは違った生徒の姿が見られました。
また、今回の探究活動は、教員（私）が主体となって企画したものですが、フィールドでは、生徒が主体となって取り組んだ活動になりました。
最初に【研究の背景と概要】を述べたあと、次に【研究仮説と研究目的】、【電子ゲーム：「感情分析：笑顔がいいねと言われたい」の概要】、【高齢者施設訪問（フィールド調査）】、【考察】、【まとめと今後の課題】を述べ、最後に本研究活動の【評価】を述べたいと思います。
なお、生徒がサイエンスコンテストで本研究を発表したものを、私が代読した形ですがYouTubeで公開しています。ご視聴いただくと研究の全体像を把握できます。
[8-2] 【研究の背景と概要】
では、研究の背景です。
私たちは、2012年度より、高齢者の能力維持を促進させる「高齢者向けの電子ゲーム」の開発に取り組んでいました。これらの電子ゲームは、マイクロコントローラと電子部品で構成される電子工作です。これまでに、「モグラたたき」、「ハノイの塔」、「傾けて交代」、「DNAの交換」、「カウントの軌跡」、「握手で交代」、「ぼくの声聞こえる」などを開発してきました。なお、これらの電子工作は、「テラオカ電子」のYouTube動画で確認できます。
これらの電子工作のコンセプトは、単に学校内で自分たちの考えだけで製作するのではなく、市内の高齢者介護サービスセンターを訪問し、そこで実際に、開発した電子ゲームを高齢者に使ってもらい、その様子を観察しながら改良を進めることです。高齢者施設を訪問した際、私たちは、このことを高齢者の方たちに説明するのですが、私たちのいい製品を作りたいという想いをご理解していただき、あるご老人の方から、
「ほね一つ やくにたたない私でも 役に立てたよ ありがたき日」（ヤスベー様）
という句を頂いたこともありました。本校と介護サービスセンターとの交流は、この年８年目になりました。そして、今回が最後となりました。
「介護施設との関わり」について】
８年間、お世話になったのは、市内の公営の高齢者介護施設です。この施設との関りは、私が県に新規採用された年、初任者研修のカリキュラムの中に「ボランティア研修」があり、夏休みにお世話になったのが始まりです。研修期間中、大した働きはしなかったのですが（５０を超えたオジサンは役に立ちません）、当時の施設長さんから、「せっかくなので、今後、高校と交流を持てたらいいね」と言われました。偶然にも当時、「課題研究」で、「孫がつくる高齢者向け電子ゲーム」を開発していたので、それではと、翌年から交流が始まりました。初年度は、「モグラたたき」の電子ゲームを持参しました。すると施設長さんは、このことを福祉の機関紙に紹介したいとして、わざわざ学校までその原稿を持って来校されました。それを受け取った私は、管理職に許可を得るべく申し出たのですが、当時の教頭先生と学科長の先生から「これを認めると、他の施設からうちにも来てくださいと言われるので大変だから許可できないと」強く言われ、私は、納得できなかったのですが（本当の理由は、これとは違うことが明らかなので、反論できなかったのですが）、やむなく施設長さんに原稿の取り消しの旨を伝えたのでした。今でも本当に申し訳なく感じています。そんなことがあったにも関わらず、以後8年間にもわたり、教育活動に協力していただいたことに、感謝しております。この場を借りてお礼申し上げます。そして、本研究の翌年、介護施設が障がい者施設に改装されることになり、この年が、この活動の最後になりました。2012年度から取り組んできた私の「孫がつくる高齢者向け電子ゲームの開発」というプロジェクトは、ピリオドとなりました。この後、現在も進行中である「高校生のためのAIを学ぶ教材をつくる」というプロジェクトに移行することになります。
では、この探究活動の問いです。
近年AI技術が浸透し、様々な応用が期待されています。そこで、私たちの研究している「高齢者向け電子ゲーム」にもAI技術を導入することにしました。しかし、高齢者にとってAI技術は受け入れがたいかもしれないと直観的に思いました。そこで、何が障害になっているのかを検証することにしました。電子ゲームには、感情分析の電子ゲームを使うことにしました。これは、「笑顔」で健康を増進させる効果を期待するものです。実際に、この電子ゲームを高齢者に披露して楽しんでもらい、その様子を観察します。
ここで、私たちは、以下のような仮説を立てました。それは、AIに対する「恐れ」は、高齢者に「この電子ゲームは、人のように考えて判定しているわけでなく、単に、コンピュータが「学習」したデータに基づいて、どれに近いかを計算しているに過ぎない」と、AIのメカニズムを伝えると、それが軽減されるというものです。
この研究では、介護施設での電子ゲーム披露において、仮説の説明の前後における高齢者の反応を観察比較することで検証を行いました。その結果、本事例においては、この仮説が有効であったので報告します。もちろん、学術的に検証するならば、定量的な検証が必要になります。私たちには、その知識がないので、できるだけしっかり観察して記録をするという方法をとりました。したがって本研究は、事例研究になります。
[8-3]【研究仮説と研究目的】
研究方法を図１に示します。以下、生徒の成果発表論文を引用します。
筆者らは、高齢者が楽しめる電子ゲームを開発しているが、AI技術を取り入れたらより良いものができるのではないかと考えていたところ、顧問の先生（私）が、顔の表情を分類するディープラーニング技術を応用した電子ゲームを開発してくれた。そこで、この電子ゲームを実際に高齢者に使ってもらい、その様子を観察して、この技術の有効性を確認することにした。
この電子ゲームは、「感情分析：笑顔がいいねと言われたい」であるが、カメラで自分の顔を映すと、コンピュータが、その表情を、「Neutral（無表情）」、「Happy（幸せ）」、「Surprise（驚き）」、「Sad（悲しみ）」、「Angry（怒り）」の 5 つの感情に分類する。そして「Happy」の感情が 90％以上になると、サーボモータが動いて、デートのアイテムである「指輪（玩具）」が出る。同時に「よい笑顔です。デートを楽しんでください」と発話するものである。これは、若い女性がデートの前にパートナーから「素敵な笑顔だね」と言われるように「笑顔」を練習するというコンセプトで作られたものだが、筆者らは、これを高齢者に転用する。
最初、メンバーでこの電子ゲームを使った時、メンバーが全員、「恥ずかしさ」と「緊張」と「怖さ」でみんなが譲り合って、なかなか試そうとしなかった。このことから、高齢者施設でこの電子ゲームを披露しても、なかなか使ってくれないだろうと予想した。この時、顧問の先生から、この電子ゲームの仕組みを聞いていくうちに、コンピュータは単に計算しているだけで、「考えて」その表情を分類しているわけでないことがわかった。そこで、仮説として、高齢者に「この電子ゲームは、顔の表情を人のように考えて判定しているわけでなく、単に、コンピュータが「学習」したデータに基づいて、どれに近いかを計算しているに過ぎないので、気に病むことなく、気軽に楽しめばよい」と伝えれば、筆者らがそうであったように、積極的にこの電子ゲームを楽しんでくれるのではないかと考えた。
高齢者施設を訪問するフィールド調査では、最初、簡単な説明をして高齢者の方に使ってもらうようにお願する。高齢者の方が筆者らと同じように躊躇されたなら、先の仮説を説明する。そして、この仮説の説明前後で、高齢者の参加の積極性が変化するかどうかを観察することで、仮説を検証する。
本研究の目的は、AI技術を安心して使うには、そのメカニズムを理解していることが重要であり、また、その理解は、難しい理論計算を理解している必要もなく、「たとえ話」のような簡単な説明でも有効であることを確認するものである。
私は、この電子ゲーム（「感情分析：笑顔がいいねと言われたい」）をいくつかの授業で紹介していますが、生徒は、恥ずかしがって、なかなか体験してくれません。私が、これを調整するのに「笑顔」を百万回作って苦しかったというと、いやいや何人かの生徒が体験しました。しかし、これを小学生に紹介すると、躊躇なく積極的に体験してくれます。
[8-4]【電子ゲーム：「感情分析：笑顔がいいねと言われたい」の概要】
電子ゲームの外観を写真1に示します。この電子ゲームは、「ディープラーニング（深層学習）」を体験するものです。ハードウエアのブロック図を図２に示します。
ここでの笑顔の判定（感情分析）技術には、JellyWare株式会社が公開している『OpenVINO™でゼロから学ぶディープラーニング推論』のプログラムを使用しています。また、音声発話は、株式会社アクエストのミドルウエアであるAquesTalkを使っています（後閑哲也：『PICと楽しむ Raspberry Pi 活用ガイドブック』を参考にしました）。なお、感情分析の様子は、ディスプレイ画面上に各感情の強さの割合として横棒グラフで表示されます。
この電子ゲームのアイディアは、2012年度のグッドデザイン賞に選ばれたソニーコンピュータサイエンス研究所の『情報家電 ハピネスカウンター』（笑わないと開かない冷蔵庫）を参考にしました。これは、身体心理学における表情フィードバック仮説（笑顔を作ることが、精神的にもポジティブな感情を促進する）に基づいて設計されたものです（図3）。
このWebサイトの説明では、この「ハピネスカウンター」を使った高齢者は、１０日後には、図３の右に示すように表情が良くなり、幸福感が高まったと報告されています。また、この装置のハードウエアの説明では、ここでの感情分析は、冷蔵庫とは別のサーバーで計算されて通信で冷蔵庫に表示される仕組みになっています。私たちが扱う装置は、安価なコンピュータで同じようなことができているので、これは、近年の技術の進歩の速さを象徴しています。
[8-5]【高齢者施設訪問（フィールド調査）】
１ 高齢者施設訪問の概要
以下に高齢者施設訪問の概要を示します。
① 日時：２０２０年 ７月９日 13：30～14：15
② 施設名：市内介護サービスセンター
③ 高齢者の概要：高齢者約１５名（途中で入れ替わりあり）、一人での歩行が困難な人が多かった
④ 訪問者：本校生徒７名、引率教員１名
⑤ 使った電子ゲーム：「感情分析：笑顔がいいねと言われたい」
⑥ その他：マスク着用、ボランティア２名（他校の高校生）参加
２ 高齢者施設でのフィールド調査の記録 以下に生徒の記録を示します。
２．１ 高齢者施設到着
授業「課題研究」の点呼の後、実習室に入り、最終の注意事項を確認した。この日は、天気が雨だったので、介護施設へ雨具を装着して自転車で向かった。２０分で到着した。施設の入り口で、名前の記入と検温を行った。雨で体が冷えたせいか、体温は35度と低かった。会議室に通され、電子ゲームの最終動作確認を行った。最初、コンピュータ（Raspberry Pi）に電源を入れたが起動しなかったので、再度電源を入れ直したところ起動できた。何枚かの「笑顔」の写真をカメラで映して、感情分析のプログラムが正常動作することや、スイッチを押して、音声が流れることを確認した。
２．２ 挨拶と電子ゲームのセッティング
時間になり、スタッフの方に呼ばれ、高齢者がくつろいでいるホールに案内された。最初に顧問の先生が、学校紹介をされた後、私たちは、一人ひとり簡単な自己紹介を行った。この様子を写真２、写真３に示す。次に、電子ゲームのセッティングを行った。コンピュータとホールにある大型テレビをHDMIケーブルでつなぎ、コンピュータを起動させた。今度は、一度で起動できた。同時にテレビの音量を最大にした。この様子を写真４に示す。
２．３ 実演（仮説の説明前）
次に、ゲームの説明を行った。説明は、私たちの一人が実際にモデルとなり、カメラに顔を映しながらデモンストレーションを行った。この様子を写真５に示す。
次に、高齢者の方に電子ゲームを体験してもらった。最初、体験していただける方がなかなか現れないかと予想していたが、スタッフの方がすぐに、男性の高齢者に声をかけていただいて体験してもらうことになった。当初、カメラは机の上に置いて、そのカメラを覗いてもらうことを考えていたが、この動作は、高齢者にとっては難しいことがわかった。そこで、私たちがカメラを手でもって高齢者の顔に向けることにした。うまく高齢者の顔に向けるのに最初試行錯誤したが、すぐにうまくできるようになった。高齢者は、最初、戸惑った様子だったが、スタッフの方の誘導もあり、電子ゲームに「笑顔」と判定され、みんなから拍手を受け、楽しそうだった。この様子を写真６、写真７に示す。
さらに、スタッフの方の誘導で、２人の方に電子ゲームを体験していただいた。体験して頂いた高齢者の方々は、比較的元気な高齢者であった。この様子を写真８、写真９に示す。
この後、電子ゲームの体験希望者が出なかった。そこで、この日、たまたま、他校の高校生がボランティアでこの施設に来ていたので、電子ゲームを体験してもらった。この様子を写真１０、写真１１に示す。どちらも、「笑顔」の判定は、高齢者が時間を必要としたのに対し、高校生は短時間でできていた。
２．３ 実演（仮説の説明後）
高校生の「笑顔」の判定が早かったので、場は盛り上がったが、次の高齢者の参加が出なかった。そこで、仮説の説明を行った。「この電子ゲームは、人のように考えて判定しているわけでなく、単に、コンピュータが「学習」したデータに基づいて、どれに近いかを計算しているに過ぎないので、気に病むことなく、気軽に楽しんでください」、「この電子ゲームは、別に、我々の顔を見て考えて判定しているわけではありません。単に、コンピュータが、何枚かの写真を覚えていて、それのどれに似ているかを計算しているだけです。なので、判定が笑顔にならなくても全く、気に病む必要はありません。今、アメリカ人の写真を５０枚準備します。その内、１０枚は、幸せな表情の写真、次の１０枚は、悲しい表情の写真、次の１０枚は、驚いた表情の写真です。このような写真をコンピュータが覚えていて、カメラに映った顔が、その中でどれに似ているかを判定しているだけです。なので、コンピュータが、覚えた写真が、若い人ばかりや、アメリカ人ばかりという場合は、正確に判定ができません。判定が笑顔にならなくても全く、気に病む必要はありません。」と伝えた。この様子を写真１２に示す。この後、顧問の先生から、技術的な補足説明をしていただいた。
この後、スタッフの方の誘導で、３人の高齢者の方に体験してもらうことになった。この様子を写真１３、写真１４に示す。車いすの方など介護が特に必要な方にも楽しんでもらえた。
こうして、約５０分間の電子ゲームの披露を終了し、私たち一人ひとりが感想とお礼を述べた。最後に、施設長様に挨拶を頂きホールを後にした。この後、会議室に戻り、簡単な反省会を行い、雨具を着て自転車で学校に戻った。
以上がフィールドワークの記録である。
一応、シナリオを作り、生徒たちに教えていたが、ボランティアの高校生がいるなど想定外のこともあったにもかかわらず、生徒たちは、臨機応変に対応していた。先にも述べたが、こういうことを仕切ることがうまい生徒がグループに一人はいるものです。
[8-6]【考察】
考察では以下のようにまとめました。
ここでは、フィールド調査で明らかになった知見を整理する。
第１に、高齢者は、気軽に電子ゲームを使ってくれた。当初、高齢者は、自分の顔をカメラに映すことを恥ずかしがって、なかなか筆者らの電子ゲームを使ってくれないのではないかと予想していた。しかし、実際には、介護スタッフの方の誘導で、スムーズに何人かの方が楽しんでくれた。これは、介護スタッフの方が、それぞれの高齢者の特徴を理解していて、試してくれそうな方をすぐに選んでくれたからと考えられる。また、高齢者らは、筆者らが８年前から毎年、電子ゲームを披露しに来ていることを理解しており、高校生である筆者らを「信頼」してくれたこともあったと思う。
第２に、仮説は有効であった。中盤、電子ゲームをやってくれる高齢者がなくなった時、仮説を説明した。すなわち、①コンピュータは、考えているわけでなく、計算しているだけである。②コンピュータは、「学習」した写真と似ているかを計算しているだけである。③コンピュータが、覚えた写真が、若い人ばかりや、アメリカ人ばかりという場合は、正確に判定できない。④判定が笑顔にならなくても、気に病む必要はない、である。
この説明で十分な理解が得られたかどうかは、不明である（高齢者の表情からは興味深く聞いているようすが観察された）が、この説明の後、何人かの高齢者が楽しんでくれた。このことにより、仮説は、効果があったと推察できる。なお、ここでの説明で、コンピュータの「学習」データが「アメリカ人」としたが、これは例えである。実際には、どんな学習データかは、不明である。第３に、電子ゲームの学習データには、偏りがあったと推察する。電子ゲームを使っている高齢者は、全員、「幸せ」と判定されたが、中には、「Happy（幸せ）」と判定されるのに時間がかかった高齢者が数名いた。この高齢者の場合、コンピュータの分類が「Sad（悲しみ）」になることが多かった。これを高齢者の目尻のしわが原因と考えると、コンピュータの学習データは若い人を中心に準備されたと推察できる。
[8-7]【まとめと今後の課題】
まとめと今後の課題は、以下のようにまとめた。
以上、AI技術、ディープラーニングを使った電子ゲームを実際に高齢者に使ってもらい、その様子を観察してこの技術の有効性を確認した。この電子ゲームは、カメラで自分の顔を映すと、コンピュータが、その表情を、「Neutral（無表情）」、「Happy（幸せ）」、「Surprise（驚き）」、「Sad（悲しみ）」、「Angry（怒り）」の 5 つの感情に分類する。そして「Happy」の感情が 90％以上になると「よい笑顔です。デートを楽しんでください」と発話するものであった。この電子ゲームを使うと、笑顔をすることで精神的、身体的に健康を促進させる効果を期待できる。実際、終始、高齢者は、この電子ゲームを楽しんでくれた。このゲームに参加して、コンピュータに「笑顔」と判定されるとみんなから拍手で祝福され盛り上がった。当初のAIに対する、「緊張」や「怖さ」で、高齢者は、この電子ゲームの参加を躊躇するのではないかという予想は外れ、介護センターのスタッフの方の働きかけもあり、高齢者は、積極的に参加してくれた。中盤、参加希望者が少なくなった時でも、高齢者に「この電子ゲームは、人のように考えて判定しているわけでなく、単に、コンピュータが「学習」したデータに基づいて、どれに近いかを計算しているに過ぎない」とAIのメカニズムを伝えることで、気軽に参加してもらえるようにできることがあきらかになった。
今後の課題として、今回の高齢者は、全員、最終的に「笑顔」と判定されたが、中には、初めは「悲しみ」と判定され、「笑顔」と判定されるのに時間がかかった高齢者が数名いた。このことから、この電子ゲームで高齢者の健康増進を科学的に推進していくためには、高齢者も含めた正確な学習データを使う必要がある。
最後に、介護サービスの施設長様より、「今年の電子ゲームは、例年にもまして最高に盛り上がりました」と、うれしい講評を頂いた。
ここで、講評をいただいた施設長さんは、私たちが関わった４人目の施設長さんですが、この方は、８年以前からここで勤務されていて施設長に昇格された方でした。なので、私たちの活動を最初から最後まで見届けてくれた方です。毎年、「しょうもない電子ゲーム持ってくるなあ」と思っていたと推察しますが、最後は有終の美を飾れたと思っています。ダニエル・カーネマンのピーク・エンドの法則というのがありますが、「終わりよければ全てよし」とします。
[8-8]【評価】
最後に教育的評価を述べます。
「課題研究」の生徒の学習意欲を「モチベーション ジャーニー マップ（筆者の造語）」で可視化（情意領域の評価）したものを図４に示します。これは私の主観的観察に過ぎませんが、自身の立場に自覚的であることが重要だと考えて、これを用いて本授業実践の教育的評価を考察します。
当初、何をやるのかが明確に理解できていないことと、生徒間のけん制もあり意欲は小刻みに上下しました。次に教師主導の活動が続き生徒の意欲は大きく低下しました。生徒はこの時の様子を「教室の授業と変わらなかった」と述べています。この時期には「この課題研究の目的は研究方法を学ぶことである。それを学ぶためには何よりも良い事例を体験する必要がある」と繰り返し伝えて進めました。その後、高齢者施設訪問やはんだ付けの知識構成型ジグソー学習、コンセンサスゲーム（月からの脱出）の協同学習、さらにサイエンスコンテストでの発表活動を経験していくにつれ、やっていることの意味が少しずつ分かり意欲は向上していきました（これらの活動については、今後述べていきます）。
最終的に生徒の感想として「ここで学んだことは、必ず将来生きてくると思うので、ここの課題研究で良かったと思いました。」、「この課題研究で自分の取り組んだ課題以外、今後のAIについても先生に教えてもらい、色々なことを学ぶことが出来ました。これからもこの経験を活かしていきたいと思います。」、「本格的に論文や発表をしたのは初めてだったので、とてもいい経験ができ、学ぶことの楽しさを知りました。私はこの課題研究で本当に良かったと思います。」、「文化祭の時に、AI装置の説明でうまく説明することが出来なくて、自分の力が足りないことを痛感し、もっと成長しなくてはいけないと思いました。」「研究や論文の成作は初めての経験だったので、とてもいい経験でした。」、また、「寺岡先生は、今年で定年なのでこれが最後の課題研究だったので、いい思い出ができていたら僕はうれしいです。」とあるので高い意欲の状態でまとめることができたと考えています。
ところで、AIリテラシーを学ぶために、次の3つの内容を学ぶ必要があると言われています。すなわち、一つは、AIの仕組みです。AIは決して「魔法の杖」でなどではなく、単に計算をしているだけであることを理解します。二つ目はAIの活用です。AIがどのようなものに活用できるのかを理解します。三つ目はAIの倫理です。やってはいけないことを理解するです。また、互いの関連を意識させることが必要とされます。「AIの工程（作り方）を学ぶ教材」はこの関連を意識させるものです。
本研究は、「AIの活用」の事例です。特に、フィールドワークで、「当事者意識」を高めることができた事例になったと考えています。
これで、「高齢者向け電子ゲームのAI技術の適応可能性の研究 －フィールド調査での仮説の検証－」の探究活動の紹介は終わりです。最後まで読んでくれて、ありがとうございます。ご質問・ご意見・ご感想等がありましたらコメントください。
テラオカ電子
【イチオシのYouTube動画】
今回紹介するのは、宇多田ヒカル – Goodbye Happiness です。冒頭で彼女は、「A HIKARU UTADA PRESENTATION」と書いたフリップを出しています。これにあやかって、私は、研究発表をするときに、「A TERAOKA DENSHI PRESENTATION」というスライドを出しています
コメント