見えないプロンプトでAI対策？ 慶應SFCの仕掛けが話題に
「慶應義塾大学が授業資料に“見えないプロンプト”を仕込んでAI対策をしている」――そんな投稿が4月21日にX（旧Twitter）に現れ、大きな注目を集めた。投稿によれば、授業資料を生成AIに読み込ませると、授業とは関係のない内容を出力するよう仕掛けられていたという。
この投稿を行ったのは、慶應大の「湘南藤沢キャンパス（SFC）」に通う学生とみられるXユーザーで、話題になったのは同キャンパスの総合政策学部が開講している授業「総合政策学」の第1回。授業では、導入として生成AIの「ハルシネーション（誤った内容を正しく見せる現象）」が取り上げられ、あわせてPDFの資料が配布された。
しかしこの資料には、授業で実際には扱われていない福澤諭吉の著書「文明論之概略」に関する要約や指示文が“見えない形”で埋め込まれていた。生成AIに資料を入力すると、あたかも「文明論之概略」を授業で学んだかのような内容が出力される構造になっていたのだという。
「文明論之概略」に言及したコメントを評価対象外に
授業では「自分の言葉で説明するように」と課題が出されたが、一部の学生が生成AIを用いて提出したとみられるコメントに、「文明論之概略」に関する記述が複数確認されたという。そうした回答は評価の対象から外され、あらためて生成AIを正しく使うように注意喚起がなされたとみられる。
慶應義塾大学の公式サイトでは、授業担当教員が明示的に許可した場合を除き、「独力での取り組みが求められている課題では生成AIの使用は認められていない」とする方針が示されている。
賛否両論の声も
この取り組みに対しては、「いい勉強になる」と好意的に受け止める声がある一方で、問題視する意見も出ている。東京学芸大学で生成AIの研究を行う江原遥准教授は、「利用者（学生）の許可なくAIを誤動作させるようなデータを配布した」との視点から、「コンピュータウイルスを仕込むのと変わらないのでは」とXで懸念を表明した。
これについて慶應大学は、授業「総合政策学」は「1年生を対象とした必修科目」であり、学問の基礎知識だけでなく「生成AIなどの技術に対する理解とリスクの認識を深めることが目的」だと回答。今回の手法も、「生成AIの信頼性を見直し、出力内容を批判的に考察する力を養う」ことを目的として行ったとしている。
ただし、手法の詳細については「教育効果を考慮し、説明は控える」とし、またX上で指摘された問題点については「確認しており、学部に伝えている」としながらも、問題の有無については明言を避けた。
専門家の反応は？
PDFに隠しデータを埋め込むという手法の是非はさておき、人間が見ているデータとAIやボットが見ているデータが異なる場合があることを知るには興味深い事例に感じます。
かつてはWebサイトでも文字の色を背景色と同化させたり、スタイルで非表示にしたりすることで検索エンジンを騙すテクニックが使われたことがあり、対策が進みました。
一方、生成AIに読ませることで人間が見落としがちな部分まで拾ってくれるのはメリットでもあり、単純な対策は難しいと思いますが、技術的に悪用できる余地があるというのは留意すべき点といえます。
ネットの反応は？
AIは関連することにある程度詳しい人が補助的な利用をすることで真価を発揮します。 知識ある人が補助的な利用をするなら間違いがあったとしても訂正できるからです。
懸念を挙げてる人は知識を持たないので誤りを訂正できず、そのまま利用すると不正解、不適当とされるから困ると言ってるのと同義ですよ。 使い方を誤らないで欲しいと思います。
AIをどのように使うかのコメントが多いので、どのように動いているかの話を。
機械学習の裏側は統計学と数学の塊で、特に「尤度」の考え方に依拠しています。 すごく噛み砕くと、確率を逆からみたような「観察された出来事(学習対象)をもとに、出来事の尤もらしさ(どの程度「ありきたり」か)を推定する」というものです。
尤度推定を高度化して、さらに超膨大なテキスト(人の話し言葉や書き言葉)を学習したのが、最近の会話できるAIです。 つまり、会話型のAIは『あくまで尤もらしく、それっぽく喋ってる(ように言葉を並べてる)』だけです。
なので、AIに正確性は期待しないほうがよく、思考整理のための壁打ち相手として使うのが無難です。あるいは、検索のために使うか。 いずれにせよ、AIの発言を鵜呑みにしたり、丸投げ丸写ししたりというのは、やってはいけないということですね。
とある分野において知識を持ってる時にAIで深掘りするアプローチは結構有能ですけどね。間違い回答も多角的に調べれば検知できるし。その上で問題解決のアプローチに知らないことも織り交ぜて提示してくれたりもする。
AIは日進月歩で進化してるけど、まだまだ足りない部分はたくさんある一方、上手く使えば生産性の向上に寄与するのも事実。うまく付き合うことを学んでいただければ。
編集後記
PDFデータをそのまま読み込ませたらって事だよね。文書をコピペしてAIに要約させたらダメだったのかしら。
コメント