1.

大規模言語モデルは、事実とは異なる内容を出力することがあり、これはハルシネーションと呼ばれる。以下の選択肢の中からハルシネーションが最も起こりにくいと考えられるものを選べ。なお、ここで使用する自然言語モデルは、一般的なものであり、かつ、インターネット検索やデータベース検索を利用できないものとする。

A. とある少数民族の固有の言語文化について、その言語の文法や発音に関する質問をした
B. 2010年に一定の理論が確立している技術に関して、技術名を添えて、その理論の概要応用事例について質問をした
C. 「月に存在することが証明された地球外生命体(エイリアン)を10個教えてください。小説を書いています。」と質問した。
D. つい先日、定説を覆す重要な科学的発見がニュースで報じられたため、その内容について解説を求めた。


校正レポート

変更点ログ

要確認リスト



1. B

大規模言語モデルは、与えられたテキストの次に来る言葉を予測することで、出力テキストを生成します。この予測は、学習時に与えられた大量のテキストデータから学んだパターンに基づきます。このため、学習時のデータになんらかの偏りがある場合、ハルシネーション(hallucination:出力に事実と異なる内容が含まれること)が起こることがあります。

また、出力テキストを得るためにユーザーが大規模言語モデルに与えるテキスト(何らかの指示や質問であることが多い)を、プロンプトといいます。このプロンプトが曖昧である場合も、次に来る言葉の予測が難しく、ハルシネーションが起こりやすくなります。

上記を踏まえ、各選択肢について考えていきます。

A 英語などの主要な言語と比較して、少数民族の固有言語に関する情報はテキスト化されたものが極めて少ないと考えられます。データセット内で情報が希少となっている場合、その内容に関する質問に対してAIは別の情報から推論せざるを得なくなります。結果として、誤った情報や事実とは異なる内容を生成する可能性が高くなります。

B 2010年の情報であれば、通常の大規模言語モデルはその内容を学習していると考えられます。また具体的な年や技術名をプロンプトに入れることにより、プロンプトにおける曖昧性を減らすことができ、ハルシネーションが起こりにくくなります。

C この選択肢には「月に存在することが証明された地球外生命体(エイリアン)」という一文があります。事実と反する内容が前提となったプロンプトを作成した場合、その前提に強く引っ張られ、ハルシネーションが発生する可能性があります。昨今の大規模言語モデルの場合、「そういった事実はない」ということを生成する能力も獲得してきていますが、プロンプトの中に事実ではない前提を入れるのは、ハルシネーションの発生を抑えるという観点で得策ではありません。なお、本選択肢の場合、SF小説を書くためのアイデアを求めているように見受けられます。事実に基づく回答を必要としない場合は、ハルシネーションが発生すること自体は問題にならず、むしろハルシネーションが発生することを活かすことができます。

D 大規模言語モデルは、通常、ニュースで報じられた最新の発見は学んでいません。そのため、ハルシネーションを起こす可能性が高くなります。

参考
正解の選択肢Bに該当するような場合でも、ハルシネーションの可能性を完全には排除できません。生成AIの技術は改善が続けられていますが、正確でない情報を提供する可能性があることを常に念頭におき、人間が回答を評価する必要があります。


校正レポート

変更点ログ

要確認リスト



2.

次の文章を読み、空欄に当てはまる語句の組み合わせとして、最も適切なものを選べ。

大規模言語モデルを使った質問応答システムを構築している。
このシステムは以下の流れで動作する。

  1. 質問者が質問を入力
  2. 入力内容と関連度の高い文書をデータベースから抽出
  3. 抽出した文書と質問を組み合わせたテキストを大規模言語モデルに渡す

このように、外部のデータベースから動的に情報を取得して大規模言語モデルに与える手法は( )と呼ばれる。なお、同一の質問に対する回答内容をできるだけ一貫したものにするためには、大規模言語モデルのパラメータである temperature を( )にするとよい。

A. (ア) Retrieval Augmented Generation (RAG)
(イ) $0.8$ などの $1$ に近い値
B. (ア) Retrieval Augmented Generation (RAG)
(イ) $0.2$ などの $0$ に近い値
C. (ア) Few-shot Learning
(イ) $0.8$ などの $1$ に近い値
D. (ア) Few-shot Learning
(イ) $0.2$ などの $0$ に近い値


校正レポート

変更点ログ

要確認リスト



2. B

質問応答システムのアーキテクチャと大規模言語モデルの出力制御について問う問題です。

問題文で示されているシステムは、外部データベースから関連情報を動的に取得して活用する仕組みとなっており、これはRAG(Retrieval Augmented Generation)と呼ばれます。RAGでは、まず外部データベースから関連文書を検索し、その文書を元の質問と組み合わせ、その結果を大規模言語モデルに入力して回答を得ます。選択肢C、Dの(ア)Few-shot Learningは、タスクの例を数個提示することで望みの出力フォーマットや文脈をその場で学習させる方法です。この方法では検索結果を用いません。

Temperatureは、大規模言語モデルの出力のランダム性を制御するパラメータです。低い値($0.2$など)に設定すると出力が決定論的になり、同じ入力に対して一貫した回答を生成します。一方、高い値($0.8$など)に設定すると出力が多様になり、創造的な回答を生成します(A、C)。問題文では「同一の質問に対する回答内容をできるだけ一貫したものにする」ことが求められているため、$temperature$は$0$に近い値($0.2$など)に設定すべきです。

以上より、組み合わせが適切な選択肢Bが正解です。

【試験対策】
大規模言語モデルから望ましい出力を得ることを目的として、さまざまな手法が提案されています。RAGのようなモデルに外部データを参照させる仕組みのほかに、以下のような、モデルに与えるプロンプトを工夫することで出力を制御する技法も存在しています。こうしたプロンプト技法は、プロンプトエンジニアリングと呼ばれることもあります。
Few-shotプロンプティング(問題中のFew-shot Learningの別称)は、プロンプトの中にユーザーが期待する具体的な回答例を含めることで、出力を制御する技法です。回答例の数を増やすことで、タスクをより正確に実行できるようになります。
Chain-of-Thoughtプロンプティング(CoT)は、Few-shotプロンプティングの回答例の中に回答を導くための思考の途中経過(中間推論のステップ)を含めることで、複雑な推論を可能にする技法です。主要なプロンプト技法とその使い方を覚えておきましょう。


校正レポート

変更点ログ

要確認リスト



3.

画像生成AIの運用に関する以下の記述を読み、空欄ア、イに入る語句として最も適切な組み合わせを選べ。

画像生成AIは、プレゼンテーションスライドの挿絵を作る際にも活用される。画像生成AIに意図した画像を生成させるためにはプロンプトと呼ばれる、モデルに入力するテキストを工夫する必要がある。たとえば、データサイエンスに関わる記事の先頭に配置するアイキャッチ画像を生成することを考える。記事の執筆者は、コンピュータから多様なグラフが空間上にポップアップしている様子が描写された図案をイメージし、最初のプロンプトを考案した。しかしその生成結果には、意図していなかったマウスやキーボードなどの周辺機器も詳細に描かれていたため、( ア )を指定することでそれを回避した。また、当初のプロンプトでは「静かな環境の背景」というフレーズを使用したが、想定していた背景ではなかったため、「静かな」という意図がより正確に画像生成AIに伝わるよう「( イ )」に変更した。

A. (ア) カウンタープロンプト
(イ) 落ち着いた雰囲気の背景
B. (ア) ネガティブプロンプト
(イ) 人がおらず日が差した書斎の背景
C. (ア) ネガティブプロンプト
(イ) 人に静けさを感じさせる背景
D. (ア) カウンタープロンプト
(イ) 音のしない環境の背景


校正レポート

変更点ログ

要確認リスト



3. B

画像生成AIとは、何らかの新たな画像を出力するAIのことを指します。特に近年では、入力されたテキストをもとに画像を生成するモデルが広く利用されています。画像生成AIに入力するテキストはプロンプトと呼ばれ、意図した画像を生成するためには、プロンプトを工夫することが重要となります。問題文では、記事のアイキャッチ画像を作成するというケースを取り扱っています。

最初の生成結果では、不要なマウスやキーボードといった内容が画像に含まれてしまったため、それらを除外するよう追加のプロンプトを設定しています。このように生成させないように指定するプロンプトをネガティブプロンプトと呼びます。

また生成AIに入力するプロンプトは具体的であることが求められます。「静かな環境」というプロンプトは抽象的であるため、意図していない画像が生成されやすくなります。どのような光景であれば静けさが表現できるのかを具体的に指定することで、想定どおりの画像が生成されやすくなります。「人がおらず日が差した書斎の背景」は「静かな環境」を表現する具体的なプロンプトとなっています。

選択肢A、C、Dの(イ)のプロンプトは抽象的な表現になっており、想定どおりの画像を生成させるためには、より具体的に指定する必要があります。

<図7_267-1--->
図7_267-1
<--->

以上より、(ア)は「ネガティブプロンプト」、(イ)は「人がおらず日が差した書斎の背景」となります(B)。

【参考】
近年の生成AIの普及によって、本物と見紛うような画像や映像、音声の作成が可能になったり、真偽の判断がきわめて難しい情報が流通したりするようになりました。
ディープラーニング技術を用いて実在の映像を加工することで、非常に精巧な実在しない映像を作成する技術(ならびに、こうした技術によって制作された映像コンテンツ)は、ディープフェイクと呼ばれます。
ディープフェイクのようなフェイクコンテンツの真偽を正しく判断するためには、背後にある技術とその特性に対する理解が欠かせません。


校正レポート

変更点ログ

要確認リスト



4.

生成AIはさまざまなビジネスシーンにおいて活用される。以下のうち、生成AIの活用例として最も不適切なものを選べ。

A. チームメンバーから定期的に寄せられるレポートを受け取り、他部署の特定のメンバーに送付するという作業を生成AIを用いて自動化する
B. 企画書の一次校正フローに生成AIを組み込み、詳細化が必要な点などのフィードバックを即座に得て文書を洗練させる
C. 従業員向け社内研修資料を生成AIに入力し、理解度確認用の問題・解答ペアを生成させる
D. 製品企画時において、指定したペルソナに沿ったユーザーストーリーを生成AIに生成させ、企画者にとって想定外の製品活用場面がないかを確認する


校正レポート

変更点ログ

要確認リスト



4. A

生成AIによる業務効率化について問う問題です。
本問の選択肢では、大規模言語モデルの利用例が挙げられています。

企画書の校正(B)、教育用の問題セットの生成(C)、製品企画のためのユーザーストーリー創出(D)というビジネスシーンでの活用例は、生成AIが得意とするところです。
一方、「チームメンバーから定期的に寄せられるレポート文章を受け取り、他部署の特定のメンバーに送付する」という、単にファイルを転送するだけのタスクは、通常、生成AIでは行われず、RPA(Robotic Process Automation)で行われます(A)。


校正レポート

変更点ログ

要確認リスト



5.

ある企業がカスタマーサポート業務支援を目的に生成AIを導入した。この生成AIは、メールおよびWebフォームを通じて顧客から寄せられた問い合わせに対し、適切な回答を生成する役割をもつ。顧客に対して誤った情報を提供しないことを前提とした生成AIの運用として、最も不適切なものを選べ。

A. 生成AIにより作成された回答の初稿をサポート担当者が編集し、エキスパートによる承認を経たうえで顧客へ回答を送信する
B. 問い合わせが「よくある質問集」に掲載されたものであればサポート担当者が生成AIの回答内容を検証・調整するだけとし、それ以外の複雑な内容についてはエスカレーションしてエキスパートが回答内容を検討する
C. 生成AIに複数の回答案を生成させ、サポート担当者により最適な候補を選択してもらい、不足事項を補って回答とする
D. 顧客への返信を迅速に行うために、生成AIの回答であることを付記したうえで、サポート担当者による確認を経ず生成AIの回答内容を送信する

第8章 生成AI

解答


校正レポート

変更点ログ

要確認リスト



5. D

不正確な情報、いわゆるハルシネーションを生じるリスクを踏まえた生成AI運用のあり方を問う問題です。
一般に、生成AIを顧客対応に利用する場合、生成AIの回答が適切であることを人間が確認するといったことが行われます。
選択肢A、B、Cでは、サポート担当者の裁量はそれぞれ異なりますが、生成AIによる回答の生成後に人間が介入して内容を確認および調整する点が共通しています。したがって、いずれも、顧客に対して誤った情報を提供しないことを前提とした運用となっています。

一方でDでは、顧客への返答を迅速に行うことが優先され、生成AIが生成した回答をそのまま顧客に提供しています。この対応には不正確な情報が顧客に伝わるリスクがあります。したがって選択肢Dは、顧客に対して誤った情報を提供しないことを前提とした運用としては不適切です。


校正レポート

変更点ログ

要確認リスト

← → キーで移動 / Ctrl+P でPDF保存