第4章 ディープラーニングの概要

問題1

ディープラーニングの説明として、最も不適切なものを1つ選べ。

1. ニューラルネットワークの隠れ層を深くしたものである。
2. 他の多くのアルゴリズムと比べて一般的に計算量は少なくて済む。
3. 非線形の回帰や分類を行うことができる。
4. 過学習に陥る可能性がある。

📝 解答

2

🔍 解説

ディープラーニングの基本理解を問う問題です。ディープラーニングはさまざまな問題に適用できる一方、過学習することや計算量が必要なことなど、メリット・デメリットを理解しましょう。

問題2

勾配消失問題の対策として、最も不適切なものを1つ選べ。

1. ReLU等の活性化関数を使用する。
2. バッチ正規化を行う。
3. スキップ結合をネットワークに組み込む。
4. ドロップアウトを行う。

📝 解答

4

🔍 解説

勾配消失問題についての理解を問う問題です。勾配消失問題の対策として活性化関数にReLU等を利用したり、スキップ結合を組み込んだりすることが有効です。ドロップアウトは過学習を抑制するのに効果的です。

問題3

以下の文章を読み、空欄に最もよく当てはまるものを1つ選べ。
単純パーセプトロンでは非線形分類を行うことはできないが、() と呼ばれる層を加えた多層パーセプトロンを用いることで非線形分類は可能となる。

1. 隠れ層
2. プーリング層
3. 活性化層
4. スキップ層

📝 解答

1

🔍 解説

多層パーセプトロンについての理解を問う問題です。多層パーセプトロンは隠れ層を多層にした構造です。

問題4

誤差逆伝播法に関する説明として、最も適切なものを1つ選べ。

1. 誤差逆伝播法で、誤差を出力層から入力層へフィードバックさせるときに勾配が小さくなりすぎる問題は過学習と呼ばれる。
2. 勾配消失問題を回避するため、ディープニューラルネットワークをより深くするのが有効である。
3. 勾配消失問題を回避するには、適切な活性化関数を選ぶ必要がある。
4. 誤差逆伝播法は、複数回の積分操作によって実現される。

📝 解答

3

🔍 解説

誤差逆伝播法についての理解を問う問題です。誤差逆伝播法により学習する際、勾配消失問題は対策すべき重要な問題なので、対策方法を理解しましょう。

問題5

ディープラーニングの膨大な計算量を処理する演算装置に関する説明として、最も不適切なものを1つ選べ。

1. GPUは画像に関する並列演算処理を得意としており、言語認識や音声のモデルにはCPUを用いる。
2. CPUは様々なタスクを順序よくこなすことを得意としており、大規模な並列演算の効率的な処理は得意でない。
3. ディープラーニング実装用のライブラリのほぼ全てがNVIDIA社製のGPU上での計算をサポートしている。
4. Google社はテンソル計算処理に最適化されたTPUと呼ばれる演算処理装置を開発している。

📝 解答

1

🔍 解説

GPUについての理解を問う問題です。GPUは、ディープラーニングを学習する上で重要なハードウェアです。どのような特長があるか理解しましょう。

問題6

畳み込みニューラルネットワーク (CNN) を用いた学習を行う際、必要なデータについて述べたものとして、最も適切なものを1つ選べ。

1. 学習に必要なデータが不足していると思われる場合、データ拡張を行い、不足するデータ量を補うことがある。
2. バーニーおじさんのルール 「モデルのパラメータ数の10倍のデータ数が必要」は厳守すべきである。
3. 同じパラメータ数のモデルを学習する場合は、必ず同じデータ数にしなければならない。
4. ビッグデータは学習に必要である多様な特徴を含んでいるため、加工せずそのまま用いるべきである。

📝 解答

1

🔍 解説

畳み込みニューラルネットワークについての理解を問う問題です。学習には膨大なデータを用いますが、どのように準備するか理解しましょう。

問題7

以下の説明に当てはまる活性化関数として、最も適切なものを1つ選べ。

多層ニューラルネットワークの学習における勾配消失問題とは、出力層から誤差を伝播する過程で勾配が減衰してしまい、 入力層に近い層の重み成分の学習が進まなくなってしまう現象である。この勾配消失問題に対しては、関数への入力値が0以下の場合には出力値が0となり、入力値が0より大きい場合には、出力値として入力値と同じ値となる活性化関数を適用することが有効であると言われている。

1. シグモイド関数
2. ReLU関数
3. ステップ関数
4. ソフトマックス関数

📝 解答

2

🔍 解説

活性化関数についての理解を問う問題です。ReLU関数を含めた各活性化関数の特長を理解しましょう。

問題8

以下の文章を読み、空欄に最もよく当てはまるものを1つ選べ。

どんな値を入力しても0から1の間に変換されるため、最終的に確率を出力する際に有用な活性化関数は () である。

1. tanh関数
2. シグモイド関数
3. ReLU関数
4. ステップ関数

📝 解答

2

🔍 解説

活性化関数についての理解を問う問題です。シグモイド関数は0から1の値に変換します。tanh関数は-1から1の間に範囲が限定されますが、ReLU関数は0以上の値、ステップ関数は0または1の値に変換します。

問題9

テストデータの一部が訓練データに紛れ込んだ場合に起こり得る問題として、最も適切なものを1つ選べ。

1. モデルの性能が不当に高く評価される。
2. モデルの性能が不当に低く評価される。
3. 学習時間が増大する。
4. 特に問題は生じない。

📝 解答

1

🔍 解説

学習時に気をつけることを問う問題です。訓練データとテストデータが重複しないようにデータを分割しないといけません。もし重複した場合に起こりうる問題を理解しましょう。

問題10

勾配降下法において、誤差関数を最小化する際には学習データを用いて計算を行い、それによりパラメータを更新することを繰り返す。その更新の各回を表す語句として、最も適切なものを1つ選べ。

1. カーネル
2. パディング
3. ストライド
4. イテレーション

📝 解答

4

🔍 解説

学習方法についての理解を問う問題です。イテレーションと共にエポックなどの語句を理解しましょう。カーネルやパディング、ストライドは畳み込み層に関連する語句です。

問題11

勾配降下法などを用いてモデルを訓練する場合、オンライン学習、バッチ学習、ミニバッチ学習の3者の関係を記述する上で、最も適切なものを1つ選べ。ただし、全訓練データ数をNとする。

1. オンライン学習では、パラメータ更新時に用いられるデータ数が1であり、バッチ学習ではN、ミニバッチ学習では$n < N$である。
2. オンライン学習では、パラメータ更新時に用いられるデータ数がNであり、バッチ学習では1、ミニバッチ学習では$n < N$である。
3. オンライン学習では、パラメータ更新時に用いられるデータ数がNであり、バッチ学習では$n
4. オンライン学習では、パラメータ更新時に用いられるデータ数がNであり、バッチ学習では1、ミニバッチ学習では$n < N$である。

📝 解答

1

🔍 解説

学習方法についての理解を問う問題です。オンライン学習、バッチ学習、ミニバッチ学習の違いを理解しましょう。

問題12

ディープラーニングに限らず、機械学習の手法ではハイパーパラメータの地道なチューニングが必要になる。ハイパーパラメータの説明として、最も適切なものを1つ選べ。

1. モデルに含まれるパラメータの中で最も値が大きいパラメータである。
2. モデルの学習の過程で決定されないパラメータである。
3. 別の学習済みモデルから再利用されたパラメータである。
4. 前処理の際にのみ必要となるパラメータである。

📝 解答

2

🔍 解説

学習方法についての理解を問う問題です。学習には人があらかじめ決めておくハイパーパラメータが存在します。ハイパーパラメータは学習で自動的に
決められるものではありません。

問題13

以下の文章を読み、空欄に最もよく当てはまるものを1つ選べ。

( ) は2つの確率分布の差を表す尺度である。誤差関数として利用する場合、学習中のモデルの予測が、正解データと一致する割合が高いほど ( ) の値は0に近づき、低いほど大きな値をとる。

1. 交差エントロピー
2. 結合エントロピー
3. 部分エントロピー
4. 情報エントロピー

📝 解答

1

🔍 解説

誤差関数についての理解を問う問題です。ディープラーニングを適用する問題によって適切な誤差関数を選べるよう、それぞれの特徴を理解しましょう。また、選択肢2や選択肢3は存在しない誤差関数であり、選択肢4も誤差関数には利用しません。

問題14

確率的勾配降下法の説明として、最も適切なものを1つ選べ。

1. ニュートン法と同じ計算手法である。
2. ベイズの確率により勾配を求める手法である。
3. 学習データごとに勾配を求めて修正量を出し、逐次更新する手法である。
4. 固定の関数を微分した関数に学習データを代入し、勾配を求める手法である。

📝 解答

3

🔍 解説

学習方法についての理解を問う問題です。確率的勾配降下法は、勾配を求めて繰り返しパラメータを更新する手法です。

問題15

ノーフリーランチの定理が示す内容として、最も適切なものを1つ選べ。

1. 未知の入力に対して常に良好な結果を出力するモデルは実現可能である。
2. モデルの次元数が増えるにつれて必要なデータは指数関数的に増加する。
3. 競合する複数の仮説があるとき、もっとも単純な仮説を選ぶべきである。
4. あらゆる問題で性能の良い汎用最適化戦略は、理論上存在しない。

📝 解答

4

🔍 解説

学習方法についての理解を問う問題です。どんな問題でも通用するような学習プロセスは存在しないので、問題に応じて試行錯誤する必要があります。

問題16

以下の文章を読み、空欄 (A) (B) に最もよく当てはまるものを1つ選べ。

(A) は誤差関数が増加し始めた段階で学習を停止する手法である。誤差関数が増加に転じた後、再び減少する (B) が起こりうるため、学習を停止するタイミングについては慎重な検討が必要な場合がある。

1. (A) ドロップアウト (B) 二重降下現象
2. (A) ドロップアウト (B)勾配停留現象
3. (A) 早期終了 (B) 二重降下現象
4. (A) 早期終了 (B) 勾配停留現象

📝 解答

3

🔍 解説

学習方法についての理解を問う問題です。二重降下現象のように学習の繰り返し回数を多く設定しておかないと分からない現象もあります。

問題17

ディープラーニングにおいて過学習を防ぐ方法としてドロップアウトがある。ドロップアウトの説明として、最も適切なものを1つ選べ。

1. 学習の繰り返しごとに、確率的に特定のニューロンを予測に用いない手法である。
2. 過学習を避けるために学習を早く打ち切る手法である。
3. 層が深くなっても誤差が伝播しやすくするため、層を飛び越えた結合を設ける手法である。
4. ペナルティ項を付加することで、重みの値の範囲を制限する手法である。

📝 解答

1

🔍 解説

ドロップアウトについての理解を問う問題です。ドロップアウトはランダムに選択したニューロンの値を0にすることで予測に用いません。選択される
ニューロンはエポックごとに変更します。