第5章 ディープラーニングの要素技術

問題1

Random Erasingについての説明として、最も適切なものを1つ選べ。

1. 画像処理に用いられるデータ拡張の1手法である。画像の一部分の画素をランダムに決定した値に変更することで、新しい画像を生成する。
2. ディープニューラルネットワーク (DNN) の学習を行う際、過学習に陥るリスクを軽減するため、学習の繰り返しごとに、ランダムにニューロンを除外して学習を進める手法である。
3. 自然言語処理において用いられる手法で、文中の一部の単語をランダムにマスクして見えないようにした状態で入力し、マスクされた単語を予測させることで学習を進める手法である。
4. 学習済のネットワークにおいて、推論に与える影響が少ないニューロン間の接続をランダムに取り除く手法である。

📝 解答

1

🔍 解説

データ拡張についての理解を問う問題です。Random Erasingは画像処理に用いられるデータ拡張手法です。

問題2

ResNetにおいて、1つ下の層だけでなく、層をまたぐ結合の構造が導入されており、これにより誤差の逆伝播を行いやすくなるという特徴がある。この結合の名称として、最も適切なものを1つ選べ。

1. サブ結合
2. スキップ結合
3. ドロップ結合
4. リカレント結合

📝 解答

2

🔍 解説

スキップ結合についての理解を問う問題です。スキップ結合は、勾配消失問題を解消するResNetの重要な構成要素です。

問題3

畳み込みニューラルネットワーク (CNN) において、フィルタを移動させる幅の呼称として、最も適切なものを1つ選べ。

1. ストローク
2. パディング
3. ストライド
4. スライド

📝 解答

3

🔍 解説

畳み込み層についての理解を問う問題です。移動させる幅はストライド、入力データの周囲に領域を追加するのがパディングです。ストロークやスライドは畳み込み層とは関係ありません。

問題4

データ拡張の目的として、最も不適切なものを1つ選べ。

1. 学習データの水増し
2. 未知のデータに対する汎化性能の向上
3. 過学習の抑制
4. 学習時間の短縮

📝 解答

4

🔍 解説

データ拡張についての理解を問う問題です。データ拡張によりデータを水増しすることで汎化性能が向上し、過学習を抑制できますが、その分学習時間は増えます。

問題5

畳み込みニューラルネットワーク (CNN) において畳み込み層の処理を行う前に、入力データの周囲に0など固定のデータを埋める処理の名称として、最も適切なものを1つ選べ。

1. パディング
2. ストライド
3. ドロップアウト
4. プーリング

📝 解答

1

🔍 解説

畳み込み層についての理解を問う問題です。パディングとストライドの処理を理解しておきましょう。ドロップアウトやプーリングは畳み込み層の処理に関係ありません。

問題6

以下の文章を読み、空欄 (A) (B) に最もよく当てはまるものを1つ選べ。

畳み込みニューラルネットワーク (CNN) の畳み込み層においては、(A) と呼ばれる小領域を1画素または複数画素ずつ動かしながら、画像と重なった領域において演算を行う。このとき動かす画素数のことを (B) といい、この処理のことを畳み込み処理という。

1. (A) フィルタ (B) エポック
2. (A) フィルタ (B) ストライド
3. (A) レイヤー (B) ストライド
4. (A) レイヤー (B) エポック

📝 解答

2

🔍 解説

畳み込み層についての理解を問う問題です。フィルタまたはカーネルの役割、ストライドの意味を理解しておきましょう。

問題7

畳み込みニューラルネットワーク (CNN) に関する説明として、最も適切なものを1つ選べ。

1. CNNは、自然言語処理と強化学習のみに適したニューラルネットワークである。
2. 畳み込み処理は、生物の視覚の情報処理にヒントを得たニューラルネットワークの処理法の1つである。
3. CNNに、スキップ結合を加えると学習速度が低下する。
4. CNNには、プーリング処理が必ず必要である。

📝 解答

2

🔍 解説

畳み込みニューラルネットワークについての理解を問う問題です。どのようなアイデアで生まれたのか理解しておきましょう。

問題8

ゲートの数を削減することでLSTMにおける高い計算コストの削減を実現した手法の名称として、最も適切なものを1つ選べ。

1. LSTNet
2. Adam
3. GRU
4. BPTT

📝 解答

3

🔍 解説

リカレントニューラルネットワークについての理解を問う問題です。LSTMはメモリセルと3つのゲートがあるため、学習するパラメータ数が多いです。GRUはメモリをなくし、ゲート数も減らしたため、学習するパラメータ数が少なくなっています。

問題9

ニューラルネットワークの中間層の値を再帰させることによって、時系列データや言語などのデータに対応できるようにしたものをなんと呼ぶか、最も適切なものを1つ選べ。

1. DNN
2. RNN
3. CNN
4. DCNN

📝 解答

2

🔍 解説

リカレントニューラルネットワーク(RNN) についての理解を問う問題です。時系列データに対応する再帰構造がRNNの特徴です。

問題10

以下の文章を読み、空欄に最もよく当てはまるものを1つ選べ。

自然言語処理の文脈において、複数の単語ベクトルにどのベクトルを重要視するかをも含めて学習させる仕組みを () という。

1. Attention
2. オートエンコーダ
3. ボルツマンマシン
4. 敵対的生成ネットワーク (GAN)

📝 解答

1

🔍 解説

Attentionについての理解を問う問題です。Attentionにより単語ベクトル間の関連性を捉えることができます。

問題11

TransformerはEncoder-Decoderモデル構造を持っているが、Encoder側の計算に利用されるAttentionの種類として最も適切なものを1つ選べ。

1. Source-Target Attention
2. Encoder-Decoder Attention
3. Self-Attention
4. Encoder-Attention

📝 解答

3

🔍 解説

TransformerとAttentionについての理解を問う問題です。TransformerではいくつかのAttention構造が採用されています。各Attention構造がどのようなものなのか理解しておきましょう。

問題12

Transformerの説明として、不適切なものを1つ選べ。

1. リカレントニューラルネットワーク (RNN)を一切排除し、かわりにAttention機構を採用したEncoder-Decoderモデルである。
2. 並列計算ができないため、データの処理に時間がかかる。
3. 入力系列の中で遠い位置にある要素間の関係も直接考慮することができる。
4. Transformerの応用として様々なPretrained Modelが開発された。

📝 解答

2

🔍 解説

Transformerについての理解を問う問題です。RNNの課題を解決するためのAttention構造や並列処理が可能な構造について理解しておきましょう。

問題13

自然言語処理における位置エンコーディングに関する説明として、最も適切なものを1つ選べ。

1. 時系列分析を可能とするために用いられる。
2. 埋め込むことで計算コストが小さくなる。
3. モデルの解釈可能性を高めるために用いられる。
4. 汎化性能を確認する指標として用いられる。

📝 解答

1

🔍 解説

位置エンコーディングについての理解を問う問題です。位置エンコーディングにより、時系列データの並列処理が可能となりますが、計算コストは小さくなりません。