検索 ≡

AIの用語を、実際に触って確かめて書いています

用語辞典

ニューラルネットワーク

一言でいうと
小さな処理の単位(ノード)を層状に並べてつないだ構造。

資料での説明

人間の脳のように、神経細胞に相当する各ノードが層を成して接続されている情報処理のネットワーク

— 総務省『令和元年版 情報通信白書』

英語では

Neural Network(略して NN)

  • Neural … 神経の
  • Network … 網、つながり

日本語では「神経回路網」ですが、ほぼ使われません。

構造と、学習とは何をすることか

このネットワークに入力した情報が、中間層(あるいは隠れ層)と呼ばれるネットワーク内での処理を経て望む情報として出力されるよう、何度も処理方法の調整を行うことで学習していく。

— 総務省『令和元年版 情報通信白書』

入力層 → 中間層(隠れ層)→ 出力層、という並びです。そして「処理方法の調整」の中身が重みです。

Nature論文は、調整可能なパラメータが「しばしば重み(weights)と呼ばれる実数」であり、機械は「誤差を減らすように内部の調整可能なパラメータを修正する」と述べています。

ニュースに出てくるパラメータ数は、この学習で決まる数値(重みやバイアス)の総数のことです。同論文は「典型的な深層学習のシステムでは、この調整可能な重みが数億個に及ぶことがある」と書いています。人が事前に決める設定値(ハイパーパラメータ)とは別のものです。

たとえるなら

「◯か×か」しか言えない人を大量に並べた伝言ゲームです。

1人ができるのは、前の人から数字を受け取り、決まった計算をして、次に渡すことだけ。ところが大量に並べて、誰の意見をどれだけ重く聞くかを調整していくと、全体として複雑な判断ができるようになる。その「どれだけ重く聞くか」が重みで、学習とはこの数値を調整していく作業のことです。

脳との関係については、資料が割れています

ここは、どの資料を読むかで書かれていることが違います。両方を出しておきます。

脳の仕組みをシミュレートする、という書き方

総務省『令和6年版 情報通信白書』は、ディープラーニングを「人間の脳の仕組みをシミュレートさせるニューラルネットワーク」という考え方を発展させた技術だと説明しています。

脳のシミュレーションと見るべきではない、という書き方

一方、深層学習の代表的な教科書は「深層学習を、脳をシミュレートしようとする試みと見なすべきではない」「これらは一般に、生物の機能を忠実に再現するモデルとして設計されてはいない」と明記しています。

どちらも実在する記述です。入門の説明としては「脳に着想を得た構造」という言い方が広く使われており、技術的な厳密さを求める文脈では「シミュレーションではない」という注意が置かれる、と理解しておくのが実務的です。

どんな文脈で出てくるか

  1. ディープラーニングの説明の中で。 「多数の層を重ねる」と言われたとき、何を重ねているのかの答えがこれです。ほぼこの文脈です。
  2. 「層」「パラメータ」「重み」という語の前提として。 「パラメータ数◯◯のモデル」というニュースの数字は、このネットワークの中の調整可能な数値の総数を指しています。
  3. モデルの構造を説明するとき。 「◯◯ベースのニューラルネットワーク」のような書き方で、技術記事や発表資料に出てきます。

一方で、「ニューラルネットワークを導入する」という言い方はしません。 構造の名前なので、導入する対象になりません。

出典

5件
  1. 総務省『令和元年版 情報通信白書』AIに関する動向soumu.go.jp
  2. 総務省『令和元年版 情報通信白書』AIに関する基本的な仕組みsoumu.go.jp
  3. LeCun, Bengio, Hinton "Deep learning", Nature 521, 436–444 (2015)pages.cs.wisc.edu
  4. 総務省『令和6年版 情報通信白書』soumu.go.jp
  5. Goodfellow, Bengio, Courville『Deep Learning』第1章・第6章deeplearningbook.org

次に読む

用語

コンテキストウィンドウ

AIが一度に見られる文章の量の上限。入力と出力の合計。

用語

ディープラーニング

機械学習の手法の一つ。ニューラルネットワークを多層に重ねたもの。

用語

拡散モデル

ノイズを足す過程を逆向きにたどって画像を作るしくみ。

こういう用語を週1回まとめて