ニューラルネットワーク
資料での説明
人間の脳のように、神経細胞に相当する各ノードが層を成して接続されている情報処理のネットワーク
— 総務省『令和元年版 情報通信白書』
英語では
Neural Network(略して NN)
- Neural … 神経の
- Network … 網、つながり
日本語では「神経回路網」ですが、ほぼ使われません。
構造と、学習とは何をすることか
このネットワークに入力した情報が、中間層(あるいは隠れ層)と呼ばれるネットワーク内での処理を経て望む情報として出力されるよう、何度も処理方法の調整を行うことで学習していく。
— 総務省『令和元年版 情報通信白書』
入力層 → 中間層(隠れ層)→ 出力層、という並びです。そして「処理方法の調整」の中身が重みです。
Nature論文は、調整可能なパラメータが「しばしば重み(weights)と呼ばれる実数」であり、機械は「誤差を減らすように内部の調整可能なパラメータを修正する」と述べています。
ニュースに出てくるパラメータ数は、この学習で決まる数値(重みやバイアス)の総数のことです。同論文は「典型的な深層学習のシステムでは、この調整可能な重みが数億個に及ぶことがある」と書いています。人が事前に決める設定値(ハイパーパラメータ)とは別のものです。
「◯か×か」しか言えない人を大量に並べた伝言ゲームです。
1人ができるのは、前の人から数字を受け取り、決まった計算をして、次に渡すことだけ。ところが大量に並べて、誰の意見をどれだけ重く聞くかを調整していくと、全体として複雑な判断ができるようになる。その「どれだけ重く聞くか」が重みで、学習とはこの数値を調整していく作業のことです。
脳との関係については、資料が割れています
ここは、どの資料を読むかで書かれていることが違います。両方を出しておきます。
脳の仕組みをシミュレートする、という書き方
総務省『令和6年版 情報通信白書』は、ディープラーニングを「人間の脳の仕組みをシミュレートさせるニューラルネットワーク」という考え方を発展させた技術だと説明しています。
脳のシミュレーションと見るべきではない、という書き方
一方、深層学習の代表的な教科書は「深層学習を、脳をシミュレートしようとする試みと見なすべきではない」「これらは一般に、生物の機能を忠実に再現するモデルとして設計されてはいない」と明記しています。
どちらも実在する記述です。入門の説明としては「脳に着想を得た構造」という言い方が広く使われており、技術的な厳密さを求める文脈では「シミュレーションではない」という注意が置かれる、と理解しておくのが実務的です。
どんな文脈で出てくるか
- ディープラーニングの説明の中で。 「多数の層を重ねる」と言われたとき、何を重ねているのかの答えがこれです。ほぼこの文脈です。
- 「層」「パラメータ」「重み」という語の前提として。 「パラメータ数◯◯のモデル」というニュースの数字は、このネットワークの中の調整可能な数値の総数を指しています。
- モデルの構造を説明するとき。 「◯◯ベースのニューラルネットワーク」のような書き方で、技術記事や発表資料に出てきます。
一方で、「ニューラルネットワークを導入する」という言い方はしません。 構造の名前なので、導入する対象になりません。