ニューラルネットワーク（neural network）とは、人間の脳の神経回路の構造を数学的に表現する手法です。脳内の神経細胞である「ニューロン（neuron）」を語源とし、主に音声や画像などのパターンを認識する際に活用されます。適切な重みパラメータをデータから自動で学習できるというのがニューラルネットワークの重要な性質のひとつです。

　一番左の列を入力層，一番右の列を出力層，中間の列を中間層と呼びます。中間層は隠れ層と呼ぶこともあります。「隠れ」という言葉は，隠れ層のニューロンが（入力層出力層とは違って）人の目には見えない、ということを表しています。

　活性化関数は，閾値を境にして出力が切り替わる関数で，「ステップ関数」や「階段関数」と呼ばれます。活性化関数の例として，Sigmoid関数，Softmax関数などが挙げられます。活性化関数はニューラルネットワークの隠れ層もしくは出力において，「押しつぶし（squashing）」による出力範囲の調整，および非線形変換による表現力の向上に使われます。また，活性化関数の関数形およびその微分関数の形次第で，学習の安定度や速度が向上します．したがって，目的に適した活性化関数を選択することが，短い学習時間で，なおかつ学習全域解に収束させるためには大切です。

詳しくはこちら

　ニューラルネットワークおける「学習」とは，訓練データから最適な重みパラメータの値を自動で獲得することを指します。ニューラルネットワークの特徴は，データから学習できる点にあります。データから学習するとは，重みパラメータの値をデータから自動で決定できるということです。ニューラルネットワークが学習を行えるようにするために，損失関数という「指標」を用意します。この損失関数を基準として，その値が最も小さくなるような重みパラメータを探し出すということが学習の目的です。

詳しくはこちら

　ニューラルネットワークにおいて，最適なパラメータ(重みとバイアス)を学習時に見つけなければなりません。最適なパラメータというのは，損失関数が最小値を取るときのパラメータの値です。そこで，勾配をうまく活用して関数の最小値を探そうというのが勾配法です。

詳しくはこちら

畳み込みニューラルネットワーク(convolutional neural network：CNN)は，画像認識や音声認識など，至るところで使われています。CNNは「畳み込み層」と「プーリング層」の2つの層を持つニューラルネットワークです。

詳しくはこちら