ニューラルネットワークでよく用いられる活性化関数のひとつはシグモイド関数です。シグモイド関数は以下の式で与えられます。

シグモイド関数のグラフは以下の通りです。

シグモイド関数は滑らかな曲線であり，入力に対して連続的に出力が変化します。入力が小さいときに出力は0に近く，入力が大きくなるに従い出力が1に近づくという構造をしています。そして，どんなに入力信号の値が小さくても，またどんなに入力信号の値が大きくても，出力信号の値を0から1の間に押し込めることができます。この関数は非線形関数であり，ニューラルネットワークの層を深くするために重要になります。

　ニューラルネットワークで用いられる関数のひとつとしてReLU関数があります。ランプ関数とも呼ばれます。ReLU関数は以下の式で与えられます。

ReLU関数のグラフは以下の通りです。

ReLU関数は，入力が0を超えていれば，その入力をそのまま出力し，0以下ならば0を出力する関数です。導関数の最大値が1と大きく，シグモイド関数といった導関数の最大値が小さい活性化関数と比較して勾配消失問題を抑制します。また，計算が単純であるために計算コストが小さいといった利点もあります。