6、神经网络模型基础：原理、实践与代码实现

神经网络模型基础：原理、实践与代码实现

1. 网络任务与性能函数

在某些任务中，比如“到达目标物体”，需要确定更有可能达成该目标的网络动作，并将其传授给网络。此时，定义一个高层次的性能函数往往是最实用的方法，例如一个随着手臂接近目标物体而增大的函数。

2. 无特定指导下的网络组织

之前我们探讨了如何建立给定的输入 - 输出映射，但并非所有的权重设置过程都是如此。另一种方式是在给定权重变化规则的情况下，探究网络在接收到一系列输入时权重是如何发展的。

2.1 自组织的概念

这种在没有关于是否构建了现实或有用的输入 - 输出映射的特定反馈下出现的网络组织，被称为自组织。不过要记住，最终形成的组织不仅取决于网络本身的属性，还关键地依赖于输入到网络中的数据。

2.2 基于神经元连接信息的权重变化规则

考虑基于神经元连接点处可用信息的权重变化规则很有趣。这些信息可能包括神经元的状态变量以及描述细胞外环境状态的变量，如神经调节剂的丰度。下面是一个简单规则的例子：
$\Delta W_{ij} = \eta(z_i - a)(z_j - b)$
其中，$z_i$ 和 $z_j$ 是由 $W_{ij}$ 连接的节点的活动，$a$ 和 $b$ 是两个常数。当 $z_i > a$ 且 $z_j > b$，或者 $z_i < a$ 且 $z_j < b$ 时，$W_{ij}$ 会增加；否则，$W_{ij}$ 会减小。

我们以图 2.14 中的网络为例，该网络有一个输出节点，其输入来自排列成简单视网膜模型的节点。我们向这个网络输入由弥散的兴奋团组成的输入模式（图 2.15