对卷积神经网络误差反向传播求导时一直有个疑问:如果卷积层某区块里4个输出数据中有2个最大值,例如8,8,6,4,那么按照最大池化法4个里面取1个最大值到池化层,此时最大值应该取8。
那在误差反向传播法对卷积层求偏导的时候,最大值那个神经单元的偏导是1,非最大值神经单元偏导是0,但这里有2个神经单元都是最大值8,。我是任选其中一个最大值单元偏导设为1其他3个单元偏导都取0(包括另一个最大值单元)呢?还是两个最大值神经单元偏导都取1,另外两个非最大值单元偏导取0?
到底选择哪种方式,理由是什么?
--
FROM 113.247.217.*