神经网络归一化处理选择就是将数据分布映射到一个确定的区间。
因为在深度神经网络涉及到很多层的叠加,而每一层的参数更新会导致上层的输入数据分布发生变化,使得高层的输入分布变化会非常剧烈。虽然神经网络的各层的输入信号分布不同,但最终“指向“的样本标记是不变的,即边缘概率不同而条件概率一致,为了降低分布变化给神经网络训练带来的影响,使用归一化处理。
原创 | 2022-11-19 07:41:03 |浏览:1.6万
神经网络归一化处理选择就是将数据分布映射到一个确定的区间。
因为在深度神经网络涉及到很多层的叠加,而每一层的参数更新会导致上层的输入数据分布发生变化,使得高层的输入分布变化会非常剧烈。虽然神经网络的各层的输入信号分布不同,但最终“指向“的样本标记是不变的,即边缘概率不同而条件概率一致,为了降低分布变化给神经网络训练带来的影响,使用归一化处理。
Copyright 2005-2020 www.kxting.com 版权所有 | 湘ICP备2023022655号
声明: 本站所有内容均只可用于学习参考,信息与图片素材来源于互联网,如内容侵权与违规,请与本站联系,将在三个工作日内处理,联系邮箱:47085,1089@qq.com