在机器学习领域，归一化是一个常见且重要的步骤。最近在Stack Overflow上，有人提出了一个有趣的问题：能不能在输入层之后直接使用批量归一化层，而不对数据进行归一化处理呢？能达到类似的效果和性能吗？
在Keras函数式编程里，代码可能会是这样：
x = Input (...) x = Batchnorm(...)(x) ...对于这个问题，有两种不同的观点。
一位网友认为是可以这么做的。批量归一化除了能稳定激活分布之外，随着网络学习，均值和标准差很可能会发生变化。在输入层之后设置批量归一化，实际上是一种高级的数据预处理步骤，有时候能起到很大的帮助，比如在线性回归中。不过，一次性计算整个训练样本的均值和方差，要比按批次去学习它们更容易、更高效。而且，批量归一化在性能方面是有代价的，所以不能过度使用。
还有网友分享了自己在视觉模型中成功使用这种方法的经验。他提到这种做法有优点也有缺点。优点主要有两个：一是在将模型投入生产时，不会忘记归一化这一步骤，因为它已经成为模型的一部分了，这种遗忘情况其实比我们想象中更常见；二是这样的归一化考虑到了数据增强。缺点就是，如果已经有归一化好的输入数据，使用批量归一化会增加运行时的成本。这位网友还详细写了一篇文章探讨这个主题，文章链接是：Replace Manual Normalization with Batch Normalization in Vision AI Models | Towards Data Science
此外，评论区也有很多值得关注的讨论。有人问提前对整个数据进行标准化（比如通过StandardScaler），然后再使用批量归一化会怎样；还有人问如果想对输入进行标准化，批量归一化层是否必须添加在输入层之后，添加在输入层之前会发生什么。
总之，用批量归一化替代输入归一化是可行的，但在实际应用中，要综合考虑性能、成本等多方面因素，选择最适合自己模型的方法。
