https://mp.weixin.qq.com/s/SzpfXbyYeAScS2_ijTHitw2022年有专家曾经预测：在视觉领域，卷积神经网络(CNN)会和Transformer平分秋色。随着Vision Transformers (ViT)成像基准SOTA模型的发布， ConvNets的黎明业已到来，这还不算：Meta和加州大学伯克利分校的研究认为， ConvNets模型的性能优越于ViTs。
在视觉建模中，虽然Transformer很快取代了递归神经网络，但是对于那些小规模的ML用例， ConvNet的使用量会出现陡降。而小型Transformer+ CNN（卷积神经网络）的混合模型，即谷歌的MaxViT模型，具备475 M参数，几乎与ConvNet-7完全匹配（89.5 3%），在ImageNet上的性能为90.88%，位居第一。
卷积神经网络的灵感来自神经科学家D.H.Hubel和T.N.Wiesel，他们在研究哺乳动物的视觉皮层时发现视觉皮层由多层神经元组成，这些层以分层结构排列，从而组成复杂的神经元。神经认知机将一个视觉模式分解成许多子模式（特征），然后进入分层递阶式相连的特征平面进行处理，它试图将视觉系统模型化，使其能够在即使物体有位移或轻微变形的时候，也能完成识别。
卷积神经网络是一种多层的监督学习神经网络，基础的CNN由 卷积(Convolution)、激活(Activation)和池化(Pooling)三种结构组成。隐含层的卷积层和池采样层是实现卷积神经网络特征提取功能的核心模块。该网络模型通过采用梯度下降法求最小化损失函数，对网络中的权重参数逐层反向调节，通过频繁的迭代训练提高网络的精度。卷积神经网络的低层由卷积层和最大池采样层交替组成，高层是全连接层对应传统多层感知器的隐含层和逻辑回归分类器。第一个全连接层的输入是由卷积层和子采样层进行特征提取得到的特征值，最后一层输出层是一个分类器，可以采用逻辑回归图片Softmax回归甚至是支持向量机对输入进行分类。
CNN输出的结果是每幅图像的特定特征空间。当处理图像分类任务时，通常会把CNN输出的特征空间作为全连接层或全连接神经网络(Fully Connected Neural Network, FCN)的输入，用全连接层来完成从输入图像到标签集的映射，即分类。当然，整个过程最重要的工作就是如何通过训练数据迭代调整网络权重，也就是后向传播算法。目前主流的卷积神经网络(CNN)都是由简单的CNN调整、组合而来。
发自「今日水木 on Redmi K30」
--
FROM 119.34.165.*