LeNet实现原理讲解

背景:LeNet在80年代末期在银行和邮局等识别手写数字处于支配的地位。

应用于MNIST数据集:

 

 一共分为10类,28*28的大小。

整个LeNet的整体框架为如下的结构:

 

 

(1)第一步,将原来的28x28的填充扩展为32x32大小的。padding=2

(2)第二步,通过一个5X5的卷积kernel,这里注意其输出通道数是6,经过此卷积层,

  得到的输出是输出通道数为6,宽和高都是28的输出。得到的称为feature map.

(3)第三部,将卷积层的输出经过一个pooling层,是一个大小为2X2的均值pooling层。

    经过pooling层得到的是通道数仍然为6,但是宽高是14X14的输出。

(4)第四部,再经过卷积层。kernel_size的宽高为5*5,得到的输出宽高是10*10,但是通道数发生了变化,变为了16.

(5)2*2的pooling层,输出16@5X5

(6)flatten展平,拉成一个向量tensor,然后输入到全连接层。第一个全连接层输出的是120

(7)第二个全连接层输出为64

(8)Gauss层,现在已经不怎么使用了,可以认为也是一个全连接层。输出大小为10

 

总体来说,LeNet先使用卷积层来学习图片的空间信息,然后再使用多个全连接层来转换到类别的空间。

 

推荐这些文章:

深度学习--结合代码讲解卷积神经网路

文章目录

前言
一、卷积操作

1.一次卷积操作
2.整个卷积操作过程
3.卷积层相对全连接层的特点:

二、池化操作
三、实战训练一个卷积神经网络

1.构建一个卷积神经网络:
2.连接密集连接分类器网络
3.在mnnist数据集上训练这个卷积神经网络

 

前言

对于卷积神经网络,需要强调的是,卷积神经网络是在将数据输密集连接分类器网络(即 Dense 层的堆叠)前的一个数据变换网络,一次卷积操作是一种数据变换的形式,是一种将大数据量转化为小数据量的操作。(但是卷积神经网络是多次卷积操作,可能过滤器(filter)数量多,数据量可能会变多,但最终经过整个卷...

目标检测---Faster Rcnn原理

组成部分:
1、Conv Layers:是一组基础的Conv+relu+pooling层提取image的feature maps,该feature maps共享用于后续的RPN层和全连接层。注:该conv layers 可用任意的卷积结构代替,比如resnet,inception model,depthwise separable convolution等都可以替代该结构,只要能提取image的feature maps就行。
2、Region Proposal Networks(RPN):用于生成region proposal(候选区域),通过softmax判断anchors属于negtiv...

python绘图种原理介绍及应用

valid卷积
在full卷积的卷积过程中,会遇到KflipKflip靠近I的边界(K矩阵与I矩阵),就会有部分延申到I之外,这时候忽略边界,只考虑I完全覆盖KflipKflip内的值情况,这个的过程就是valid卷积。一个高为H1,宽为W1的矩阵I与高为H2,宽为W2的矩阵K,在H1大于等于H2,W1大于等于W2的情况下,valid卷积的结果就是一个(H1-H2+1)*(W-W+1)的矩阵CvalidCvalid。

 
Cvalid与Cfull的对应关系为:Cvalid=Cfull(Rect(W2−1,H2−1,W1−W2+1,H1−H2+1))
same卷积
无论是full卷...

条件卷积的运算过程

就是用多个卷积核进行聚合组成一个卷积核。

import torch

from torch import nn
import torch.nn.functional as F
from torch import nn
from torch.nn.modules.conv import _ConvNd
from torch.nn.modules.utils import _pair
from torch.nn.parameter import Parameter
import numpy as np
import functools
class _routing(nn.Module):
&n...

12C接口输出芯片9键9通道触摸检测(超小超薄体积)VK36N9I

产品型号:VK36N9I
产品品牌:VINKA/永嘉微电
封装形式:SOP16/QFN16L
产品年份:新年份
联 系 人:陈锐鸿
概述
VK36N9I具有9个触摸按键,可用来检测外部触摸按键上人手的触摸动作。该芯片具有较高的集成度,仅需极少的外部组件便可实现触摸按键的检测。提供了I2C输出功能,可方便与外部 MCU 之间的通讯,实现设备安装及触摸引脚监测目的。芯片内部采用特殊的集成电路,具有高电源电压抑制比,可减少按键检测错误的发生,此特性保证在不利环境条件的应用中芯片仍具有很高的可靠性。
此触摸芯片具有自动校准功能,低待机电流,抗电压波动等特性,为各种触摸按键的应用提供了一种简单而又有效...

ResNet网络结构学习

ResNet
背景
在resnet提出之前,认为卷积层和池化层堆叠越多,提取到的图片特征信息就越全,学习效果越好。但是随着网络的加深,容易出现梯度消失和梯度爆炸等问题。
梯度消失:每一层的梯度小于1,反向传播时网络越深,远离输出层的梯度越趋于0。
梯度爆炸:每一层的梯度大于1,反向传播时网络越深,远离输出层的梯度越大。
退化问题:随着层数增加,预测效果反而更差。
方法
batch normalization
关于梯度消失和梯度爆炸的问题,可以通过Batch Normalization(批标准化)来缓解。
一般被添加于卷积、全连接层输出后,激活函数之前 or 全连接、卷积的输入前。
对全连接层...

排序算法(二)

一、选择排序
 
 
二、 
 
 
三、快速排序
45  28  80  90  50  16  100  10 
(1)选取一个基准数,一般取的是第一个数;基准数:45
第一趟:
(2)从后面往前找,找到第一个比基准数小的值(10),将基准数的位置和找到的数位置交换;
  10  28  80  90  50  16  100  45 
(3)从前面往后面找,找到第一个比基准值大的...

文章标题:LeNet实现原理讲解
文章链接:https://www.dianjilingqu.com/51265.html
本文章来源于网络,版权归原作者所有,如果本站文章侵犯了您的权益,请联系我们删除,联系邮箱:saisai#email.cn,感谢支持理解。
THE END
< <上一篇
下一篇>>