`nn.ModuleList`和普通list的区别
ModuleList
是特殊的list,其包含的模块会被自动注册,对所有的Module
方法都可见。先给结论:如果要用列表组织模型模块,那么强烈建议使用nn.ModuleList。这有什么好处呢?看下面的例子。
import torch.nn as nn
from torchsummary import summary
class MyNet(nn.Module):
def __init__(self):
super().__init__()
self.net = [
nn.Conv2d(3, 64, 3, padding='same'),
nn.Conv2d(64, 64, 3, padding='same'),
nn.Conv2d(64, 64, 3, padding='same')
]
self.conv = nn.Conv2d(64, 64, 3, padding='same')
def forward(self, x):
for net_ in self.net:
x = net_(x)
out = self.conv(x)
return x
model = MyNet()
print(summary(model, (3, 224, 224)))
MyNet
的部分模块包含在list
中,使用torchsummary
模块中的summary
方法查看模型结构,得到输出如下:
----------------------------------------------------------------
Layer (type) Output Shape Param #
================================================================
Conv2d-1 [-1, 64, 224, 224] 36,928
================================================================
Total params: 36,928
Trainable params: 36,928
Non-trainable params: 0
----------------------------------------------------------------
Input size (MB): 0.57
Forward/backward pass size (MB): 24.50
Params size (MB): 0.14
Estimated Total Size (MB): 25.22
----------------------------------------------------------------
可以看到,包含在list中的模块无法被展示出来,而将list替换为ModuleList则可以解决这个问题。
就这?就这??这有啥用,我不用torchsummary
这个模块不就行了[doge]!
当然不是。torchsummary.summary()
方法失效只是问题现象,根本原因在于list中的模块未能和模型很紧密的绑定在一起,模型压根就不知道这里面模块的存在!当使用model.to(device)
时会带来很严重的错误。看下面这段代码,由于网络不知道list中模块的存在,所以当移动模型位置(例如从cpu到gpu时),list中的模块会被略掉,这样当前向传播计算时会因为Tensor不在同一个设备上而出错。
print(model.to('cpu'))
"""output
MyNet(
(conv): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=same)
)
"""
推荐这些文章:
NO.1:32位和64位分别指的是什么?
从程序上说:32位与64位程序,是指经过语言编译后的可执行文件,比如 C 语言编写的程序就需要区分是32位的还是64位
从系统和硬件上讲:CPU一次处理数据的能力是32位还是64位,关系着系统需要安装32位还是64位的系统
32 位和 64 位中的“位”,也叫字长,是 CPU 通用寄存器的数据宽度,是数据传递和处理的基本单位。字长是 CPU 的主要技术指标之一,指的是 CPU 一次能并行处理的二进制位数,字长总是8的整数倍
以下内容节选自:百度百科
32位操作系统针对的32位的CPU设计。CPU内部寄存器和寻址总线是32位,指令集可以运行32位数据指...
size_t和int size_t是一些C/C++标准在stddef.h中定义的。这个类型足以用来表示对象的大小。size_t的真实类型与操作系统有关。
在32位架构中被普遍定义为:
typedef unsigned int size_t;
而在64位架构中被定义为:
typedef unsigned long size_t; size_t在32位架构上是4字节,在64位架构上是8字节,在不同架构上进行编译时需要注意这个问题。而int在不同架构下都是4字节,与size_t不同;且int为带符号数,size_t为无符号数。
为什么有时候不用int,而是用size_...
1、v-model:
通常用于表单上双向数据的绑定,如果除了表单其他组件使用时,起不到任何效果。它还可以实现子组件到父组件的双向数据动态绑定。
2、:model
:model是v-bind:model的缩写。
只是将父组件的值传递给和子组件,但是并未实现子组件和父组件之间的双向数据绑定,当然引用类型除外,子组件改变了引用类型的数据的话,父组件的数据也会跟着改变。
参考:https://blog.csdn.net/weixin_42333361/article/details/110176924
https://blog.csdn.net/u012155729/artic...
文章链接:https://www.dianjilingqu.com/51444.html
本文章来源于网络,版权归原作者所有,如果本站文章侵犯了您的权益,请联系我们删除,联系邮箱:saisai#email.cn,感谢支持理解。