`nn.ModuleList`和普通list的区别

ModuleList是特殊的list,其包含的模块会被自动注册,对所有的Module方法都可见。先给结论:如果要用列表组织模型模块,那么强烈建议使用nn.ModuleList。这有什么好处呢?看下面的例子。

import torch.nn as nn
from torchsummary import summary


class MyNet(nn.Module):
    def __init__(self):
        super().__init__()
        self.net = [
            nn.Conv2d(3, 64, 3, padding='same'),
            nn.Conv2d(64, 64, 3, padding='same'),
            nn.Conv2d(64, 64, 3, padding='same')
        ]
        
        self.conv = nn.Conv2d(64, 64, 3, padding='same')
    def forward(self, x):
        for net_ in self.net:
            x = net_(x)
        out = self.conv(x)
        return x

model = MyNet()
print(summary(model, (3, 224, 224)))

MyNet的部分模块包含在list中,使用torchsummary模块中的summary方法查看模型结构,得到输出如下:

----------------------------------------------------------------
        Layer (type)               Output Shape         Param #
================================================================
            Conv2d-1         [-1, 64, 224, 224]          36,928
================================================================
Total params: 36,928
Trainable params: 36,928
Non-trainable params: 0
----------------------------------------------------------------
Input size (MB): 0.57
Forward/backward pass size (MB): 24.50
Params size (MB): 0.14
Estimated Total Size (MB): 25.22
----------------------------------------------------------------

可以看到,包含在list中的模块无法被展示出来,而将list替换为ModuleList则可以解决这个问题。

就这?就这??这有啥用,我不用torchsummary这个模块不就行了[doge]!

当然不是。torchsummary.summary()方法失效只是问题现象,根本原因在于list中的模块未能和模型很紧密的绑定在一起,模型压根就不知道这里面模块的存在!当使用model.to(device)时会带来很严重的错误。看下面这段代码,由于网络不知道list中模块的存在,所以当移动模型位置(例如从cpu到gpu时),list中的模块会被略掉,这样当前向传播计算时会因为Tensor不在同一个设备上而出错。

print(model.to('cpu'))

"""output
MyNet(
  (conv): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=same)
)
"""

推荐这些文章:

系统64位和32位的区别

NO.1:32位和64位分别指的是什么?
从程序上说:32位与64位程序,是指经过语言编译后的可执行文件,比如 C 语言编写的程序就需要区分是32位的还是64位
从系统和硬件上讲:CPU一次处理数据的能力是32位还是64位,关系着系统需要安装32位还是64位的系统
32 位和 64 位中的“位”,也叫字长,是 CPU 通用寄存器的数据宽度,是数据传递和处理的基本单位。字长是 CPU 的主要技术指标之一,指的是 CPU 一次能并行处理的二进制位数,字长总是8的整数倍
以下内容节选自:百度百科
32位操作系统针对的32位的CPU设计。CPU内部寄存器和寻址总线是32位,指令集可以运行32位数据指...

size_t和int的区别

size_t和int size_t是一些C/C++标准在stddef.h中定义的。这个类型足以用来表示对象的大小。size_t的真实类型与操作系统有关。
在32位架构中被普遍定义为:
typedef unsigned int size_t;
而在64位架构中被定义为:
typedef unsigned long size_t; size_t在32位架构上是4字节,在64位架构上是8字节,在不同架构上进行编译时需要注意这个问题。而int在不同架构下都是4字节,与size_t不同;且int为带符号数,size_t为无符号数。
为什么有时候不用int,而是用size_...

:model和和v-model的区别

1、v-model:
通常用于表单上双向数据的绑定,如果除了表单其他组件使用时,起不到任何效果。它还可以实现子组件到父组件的双向数据动态绑定。
2、:model
:model是v-bind:model的缩写。
只是将父组件的值传递给和子组件,但是并未实现子组件和父组件之间的双向数据绑定,当然引用类型除外,子组件改变了引用类型的数据的话,父组件的数据也会跟着改变。
参考:https://blog.csdn.net/weixin_42333361/article/details/110176924
 
    https://blog.csdn.net/u012155729/artic...

文章标题:`nn.ModuleList`和普通list的区别
文章链接:https://www.dianjilingqu.com/51444.html
本文章来源于网络,版权归原作者所有,如果本站文章侵犯了您的权益,请联系我们删除,联系邮箱:saisai#email.cn,感谢支持理解。
THE END
< <上一篇
下一篇>>