模型架构
部分的PyTorch模型及其对应arxiv链接如下：
所有的来源可以查看timm官方repo
- Aggregating Nested Transformers - https://arxiv.org/abs/2105.12723
- BEiT - https://arxiv.org/abs/2106.08254
- Bottleneck Transformers - https://arxiv.org/abs/2101.11605
- CaiT (Class-Attention in Image Transformers) - https://arxiv.org/abs/2103.17239
- ConvNeXt - https://arxiv.org/abs/2201.03545
- ConvNeXt-V2 - http://arxiv.org/abs/2301.00808
- ConViT (Soft Convolutional Inductive Biases Vision Transformers)- https://arxiv.org/abs/2103.10697
- DeiT - https://arxiv.org/abs/2012.12877
- DeiT-III - https://arxiv.org/pdf/2204.07118.pdf
- DenseNet - https://arxiv.org/abs/1608.06993
- DPN (Dual-Path Network) - https://arxiv.org/abs/1707.01629
result
各种timm库模型在 ImageNet 数据集训练结果
https://github.com/huggingface/pytorch-image-models/blob/main/results/README.md
下载pretrained model
pretrained
在创建模型时create_model如果我们传入 pretrained=True
那么 timm 会从对应的 URL 下载模型权重参数并载入模型，只有当第一次（即本地还没有对应模型参数时）会去下载，之后会直接从本地加载模型权重参数。
1 | model = timm.create_model('vit_small_patch16_224', pretrained=True) |
Downloading: “https://storage.googleapis.com/vit_models/augreg/S_16-i21k-300ep-lr_0.001-aug_light1-wd_0.03-do_0.0-sd_0.0--imagenet2012-steps_20k-lr_0.03-res_224.npz" to /home/xxx/.cache/torch/hub/checkpoints/xxx.pth
下载的时候从model.default_cfg.url中下载权重
模型下载到当前用户root下的.cache/torch/hub/checkpoints/中
如果服务器网不好，可以手动下载再上传到相应位置