www.zhihu.com
如何看待微软亚洲研究院的Swin Transformer？ - 知乎
Swin Transformer是将Transformer模块中的标准multi-head self-attention（MSA）模块替换为基于移动窗口，其它层保持不变。 Swin Transformer由一个基于移位窗口的MSA模块组成，然后是一个介于GELU非线性之间的2层MLP。
swin采访
Searching…
Web results
www.zhihu.com
如何理解 Swin Transformer 和 Vision Transformer不同任务 ...
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？ Swin Transformer以dense prediction上出众的效果而闻名。 最近看到Wukong上对ViT和Swin在不同任务上做了一系列… 显示全部 关注者 398 被浏览
www.zhihu.com
SwinTransformer原理源码解读
Swin Transformer Block 这是最核心的模块，可以看出四个stage的重复个数依次为2 2 6 2，都是偶数 这是有原因的，原因就是，这两个块必须接连依次出现。
www.zhihu.com
Swin Transformer 相比之前的 ViT 模型，做出了哪些改进？
Swin-T的整体框架图 Patch Merging 模块 Patch Merging 模块将 尺寸为 H×W 的 Patch 块首先进行拼接并在 channel 维度上进行 concatenate 构成了 H/2\times W/2\times 4C 的特征图，然后再进行 Layer Normalization 操作进行正则化，然后通过一个 Linear 层形成了一个 H/2 \times W/2 \times 2C ，完成了特...
www.zhihu.com
为什么至今 (2024.2)还未出现基于Swin Transformer的CLIP预 ...
结论，swin是有效果的，但开源社区目前没看到，估计训练比较耗时间不值当 CLIP 的效果其实和模型结构关系不大，关键在数据质量，至于大家所说的局部特征，全局特征之分，在数据驱动的情况下， 细粒度的特征 来自细粒度的文本监督 发布于 2024-04-01 04:31
www.zhihu.com
可以说一下当年swin到底发生了什么吗（详细一点）？ - 知乎
SWIN的四分五裂，绝不是一个人的原因 （既然SWIN也不复存在，也就没有必要再说去辣菜谁了，也请有些唯粉不要过度联想） 8.24更新 8.5号更新 有关巨C那条豆瓣贴，我只是想搬一下贴，阐述提问者说的俞更寅是赵品霖逼走这一说法，现在看来是被 霖黑 有 ...
www.zhihu.com
如何看待swin transformer成为ICCV2021的 best paper？ - 知乎
如何看待swin transformer成为ICCV2021的 best paper？SwinT分析表明，Transformer从NLP迁移到CV上没有大放异彩主要有两点原因：1. 两个领域涉及的scale不同，NLP的scale是标准固定的，而CV的scale变化范围非常大。2. CV比起NLP需要更大的分辨率，而且CV中使用Transformer的计算复杂度是图像尺度的平方，这会导致计算量 ...
www.zhihu.com
SOTA 模型 Swin Transformer 是如何炼成的？ - 知乎
(5)Swin Transformer block Figure 3 (b),Swin Transformer模块包括一个基于移动窗口的MSA模块，然后是一个中间带有GELU非线性的2层MLP。 在每个MSA模块和每个MLP之前应用一个LayerNorm (LN)层，在每个模块之后应用一个残差连接。
www.zhihu.com
Swin Transformer之相对位置编码详解
一、概要 在 Swin Transformer 采用了 相对位置编码 的概念。 那么相对位置编码的作用是什么呢？ 解释： 在解释相对位置编码之前，我们需要先了解一下在NLP中Position Encoder即PE， NLP中Position_Encoder理解 在Swin Transformer中，将特征图 如按7*7 的窗口大小划分为多个小窗格，单独在每个小窗格内进行Attention ...
www.zhihu.com
拿Swin-Transformer进行图像分类，在基础模型上如何改进以 ...
拿Swin-Transformer进行图像分类，在基础模型上如何改进以进一步提升，可以给一些建议吗？ 谢谢大家，非常感谢 显示全部 关注者 22