CLIP Surgery论文阅读

CLIP Surgery for Better Explainability with Enhancement in Open-Vocabulary Tasks（CVPR2023）

$$M=\mathrm{norm}\left(\mathrm{resize}\left(\mathrm{reshape}\left(\frac{{\mathbf{F}}_{\bar{i}}}{{\Vert {\mathbf{F}}_{\underline{i}}\Vert }_2}\cdot {\left(\frac{{\mathbf{F}}_t}{{\Vert {\mathbf{F}}_{\underline{t}}\Vert }_2}\right)}^{\top }\right)\right)\right)$$
重点是CLIP的图可视化，上面是CLIP Surgery可视化Similarity map的公式

贡献：

1.发现CLIP可视化结果（相似度图）和人的感知是反的，集中在背景（flatten transformer做q可视化，集中在前景
），认为是QK self-attention导致，最相似的token并不是本身或者相同语义区域，而是一些背景的噪声。而用vv attention就不会出现错误的关联。出现这种情况的原因主要是训练的pooling不合适,提出了CLIP Architecture Surgery，如模型图所示

x ^ i + 1 = {  None  i < d f attn  ( x i , { ϕ v } ) + x i i = d , f attn  n v ( x i , { ϕ v } ) + x ^ i i > d , ∀ T & A x i + 1 = { f F F N ( x i ′ ) + x i ′ ,  s.t.  x i ′ = f a t t n q k ( x i , { ϕ q , ϕ k , ϕ v } ) + x i , ∀ T & A f res  ( x i ) + x i , ∀ R e s

\begin{array}{l} \hat{x}_{i+1}=\left\{\begin{array}{ll} \text { None } & i<d \\ f_{\text {attn }}\left(x_{i},\left\{\phi_{v}\right\}\right)+x_{i} & i=d, \\ f_{\text {attn } n_{v}}\left(x_{i},\left\{\phi_{v}\right\}\right)+\hat{x}_{i} & i>d \end{array}" role="presentation" style="position: relative;">\begin{array}{l} \hat{x}_{i+1}=\left\{\begin{array}{ll} \text { None } & id \end{array}