F.grid_sample 用法解读

torch.nn.functional.grid_sample(input, grid, mode='bilinear', padding_mode='zeros', align_corners=None)

这个函数的作用就是给定输入input和网格grid，根据grid中的像素位置从input中取出对应位置的值（可能需要插值）得到输出output。

目前input只支持二维（spatial）和三维（volumetric）数据，因为还包括batch_size和channel维度，即只支持4-D和5-D的输入。

对于4-D的输入，假设input的shape为(N,C,Hin,Win)" role="presentation">(N,C,Hin,Win)$(N,C,H_{in},W_{in})$，grid的shape为(N,Hout,Wout,2)" role="presentation">(N,Hout,Wout,2)$(N,H_{out},W_{out},2)$，则输出的shape为(N,C,Hout,Wout)" role="presentation">(N,C,Hout,Wout)$(N,C,H_{out},W_{out})$。

对于每个输出位置output[n, :, h, w]，大小为2的向量grid[n, h, w]指定了输入input的像素位置x和y，然后进行插值得到输出值output[n, :, h, w]。

mode指定插值方法nearest或bilinear来对输入像素值进行采样。

grid指定了采样像素的位置，这里的位置是由input的空间维度归一化后的结果。所以范围在[-1, 1]区间内。比如x=-1, y=-1表示输入的最左上角的位置，x=1, y=1表示输入的最右下角位置。