计算机图形学入门13：纹理映射常见问题、MipMap

        上一章介绍了纹理映射，这一章介绍纹理映射常见的问题。

1.纹理太小

 1.1产生原因

        例如要渲染一面墙，它的分辨率4K，但与它对应的纹理大小是256x256，这样要怎样？显然纹理会被拉大。当墙面上一个点去查询纹理时，可能查询到不准确的值，如下：
        1.墙面的最小单位是像素(pixel)，纹理的最小单位为纹素(texel)。
        2.由于纹理过小，会存在多个像素查询纹理时返回同一个纹素。
        3.墙面渲染时每个像素点映射到了非整数的位置上，只能找最近的texel点，产生不连续情况，就会产生一块一块的。

1.2双线性插值

        如上图所示，红点代表一个像素的中心点的位置，映射到非整数的位置，这个4*4的格子代表一个纹理，黑点表示纹素的中心，这时候红点只能找到最近黑点的颜色，产生不连续现象。

        那么，一个像素映射到纹理的位置是红点的位置时如何查找出准确的值，正确的方式是使用双线性插值(Bilinear interpolation)。

1.2.1双线性插值处理过程

        1.在红色像素点找到临近的四个纹素u00、u01、u10、u11。

        2.以这四个点创建新的纹理坐标系。以u00到u10方向为u方向，u00到u01为v方向，红点的位置是(s,t)。s，t范围是0-1。

        3.水平方向的线性插值。线性插值的公式如下，x是0-1之间的当前值。

         假设u0和u1为上下两个的插值结果，u0以s为当前值从u00和u10之间插值，u1以s为当前值从u01和u11之间插值。

        4.竖直方向方向的线性插值。有了上一步得到的结果u0和u1，在竖直方向以t为当前值从u0和u1之间插值。

        在水平方向做一次插值，在竖直方向做一次插值，因此这个方法叫双线性插值。
        纹理过小使用双线性插值的办法外，还有精度更高的处理办法叫双三次插值算法(Bicubic)，过程与双线性插值类似，但取的是周围16个texel，同样做竖直的和水平的插值，只不过每次用4个做三次的插值，而非线性的插值，运算量大一些，效果更好，通常高质量伴随高开销，实际双线性插值可以满足大多数需求。如下图所示，是两种插值算法优化后的效果。

2.纹理太大

2.1产生影响

        通常纹理过大会引发更严重的问题。例如渲染一个格栅状地面，纹理是一个小格子，在地面的两个方向上重复平铺，如果按照之前默认的采集方式处理，渲染出来的结果是远处出现摩尔纹，近处出现锯齿，并且越远越差。越远表示一个像素有更多的纹素，也就是纹理过大。如下图所示。那么，出现这样的走样现象，原因是什么呢？

2.2产生原因

        如上图所示，从左到右表示场景中与相机的距离由近到远，当比较近的时候屏幕上一个像素覆盖的面积大概是一个纹素的大小，随着与相机距离的变大，屏幕上一个像素所覆盖的纹理上的面积越来越大，通常每个纹素有自己的颜色，最远距离中覆盖了多个纹素，但只会进行一次采样，采样的结果自然不能代表原理那么多纹素的颜色，所以会出现走样现象。

        回顾前面走样产生的原因，我们知道是因为当采样的频率小于信号的变换频率就会产生走样现象，所以在这里，当只有一个像素点去采样多个纹素的时候，就是信号频率大于采样频率。

2.3解决办法

2.3.1超采样(MSAA)

        使用更多的像素采集，也就是MSAA。比如每个像素使用512个点进行采样，得到很好的结果，如下图右边所示。但是换来的是更大的开销，那有没有其他方法呢？

2.3.2MipMap

2.3.2.1查询分类

        既然采样会引起走样，那么假如不采样会怎么样？那么如何直接获得内部平均值呢？这就是要使用范围查询(Range Query)了。范围查询就是不需要采样，给你任何一个区域，你立刻可以得到它内部的平均值。范围查询还有很多种类，这里是查询平均值，也有查询范围内的最大值和最小值的范围查询。

        而之前是使用的都是点查询，也就是以点为单位去纹理中查询对应位置的值，使用的双线性插值都是点查询。

2.3.2.2MipMap原理

        MipMap是在图形学中广泛应用的经典概念，它允许做范围查询。MipMap做范围查询是非常快速的，但是只能做近似的正方形的范围查询。

        那么，什么是MipMap。如下图，把一张纹理分成若干层，原始纹理为第0层，比如大小为128*128，每增加一层纹理分辨率缩小一半，直到缩小到只剩一个像素，那总层数就是log2(纹理的长或宽)。

        通常MipMap是在渲染前通过预计算完成的，生成对应层级的纹理，经过计算后MipMap变成如下图的结构，称为图像金字塔。如下图所示。相比原始图片的存储量，MipMap只增加了1/3的存储量。

        MipMap需要在正方形区域内做范围查询，如何确定需要查询的区域呢。任何像素都可以映射到纹理上的区域，可以通过一个近似的方法。

        如上图所示，三角形覆盖了一些采样点，以红色点和蓝色点为例，它们会投影到纹理空间上。因为纹理空间是三维空间下的，所以不是正方形。

        如上图，例如我们要确定红色点左下角的采样点(粉色区域)在纹理坐标上查询范围的大小，在纹理空间中以这个点为中心，连接上面和右面的采样点，求出距离，并取最大值，假设最大的长度是L。

        如上图，求出的长度L基本近似采样点(粉红色区域)映射在纹理上的正方形的长度。也就是说用L长的正方形来近似采样点的区域。

        有了正方形的长度就可以通过公式D=log2L来确定去哪一层进行范围查询。

        直接利用层级去MinMap中查询出来的结果，如下图所示。但是会发现颜色之间渐变非常生硬，不是平滑过渡(同一颜色代表同一层级)。

        那如何做到渐变更加平滑呢？还是用到插值，例如你需要查询1.3层，那先查询1层和2层，然后拿两个结果在做一次插值。

        首先在D层使用双线性插值查询该点的值，然后继续使用双线性插值查询出D+1层的值，最后层与层之间做一次插值，我们把这种方法称为三线性插值(Trilinear Interpolation)。

        三线性插值需要做两次查询，一次插值，开销很小，并且效果也非常好。如下图所示。

2.3.2.3MipMap的限制

        如上图所示，左边是用512的MSAA采样的结果，假设是一个准确的结果。右边是用MipMap处理的结果，发现远处细节都糊掉了，这种现象称为模糊过度(Overblur)。为什么会出现这种情况？因为在处理过程中，它只能查询方块区域，而我们查询的方块是近似得到的，而且还用了三线性插值，所以是不完全准确。既然问题出现如何解决，答案是使用各项异性过滤(Anisotropic Filtering)。如下图所示。

        各向异性过滤也就是RipMap，相比MipMap只能做正方形查询，RipMap不同之处在于可以做矩形区域查询。

        上图中， 沿着对角线上的图，水平方向和竖直方向上各缩小一半，称为各项同性，其实也就是MipMap。

        其余的有的只在水平方向发生压缩，有的只在竖直方向发生压缩，也有的在水平和竖直方向同时发生压缩且压缩比例可能会不一样，像这样在不同方向上它的表现各不相同称为各项异性。

        各向异性额外的开销是原本的三倍，造成较大的显存开销，能解决部分问题，只能满足矩形区域的范围查询。

        但是屏幕像素映射到纹理空间上可不一定是规律的形状。针对斜着的矩形区域（下图右侧中类似平行四边形）的查询也无能为力。

        对于上述这类情况我们可以使用EWA Filtering来解决，不规则的形状都可以拆成很多个不同的圆形去覆盖，多次查询。当然运算量又会增加。如下图所示。