middlebury立体匹配评估使用方法总结（一）——网站说明
middlebury立体匹配评估使用方法总结（二）——python版离线教程
middlebury立体匹配评估使用方法总结（三）——线上版教程
查看了很多资料，也没有人系统的说明如何使用middlebury数据集进行评估，所以自己写一下，用于记录和交流。
我们需要对立体匹配的错误进行量化，这样就可以公平的比较各个算法了。但是要想量化错误，就需要有标准的视差图作为参考，只需要比较算法的结果和标准视差图，并计算不一样的像素的比例，就可以进行评价了。这个领域的先驱们也正是这样做的，其中奠基性的成果就是MiddleBurry大学的Daniel Scharstein和微软的Richard Szeliski在2002年发表的相关论文（因为是说数据集的操作，这里文字和如何丰富数据集可以参考这位大佬的内容74. 三维重建9-立体匹配5，解析MiddleBurry立体匹配数据集）
Middlebury Stereo Evaluation v.3Middlebury评估网站
网站说明链接如下:Middlebury Stereo Evaluation v.3 New Features
因为是英文的，所以可以自行翻译一下，大致说的内容为：
Datasets：数据由2 x 15 图像对组成，全分辨率下的最大视差范围为 200 到 800 像素，差异以浮点 PFM 格式存储。
Training and test sets：数据集分为包含 15 张图像的测试和训练集，对于训练集，有一个全自动的在线评估机制，这允许评估训练集上的结果并在与在线表格中所有其他提交的结果进行比较。此外，还在 SDK 中提供了评估代码来帮助算法开发和参数调整。
Resolution：提供 3 种分辨率的数据集（F 全分辨率、H 1/2分辨率和 Q1/4分辨率）。研究人员可以以任何分辨率提交他们的结果，但评估始终处于全分辨率。
Metadata：这部分是提交作者和提交内容的信息，包括参考文献，表格简介等等。
Dense vs. sparse disparity maps：为训练集和测试集各提供两个表，显示密集结果（每个像素都有一个视差估计值）和稀疏结果（对于未标记某些像素的方法，通常在半遮挡或无纹理区域）。支持提交密集、稀疏或两组结果。如果仅提供密集的结果，它们也用于稀疏图。如果只上传稀疏结果，我们会创建密集结果 使用简单的基于扫描线的孔填充。
在稀疏表中，可以显示无效像素的百分比。
Evaluation metrics：这里讲的是有关评估指标的东西。
Masks：评估使用的标记。
Overall ranking：关于排名的情况。
History of results：关于历史结果。
Visualization and interactive features：网站的可视化和交互功能。
SDK and cvkit：我们提供了包含代码和脚本的SKD 用于运行算法、评估其结果和创建 zip 结果存档，以上传到在线评估机制。还提供CVKIT，用于 PFM 的可视化和 3D 渲染的代码差异图。
对middlebury网站引用方式：
[1] D. Scharstein and R. Szeliski. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms.
International Journal of Computer Vision, 47(1/2/3):7-42, April-June 2002.
Microsoft Research Technical Report MSR-TR-2001-81, November 2001.
[2] D. Scharstein, R. Szeliski, and R. Zabih. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms.
In Workshop on Stereo and Multi-Baseline Vision (in conjunction with IEEE CVPR 2001), pages 131-140, Kauai, Hawaii, December 2001.
后续会更新如何线上评估和离线评估