使用卷积神经网络和 OpenCV 实时求解数独(教程含源码)

一旦我决定检查是否可以使用机器学习和图像处理实时解决数独问题。本来以为2-3小时就可以搞定，因为现成的库可以满足各种需求。剧透：我的估计大错特错，但它最终变成了一个有趣的教程。

数独是一种基于逻辑的游戏。游戏的想法是将数字放在 9x9 网格上，使每一列、每一行和每个 3x3 子网格都包含从 1 到 9 的所有数字。实时找到数独解决方案需要几个步骤，这将在这篇文章中被描述：

• 从网络摄像头实时获取图像帧。我想通过将相机对准数独板来找到解决方案。这也提出了一些性能要求，例如，视频帧率不应低于 15 fps。
• 在每一帧上找到数独板的轮廓。有现成的轮廓检测算法，但图像可能包含许多额外的细节，其中一些是不需要的，我们需要过滤它们。
• 从板上提取单个数字图像并识别它们。神经网络可以识别图像上的数字，但我们需要为其准备数据。
• 如果可能的话，为董事会寻找解决方案。
• 将数字放回显示的图像上。我们在屏幕上看到的是网络摄像头流。为了让这个过程更有趣，我们将把缺失的数字放在它们应该在原始板上的相同位置。

寻找数独板

对于第一个测试，我只是从维基媒体网页上截取了随机数独板的屏幕截图：

让我们使用 OpenCV 加载图像：

import cv2
img = cv2.imread("sudoku.png")
1
2

预处理有两个步骤。首先，我需要获得数独板的轮廓。为此，我使用了Canny 边缘检测和 OpenCV 中的findContours方法࿱