Python基于OpenCV监控老鼠蟑螂检测系统[完整源码＆部署教程]

1.视频演示：

[项目分享]Python基于OpenCV监控老鼠蟑螂检测系统[完整源码＆部署教程]_哔哩哔哩_bilibili

2.图片演示：

3.明厨亮灶：

餐饮企业的厨房卫生状况一直饱受消费者诟病，许多宾馆饭店大厅、包间富丽堂皇，然而，厨房却往往惨不忍睹。尤其是餐厅中出现老鼠的事故，最近几年频繁发生。有媒体曾经爆料过，著名的海底捞餐厅，甚至是快餐领域的巨头肯德基和麦当劳的厨房都出现了老鼠的踪迹。

明厨亮灶是国家食品药品监督管理局推行的一项利民工程，即让消费者坐在饭店 大厅或者包间，就可以通过透明玻璃或大屏幕将后厨的一举一动尽收眼底。此举既是督促 餐饮单位加强自律，也是鼓励他律，使餐饮单位全面接受消费者监督，主动保障饮食安全。随着视频分析以及人工智能技术的发展与进步，越来越多的事件可以通过视频监控实时进行检测与识别，通过视频分析可以对监控场景中的老鼠进行检测，同时可以实现对老鼠的踪迹进行记录、提前侦测深圳进行报警。

老鼠检测算法方案：

老鼠体积较小，另外厨房内安装的摄像头要同时兼顾监控录像功能，所以镜头几乎不会太大，即要看的场景视角要宽阔，所以送到算法模块中的帧图像中老鼠的成像面积都是很小的，所以基于这些限制条件，那么对于熟悉算法的人来说，几乎只有一种方案可选了。那就是：“运动目标检测+目标跟踪+目标分类”。
运动目标检测算法离不开背景建模，具体背景建模算法可以参考之前的文章：https://zhuanlan.zhihu.com/p/266800330

目标跟踪算法离不开简单使用的kalman，具体的跟踪算法可以参考之前的文章：

https://zhuanlan.zhihu.com/p/268758079

老鼠分类算法，基于传统的机器学习方法：adaboost、svm、dpm、xgboost等，速度快，但是准确率很难再提升上去；建议采用深度学习方法，比如resnet系列的网络，自己独立设计几层小网络，即可达到很好的效果。

老鼠加测分类网络，最近在github上查到一个较好的贡献，包括背景建模、分类模型、测试视频等全过程代码，非常感谢这位贡献者，但是实测下来，模型分类效果还是存在误报，所以距离落地还是有一定差距，关键是训练数据，因为夜间老鼠的数据还是很稀有的。Github链接：

https://github.com/isyanan1024/Mouse-detect
​github.com/isyanan1024/Mouse-detect

4.现有算法存在的缺陷：

老鼠检测在明初亮灶项目上几乎是必须的，虽然貌似比较简单，但是真正做到实用落地还是比较难的，所有人都知道背景建模误报多，但是还是离不开它，但是你要想在背景建模的算法上做出花样来，那几乎又不是太可能的，所以老鼠检测算法的方案也是把整个CV方案能用到的模块都遍历到了，至于最终效果，就需要一定的工程trick、策略等等。明厨亮灶：老鼠检测算法应用的几个落地难点介绍如下，后续有机会更新解决方法。

1、 老鼠样本数据少

厨房白天有人，老鼠不出来，所以老鼠检测都是没人的晚上用。晚上的厨房一般都是关灯的，几乎没有光线，需要摄像头红外补光来或许图像，所以真实应用时，摄像头图片都是灰度的，老鼠的两个眼睛都是白亮白亮的。因为数据的稀缺性，这就严重影响了算法的性能。

2、 误报多

其实算法初期的几个版本，误报多的几乎惨不忍睹，背景建模的副作用还是很大的，另外前期训练数据较少，分类效果不佳，去误报模块策略不完备，所以误报较多。

3、 应用推广难

其实这个需求，作为各个餐馆、食品厂的个体户或者老板，肯定是不希望安装这个老鼠检测的，因为会罚款。那么这个需求是谁提的呢，其实是各个地区的食药监，其实这个应用的真实需求是政府，那么想拿到这个需求单子就要政府打交道了，这就不是一般的集成商或者工程商可以拿到的了，所以也限制了一些算法公司开发的积极性。

5.本文算法原理：

为了解决上述困难，本文采用帧间差分法，又称移动侦测。移动侦测即是根据视频每帧或者几帧之间像素的差异，对差异值设置阈值，筛选大于阈值的像素点，做掩模图即可选出视频中存在变化的桢。帧差法较为简单的视频中物体移动侦测，帧差法分为：单帧差、两桢差、和三桢差。随着帧数的增加是防止检测结果的重影。

帧间差分法(Temporal Difference)

由于场景中的目标在运动，目标的影像在不同图像帧中的位置不同。该类算法对时间上连续的两帧或三帧图像进行差分运算，不同帧对应的像素点相减，判断灰度差的绝对值，当绝对值超过一定阈值时，即可判断为运动目标，从而实现目标的检测功能。

6.算法流程图：

7.代码实现：

def threh(video,save_video,thres1,area_threh):
 cam = cv2.VideoCapture(video)#打开一个视频
 input_fps = cam.get(cv2.CAP_PROP_FPS)
 ret_val, input_image = cam.read()
 index=[]
 images=[]
 images.append(input_image)
 video_length = int(cam.get(cv2.CAP_PROP_FRAME_COUNT))
 input_image=cv2.resize(input_image,(512,512))
 ending_frame = video_length
 fourcc = cv2.VideoWriter_fourcc(*'XVID')
 out = cv2.VideoWriter(save_video,fourcc, input_fps, (512, 512))
 gray_lwpCV = cv2.cvtColor(input_image, cv2.COLOR_BGR2GRAY)
 gray_lwpCV = cv2.GaussianBlur(gray_lwpCV, (21, 21), 0)
 background=gray_lwpCV

# es = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (9, 4))

 i = 0 # default is 0
 outt=[]
 while(cam.isOpened()) and ret_val == True and i <2999:
  ## if i % 2==1:
  ret_val, input_image = cam.read()
  input_image=cv2.resize(input_image,(512,512))
  gray_lwpCV = cv2.cvtColor(input_image, cv2.COLOR_BGR2GRAY)
  gray_lwpCV = cv2.GaussianBlur(gray_lwpCV, (21, 21), 0)
  diff = cv2.absdiff(background, gray_lwpCV)
  outt.append(diff)
  #跟着图像变换背景
  tem_diff=diff.flatten()
  tem_ds=pd.Series(tem_diff)
  tem_per=1-len(tem_ds[tem_ds==0])/len(tem_ds)
  if (tem_per <0.2 )| (tem_per>0.75):
   background=gray_lwpCV
  else:
   diff = cv2.threshold(diff, thres1, 255, cv2.THRESH_BINARY)[1]
   ret,thresh = cv2.threshold(diff.copy(),150,255,0)
   contours, hierarchy = cv2.findContours(thresh,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
  #  contours, hierarchy = cv2.findContours(diff.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
   for c in contours:
    if (cv2.contourArea(c) < area_threh) | (cv2.contourArea(c) >int(512*512*0.3) ) :  # 对于矩形区域，只显示大于给定阈值的轮廓（去除微小的变化等噪点）
     continue
    (x, y, w, h) = cv2.boundingRect(c) # 该函数计算矩形的边界框
    cv2.rectangle(input_image, (x, y), (x+w, y+h), (0, 255, 0), 2) 
    index.append(i)
  #  cv2.imshow('contours', input_image)
  #  cv2.imshow('dis', diff)
  out.write(input_image)
  images.append(input_image)
  i = i+1
 out.release()
 cam.release()
 return outt,index,images```
##调取函数
outt=threh('new_video.mp4','test6.mp4',25,3000)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55

8.系统整合：

9.完整源码&环境部署视频教程&自定义UI界面：

百度面包多搜索标题名即可下载源码

10.参考文献：

---

• [1]红外弱小目标检测算法综述[J]. 李俊宏,张萍,王晓玮,黄世泽. 中国图象图形学报. 2020(09)
• [2]新型光电探测技术在精确制导武器上的应用研究(特约)[J]. 宋闯,姜鹏,段磊,孙剑峰,范之国. 红外与激光工程. 2020(06)
• [3]基于FPGA的红外弱小目标检测算法[J]. 张延苏,吴滢跃. 红外技术. 2020(06)
• [4]一种基于差分滤波的红外舰船目标检测方法[J]. 修炳楠,吕俊伟,鹿珂珂. 指挥与控制学报. 2020(02)
• [5]激光干扰红外预警卫星的有效压制区研究[J]. 王枭,张宇令,李云成. 激光与红外. 2020(05)
• [6]基于匹配滤波的Gm-APD激光雷达三维重构算法研究[J]. 马乐,陆威,姜鹏,刘迪,王鹏辉,孙剑峰. 红外与激光工程. 2020(02)
• [7]基于改进候选区域网络的红外飞机检测[J]. 姜晓伟,王春平,付强. 激光与红外. 2019(01)
• [8]红外搜索跟踪系统探测距离缩比测试方法[J]. 谢飞,周德召,胡磊力,杜保林. 电光与控制. 2019(04)
• [9]红外成像/被动微波复合制导技术研究[J]. 夏团结,申涛,方珉,宋敏敏,刘会文. 红外技术. 2018(05)
• [10]机载红外搜索跟踪系统有效探测区域研究[J]. 王芳,罗寰,王海晏,寇添,寇人可. 激光与红外. 2018(05)