《DNK210使用指南 -CanMV版 V1.0》第四十四章 人脸68关键点检测实验

正点原子

1）实验平台：正点原子DNK210开发板
2）购买链接：https://detail.tmall.com/item.htm?id=782801398750
3）全套实验源码+手册+视频下载地址：http://openedv.com/thread-348335-1-1.html
4）正点原子官方B站：https://space.bilibili.com/394620890
5）正点原子手把手教你学DNK210快速入门视频教程：https://www.bilibili.com/video/BV1kD421G7fu
6）正点原子FPGA交流群：132780729

第四十四章 人脸68关键点检测实验

       在上一章节中，介绍了利用maix.KPU模块实现了人脸属性分析，本章将继续介绍利用maix.KPU模块实现的人脸68关键点检测。通过本章的学习，读者将学习到人脸68关键点检测应用在CanMV上的实现。
       本章分为如下几个小节：
       44.1 maix.KPU模块介绍
       44.2 硬件设计
       44.3 程序设计
       44.4 运行验证

       44.1 maix.KPU模块介绍
       有关maix.KPU模块的介绍，请见第39.1小节《maix.KPU模块介绍》。

       44.2 硬件设计

       44.2.1 例程功能
       1. 获取摄像头输出的图像，并送入KPU进行人脸检测，接着对检测到的人脸分别进行人脸68关键点检测，最后将所有的检测结果和原始图像一同在LCD上进行显示。

       44.2.2 硬件资源
       本章实验内容，主要讲解maix.KPU模块的使用，无需关注硬件资源。

       44.2.3 原理图
       本章实验内容，主要讲解maix.KPU模块的使用，无需关注原理图。

       44.3 程序设计

       44.3.1 maix.KPU模块介绍
       有关maix.KPU模块的介绍，请见第44.1小节《maix.KPU模块介绍》。

       44.3.2 程序流程图

图44.3.2.1 人脸68关键点检测实验流程图

       44.3.3 main.py代码
       main.py中的脚本代码如下所示：

1. import lcd
   
2. import sensor
   
3. import gc
   
4. from maix import KPU
   
5. 
   
6. lcd.init()
   
7. sensor.reset()
   
8. sensor.set_framesize(sensor.QVGA)
   
9. sensor.set_pixformat(sensor.RGB565)
   
10. sensor.set_hmirror(False)
    
11. 
    
12. anchor = (0.1075, 0.126875, 0.126875, 0.175, 0.1465625, 0.2246875, 0.1953125, 0.25375, 0.2440625, 0.351875, 0.341875, 0.4721875, 0.5078125, 0.6696875, 0.8984375, 1.099687, 2.129062, 2.425937)
    
13. names = ['face']
    
14. 
    
15. # 构造并初始化人脸检测KPU对象
    
16. face_detecter = KPU()
    
17. face_detecter.load_kmodel("/sd/KPU/face_detect_320x240.kmodel")
    
18. face_detecter.init_yolo2(anchor, anchor_num=len(anchor) // 2, img_w=320, img_h=240, net_w=320, net_h=240, layer_w=10, layer_h=8, threshold=0.5, nms_value=0.2, classes=len(names))
    
19. 
    
20. # 构造并初始化人脸68关键点检测KPU对象
    
21. lm68_kpu = KPU()
    
22. lm68_kpu.load_kmodel("/sd/KPU/landmark68.kmodel")
    
23. 
    
24. # 按指定比例扩展矩形框
    
25. def extend_box(x, y, w, h, scale):
    
26.     x1 = int(x - scale * w)
    
27.     x2 = int(x + w - 1 + scale * w)
    
28.     y1 = int(y - scale * h)
    
29.     y2 = int(y + h - 1 + scale * h)
    
30.     x1 = x1 if x1 > 0 else 0
    
31.     x2 = x2 if x2 < (320 - 1) else (320 - 1)
    
32.     y1 = y1 if y1 > 0 else 0
    
33.     y2 = y2 if y2 < (240 - 1) else (240 - 1)
    
34.     return x1, y1, x2 - x1 + 1, y2 - y1 + 1
    
35. 
    
36. while True:
    
37.     img = sensor.snapshot()
    
38.     face_detecter.run_with_output(img)
    
39.     faces = face_detecter.regionlayer_yolo2()
    
40.     for face in faces:
    
41.         # 框出人脸位置
    
42.         x, y, w, h = extend_box(face[0], face[1], face[2], face[3], 0.08)
    
43.         img.draw_rectangle(x, y, w, h, color=(0, 255, 0))
    
44.         # 计算人脸68关键点
    
45.         face_img = img.cut(x, y, w, h)
    
46.         resize_img = face_img.resize(128, 128)
    
47.         resize_img.pix_to_ai()
    
48.         output = lm68_kpu.run_with_output(resize_img, getlist=True)
    
49.         for i in range(len(output) // 2):
    
50.             point_x = int(KPU.sigmoid(output[2 * i]) * w + x)
    
51.             point_y = int(KPU.sigmoid(output[2 * i + 1]) * h + y)
    
52.             img.draw_cross(point_x, point_y, size=5, color=(0, 0, 255))
    
53.         del face_img
    
54.         del resize_img
    
55.     lcd.display(img)
    
56.     gc.collect()

复制代码

       可以看到一开始是先初始化了LCD和摄像头，并分别构造并初始化了用于人脸检测和人脸68关键点检测的KPU对象。
       然后便是在一个循环中不断地获取摄像头输出的图像，首先将图像进行人脸检测，检测图像中存在的人脸，接着对人脸图像进行68关键点检测，分析出人脸68关键点的位置，最后将以上所有的分析检测结果在图像上进行绘制，然后在LCD上显示图像。

       44.4 运行验证
       将DNK210开发板连接CanMV IDE，点击CanMV IDE上的“开始(运行脚本)”按钮后，将摄像头对准人脸，让其采集到人脸图像，随后便能在LCD上看到摄像头输出的图像，同时能看到图像上标注了人脸位置和人脸68关键点位置等信息，如下图所示：

图44.4.1 LCD显示人脸68关键点检测实验结果