《DNESP32S3使用指南-IDF版_V1.6》第六十三章 运动侦测实验

正点原子

1）实验平台：正点原子ESP32S3开发板
2）购买链接：https://detail.tmall.com/item.htm?id=768499342659
3）全套实验源码+手册+视频下载地址：http://www.openedv.com/thread-347618-1-1.html
4）正点原子官方B站：https://space.bilibili.com/394620890
5）正点原子手把手教你学ESP32S3快速入门视频教程：https://www.bilibili.com/video/BV1sH4y1W7Tc
6）正点原子FPGA交流群：132780729

第六十三章 运动侦测实验

       乐鑫AI库中提供了一种名为运动侦测API接口的功能。该功能的原理非常简单：只需要获取两张图像数据，然后通过AI计算判断这两个图像是否匹配。如果图像不匹配，则说明当前处于运动状态；如果图像匹配，则说明当前图像处于相对静止状态。本章，我们调用乐鑫AI库的运动侦测API接口来实现运动侦测功能。
       本章分为如下几个部分：
       63.1 硬件设计
       63.2 软件设计
       63.3 下载验证

       63.1 硬件设计

       1. 例程功能
       本章实验功能简介：使用乐鑫官方的ESP32-WHO AI库对OV2640和OV5640摄像头输出的数据进行运动侦测。

       2. 硬件资源

       1）LED灯
              LED-IO1

       2）XL9555
              IIC_INT-IO0（需在P5连接IO0）
              IIC_SDA-IO41
              IIC_SCL-IO42

       3）SPILCD
              CS-IO21
              SCK-IO12
              SDA-IO11
              DC-IO40（在P5端口，使用跳线帽将IO_SET和LCD_DC相连）
              PWR- IO1_3（XL9555）
              RST- IO1_2（XL9555）

       4）CAMERA
              OV_SCL-IO38
              OV_SDA- IO39
              VSYNC- IO47
              HREF- IO48
              PCLK- IO45
              D0- IO4
              D1- IO5
              D2- IO6
              D3- IO7
              D4- IO15
              D5- IO16
              D6- IO17
              D7- IO18
              RESET-IO0_5（XL9555）
              PWDN-IO0_4（XL9555）

       3. 原理图
       本章实验使用的KPU为ESP32-S3的内部资源，因此并没有相应的连接原理图。

       63.2 软件设计

       63.2.1 程序流程图
       程序流程图能帮助我们更好的理解一个工程的功能和实现的过程，对学习和设计工程有很好的主导作用。下面看看本实验的程序流程图：

图63.2.1.1 程序流程图

       63.2.2 程序解析
       在本章节中，我们将重点关注两个文件：esp_motion_detection.cpp和esp_motion_detection.hpp。其中，esp_motion_detection.hpp主要声明了esp_motion_detection函数，其内容相对简单，因此我们暂时不作详细解释。本章节的核心关注点是esp_motion_detection.cpp文件中的函数。
       接下来，我们将详细解析esp_motion_detection_ai_strat函数的工作原理。

1. TaskHandle_t camera_task_handle;
   
2. TaskHandle_t ai_task_handle;
   
3. QueueHandle_t xQueueFrameO = NULL;
   
4. QueueHandle_t xQueueAIFrameO = NULL;
   
5. 
   
6. 
   
7. /**
   
8. * @brief       摄像头图像数据获取任务
   
9. * @param       arg：未使用
   
10. * @retval      无
    
11. */
    
12. static void esp_camera_process_handler(void *arg)
    
13. {
    
14.     arg = arg;
    
15.     camera_fb_t *camera_frame = NULL;
    
16. 
    
17.     while (1)
    
18.     {
    
19.         /* 获取摄像头图像 */
    
20.         camera_frame = esp_camera_fb_get();
    
21. 
    
22.         if (camera_frame)
    
23.         {
    
24.             /* 以队列的形式发送 */
    
25.             xQueueSend(xQueueFrameO, &camera_frame, portMAX_DELAY);
    
26.         }
    
27.     }
    
28. }
    
29. 
    
30. /**
    
31. * @brief       摄像头图像数据传入AI处理任务
    
32. * @param       arg：未使用
    
33. * @retval      无
    
34. */
    
35. static void esp_ai_process_handler(void *arg)
    
36. {
    
37.     arg = arg;
    
38.     camera_fb_t *face_ai_frameI = NULL;
    
39.     camera_fb_t *face_ai_frameI2 = NULL;
    
40. 
    
41.     while(1)
    
42.     {
    
43.         /* 以队列的形式获取摄像头图像数据 */
    
44.         if (xQueueReceive(xQueueFrameO, &face_ai_frameI, portMAX_DELAY))
    
45.         {
    
46.             if (xQueueReceive(xQueueFrameO, &face_ai_frameI2, portMAX_DELAY))
    
47.             {
    
48.                 /* 判断图像是否出现运动 */
    
49.                 uint32_t moving_point_number = dl::image::
    
50. get_moving_point_number(
    
51. (uint16_t *)face_ai_frameI->buf,
    
52. (uint16_t *)face_ai_frameI2->buf,
    
53. face_ai_frameI->height,
    
54. face_ai_frameI->width, 8, 15);
    
55. 
    
56.                 if (moving_point_number > 50)
    
57.                 {
    
58.                     printf("Something moved\r\n");
    
59.                     /* 此处是在图像中绘画检测效果 */
    
60.                     dl::image::draw_filled_rectangle(
    
61. (uint16_t *)face_ai_frameI2->buf,
    
62. face_ai_frameI2->height,
    
63. face_ai_frameI2->width, 0, 0, 40, 40);
    
64.                 }
    
65.                 else
    
66.                 {
    
67.                     printf("Something not moved\r\n");
    
68.                 }
    
69.                
    
70.                 esp_camera_fb_return(face_ai_frameI);
    
71.                 /* 以队列的形式发送AI处理的图像 */
    
72.                 xQueueSend(xQueueAIFrameO, &face_ai_frameI2, portMAX_DELAY);
    
73.             }
    
74.         }
    
75.     }
    
76. }
    
77. 
    
78. /**
    
79. * @brief       AI图像数据开启
    
80. * @param       无
    
81. * @retval      1：创建任务及队列失败；0：创建任务及对了成功
    
82. */
    
83. uint8_t esp_motion_detection_ai_strat(void)
    
84. {
    
85.     /* 创建队列及任务 */
    
86.     xQueueFrameO = xQueueCreate(5, sizeof(camera_fb_t *));
    
87.     xQueueAIFrameO = xQueueCreate(5, sizeof(camera_fb_t *));
    
88. xTaskCreatePinnedToCore(esp_camera_process_handler,
    
89.                        "esp_camera_process_handler", 4 * 1024, NULL,
    
90. 5, &camera_task_handle, 1);
    
91. xTaskCreatePinnedToCore(esp_ai_process_handler, "esp_ai_process_handler",
    
92. 6 * 1024, NULL, 5, &ai_task_handle, 1);
    
93. 
    
94.     if (xQueueFrameO != NULL
    
95.         || xQueueAIFrameO != NULL
    
96.         || camera_task_handle != NULL
    
97.         || ai_task_handle != NULL)
    
98.     {
    
99.         return 0;
    
100.     }
     
101.    
     
102.     return 1;
     
103. }

复制代码

       上述原理非常简单：只需要在ai_task_handle任务下获取两张图像数据，然后通过AI计算判断这两个图像是否匹配。如果图像不匹配，则说明当前处于运动状态；如果图像匹配，则说明当前图像处于相对静止状态，最后，我们使用消息队列将当前图像数据传输至LCD进行显示。

       63.3 下载验证
       程序下载成功后，当检测到图像变化时，图像左上角有蓝色块闪烁。