开启辅助访问

amobbs.com 阿莫电子技术论坛

登录 注册 找回密码
搜索
amobbs.com 阿莫电子技术论坛»论坛首页 › 商业论坛 › 正点原子 › 《DNESP32S3使用指南-IDF版_V1.6》第五十九章 人脸识别 ...
bottom↓
返回列表 发新帖
回复: 0
打印 上一主题 下一主题

《DNESP32S3使用指南-IDF版_V1.6》第五十九章 人脸识别实验

[复制链接]
正点原子

出0入234汤圆
跳转到指定楼层
1楼
发表于 2024-8-8 18:02:13 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式

1）实验平台：正点原子ESP32S3开发板
2）购买链接：https://detail.tmall.com/item.htm?id=768499342659
3）全套实验源码+手册+视频下载地址：http://www.openedv.com/thread-347618-1-1.html
4）正点原子官方B站：https://space.bilibili.com/394620890
5）正点原子手把手教你学ESP32S3快速入门视频教程：https://www.bilibili.com/video/BV1sH4y1W7Tc
6）正点原子FPGA交流群：132780729


第五十九章 人脸识别实验

       人脸识别是一种基于人的脸部特征信息进行身份识别的一种生物识别技术。它使用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术。本章，我们使用乐鑫AI库来实现人脸识别功能。
       本章分为如下几个部分：
       59.1 硬件设计
       59.2 软件设计
       59.3 下载验证

       59.1 硬件设计

       1. 例程功能
       本章实验功能简介：使用乐鑫官方的ESP32-WHO AI库对OV2640和OV5640摄像头输出的数据进行人脸识别。当长按BOOT按键时，录入当前对焦的人脸；当单击BOOT按键时，识别当前人脸，识别时需和人脸仓库中的人脸匹配；当双击BOOT按键时，删除当前人脸，但前提是这个张人脸之前已经在人脸仓库当中。

       2. 硬件资源

       1）LED灯
              LED-IO1

       2）XL9555
              IIC_INT-IO0（需在P5连接IO0）
              IIC_SDA-IO41
              IIC_SCL-IO42

       3）SPILCD
              CS-IO21
              SCK-IO12
              SDA-IO11
              DC-IO40（在P5端口，使用跳线帽将IO_SET和LCD_DC相连）
              PWR- IO1_3（XL9555）
              RST- IO1_2（XL9555）

       4）CAMERA
              OV_SCL-IO38
              OV_SDA- IO39
              VSYNC- IO47
              HREF- IO48
              PCLK- IO45
              D0- IO4
              D1- IO5
              D2- IO6
              D3- IO7
              D4- IO15
              D5- IO16
              D6- IO17
              D7- IO18
              RESET-IO0_5（XL9555）
              PWDN-IO0_4（XL9555）

       3. 原理图
       本章实验使用的KPU为ESP32-S3的内部资源，因此并没有相应的连接原理图。

       59.2 软件设计

       59.2.1 程序流程图
       程序流程图能帮助我们更好的理解一个工程的功能和实现的过程，对学习和设计工程有很好的主导作用。下面看看本实验的程序流程图：

图59.2.1.1 程序流程图

       59.2.2 程序解析
       在本章节中，我们将重点关注两个文件：esp_face_recognition.cpp和esp_face_ recognition.hpp。其中，esp_face_recognition.hpp主要声明了esp_face_recognition函数，其内容相对简单，因此我们暂时不作详细解释。本章节的核心关注点是esp_face_recognition.cpp文件中的函数。
       接下来，我们将详细解析esp_face_ recognition_ai_strat函数的工作原理。
  1. /**
  2. * @brief       AI图像数据开启
  3. * @param       无
  4. * @retval      1：创建失败；0：创建成功
  5. */
  6. uint8_t esp_face_recognition_ai_strat(void)
  7. {
  8.     /* 创建队列及任务 */
  9.     xQueueFrameO = xQueueCreate(5, sizeof(camera_fb_t *));
  10.     xQueueAIFrameO = xQueueCreate(5, sizeof(camera_fb_t *));
  11.     xQueueKeyState = xQueueCreate(1, sizeof(int *));
  12.     xQueueEventLogic = xQueueCreate(1, sizeof(int *));
  13.     xMutex = xSemaphoreCreateMutex();
  14.     /* 初始化按键 */
  15.     esp_key_init(GPIO_NUM_0);
  16.     /* 创建任务 */
  17.     xTaskCreatePinnedToCore(esp_key_trigger,"esp_key_scan",1024,NULL,5, NULL,0);
  18. xTaskCreatePinnedToCore(esp_event_generate, "event_logic",1024,NULL,
  19. 5, NULL,0);
  20. xTaskCreatePinnedToCore(esp_camera_process_handler, "esp_camera_process ",
  21. 4 * 1024, NULL, 5, &camera_task_handle, 1);
  22. xTaskCreatePinnedToCore(esp_ai_process_handler, "esp_ai_process_handler",
  23. 6 * 1024, NULL, 5, &ai_task_handle, 1);
  24. xTaskCreatePinnedToCore(esp_task_event_handler, "esp_task_event_handler",
  25. 4 * 1024, NULL, 5, NULL, 1);
  26.    
  27.     if (xQueueFrameO != NULL
  28.         || xQueueAIFrameO != NULL
  29.         || xQueueEventLogic != NULL
  30.         || camera_task_handle != NULL
  31.         || ai_task_handle != NULL)
  32.     {
  33.         return 0;
  34.     }

  36. return 1;
  37. }
复制代码
       在上述函数中，我们创建了四个消息队列以递交消息，并设置了一个互斥锁来防止任务优先级翻转。此外，还定义了五个任务：检测KEY按键状态（用于判断按键处于哪种状态，如长按、点击和双击等）、事件任务、摄像头获取任务、AI处理任务和按键扫描任务任务。
       下面作者分为介绍这些任务的实现流程，如下：

       1，检测KEY按键状态任务
  1. /**
  2. * @brief       按键扫描(判断短按、长按及双击状态)
  3. * @param       ticks_to_wait：等待时间
  4. * @retval      返回按键状态
  5. */
  6. int esp_key_scan(TickType_t ticks_to_wait)
  7. {
  8.     gpio_num_t io_num;
  9.     BaseType_t press_key = pdFALSE;
  10.     BaseType_t lift_key = pdFALSE;
  11.     int64_t backup_time = 0;
  12.     int64_t interval_time = 0;
  13.     static int64_t last_time = 0;

  15.     while (1)
  16.     {
  17.         xQueueReceive(gpio_evt_queue, &io_num, ticks_to_wait);

  19.         if (gpio_get_level(io_num) == 0)
  20.         {
  21.             press_key = pdTRUE;
  22.             backup_time = esp_timer_get_time();
  23.             interval_time = backup_time - last_time;
  24.         }
  25.         else if (press_key)
  26.         {
  27.             lift_key = pdTRUE;
  28.             last_time = esp_timer_get_time();
  29.             backup_time = last_time - backup_time;
  30.         }

  32.         if (press_key & lift_key)
  33.         {
  34.             press_key = pdFALSE;
  35.             lift_key = pdFALSE;

  37.             if (backup_time > LONG_PRESS_THRESH)
  38.             {
  39.                 return KEY_LONG_PRESS;
  40.             }
  41.             else
  42.             {
  43.                 if ((interval_time < DOUBLE_CLICK_THRESH)&&(interval_time > 0))
  44.                     return KEY_DOUBLE_CLICK;
  45.                 else
  46.                     return KEY_SHORT_PRESS;
  47.             }
  48.         }
  49.     }
  50. }

  52. /**
  53. * @brief       按键任务
  54. * @param       arg：未使用
  55. * @retval      无
  56. */
  57. static void esp_key_trigger(void *arg)
  58. {
  59.     arg = arg;
  60.     int ret = 0;

  62.     while (1)
  63.     {
  64.         ret = esp_key_scan(portMAX_DELAY);
  65.         xQueueOverwrite(xQueueKeyState, &ret);
  66.     }

  68.     vTaskDelete(NULL);
  69. }
复制代码
       在上述任务函数中，首先通过调用esp_key_scan函数获取按键的状态，包括长按、双击或点击等。然后，使用FreeRTOS API函数xQueueOverwrite将消息发送到事件任务中。

       2，事件任务
  1. /**
  2. * @brief       事件生成任务
  3. * @param       arg：未使用
  4. * @retval      无
  5. */
  6. void esp_event_generate(void *arg)
  7. {
  8.     arg = arg;
  9.     static key_state_t key_state;

  11.     while (1)
  12.     {
  13.         /* 接收状态 */
  14.         xQueueReceive(xQueueKeyState, &key_state, portMAX_DELAY);
  15.         /* 判断状态 */
  16.         switch (key_state)
  17.         {
  18.             case KEY_SHORT_PRESS:   /* 短按状态 */
  19.                 recognizer_state = RECOGNIZE;
  20.                 break;

  22.             case KEY_LONG_PRESS:    /* 长按状态 */
  23.                 recognizer_state = ENROLL;
  24.                 break;

  26.             case KEY_DOUBLE_CLICK:  /* 双击状态 */
  27.                 recognizer_state = DELETE;
  28.                 break;

  30.             default:
  31.                 recognizer_state = DETECT;
  32.                 break;
  33.         }
  34.         /* 发送状态 */
  35.         xQueueSend(xQueueEventLogic, &recognizer_state, portMAX_DELAY);
  36. }
  37. }
复制代码
       上述任务函数调用xQueueReceive函数接收KEY的消息，然后根据消息判断处于哪个事件状态，最后调用xQueueSend函数发送事件消息至按键扫描任务处理。

       3，按键扫描任务
  1. /**
  2. * @brief       按键扫描任务
  3. * @param       arg：未使用
  4. * @retval      无
  5. */
  6. static void esp_task_event_handler(void *arg)
  7. {
  8.     arg = arg;
  9.     recognizer_state_t _gEvent;

  11.     while (1)
  12.     {
  13.         xQueueReceive(xQueueEventLogic, &(_gEvent), portMAX_DELAY);
  14.         xSemaphoreTake(xMutex, portMAX_DELAY);
  15.         gEvent = _gEvent;
  16.         xSemaphoreGive(xMutex);
  17.     }
  18. }
复制代码
       该任务函数就是为了防止优先级翻转问题。

       4，摄像头任务
  1. /**
  2. * @brief       摄像头图像数据获取任务
  3. * @param       arg：未使用
  4. * @retval      无
  5. */
  6. static void esp_camera_process_handler(void *arg)
  7. {
  8.     arg = arg;
  9.     camera_fb_t *camera_frame = NULL;

  11.     while (1)
  12.     {
  13.         /* 获取摄像头图像 */
  14.         camera_frame = esp_camera_fb_get();

  16.         if (camera_frame)
  17.         {
  18.             /* 以队列的形式发送 */
  19.             xQueueSend(xQueueFrameO, &camera_frame, portMAX_DELAY);
  20.         }
  21.     }
  22. }
复制代码
       该任务函数最主要的作用是获取摄像头的图像数据，并发送图像数据至AI处理任务。

       5，AI处理任务函数
  1. /**
  2. * @brief       摄像头图像数据传入AI处理任务
  3. * @param       arg：未使用
  4. * @retval      无
  5. */
  6. static void esp_ai_process_handler(void *arg)
  7. {
  8.     arg = arg;
  9.     camera_fb_t *frame = NULL;
  10.     HumanFaceDetectMSR01 detector(0.3F, 0.3F, 10, 0.3F);
  11.     HumanFaceDetectMNP01 detector2(0.4F, 0.3F, 10);
  12.     FaceRecognition112V1S16 *recognizer = new FaceRecognition112V1S16();

  14.     show_state_t frame_show_state = SHOW_STATE_IDLE;
  15.     recognizer_state_t _gEvent;
  16. recognizer->set_partition(ESP_PARTITION_TYPE_DATA,
  17. ESP_PARTITION_SUBTYPE_ANY, "fr");
  18.     recognizer->set_ids_from_flash();

  20.     while(1)
  21.     {
  22.         xSemaphoreTake(xMutex, portMAX_DELAY);
  23.         _gEvent = gEvent;
  24.         gEvent = DETECT;
  25.         xSemaphoreGive(xMutex);

  27.         if (_gEvent)
  28.         {
  29.             bool is_detected = false;

  31.             if (xQueueReceive(xQueueFrameO, &frame, portMAX_DELAY))
  32.             {
  33.                 std::list<dl::detect::result_t> &detect_candidates =
  34. detector.infer((uint16_t *)frame->buf, {(int)frame->height,
  35. (int)frame->width, 3});
  36.                 std::list<dl::detect::result_t> &detect_results =
  37. detector2.infer((uint16_t *)frame->buf,
  38. {(int)frame->height,
  39. (int)frame->width, 3},
  40. detect_candidates);

  42.                 if (detect_results.size() == 1)
  43.                     is_detected = true;

  45.                 if (is_detected)
  46.                 {
  47.                     switch (_gEvent)
  48.                     {
  49.                         /* 注册 */
  50.                         case ENROLL:
  51.                             recognizer->enroll_id((uint16_t *)frame->buf,
  52. {(int)frame->height,
  53. (int)frame->width, 3},
  54. detect_results.front().keypoint,
  55. "", true);
  56.                             ESP_LOGW("ENROLL", "ID %d is enrolled",
  57. recognizer->get_enrolled_ids().back().id);
  58.                             frame_show_state = SHOW_STATE_ENROLL;
  59.                             break;
  60.                         /* 识别 */
  61.                         case RECOGNIZE:
  62.                             recognize_result = recognizer->recognize(
  63. (uint16_t *)frame->buf,
  64. {(int)frame->height,
  65. (int)frame->width, 3},
  66. detect_results.front().keypoint);
  67.                             print_detection_result(detect_results);
  68.                             if (recognize_result.id > 0)
  69.                                 ESP_LOGI("RECOGNIZE", "Similarity: %f, Match ID: %d",
  70. recognize_result.similarity, recognize_result.id);
  71.                             else
  72.                                 ESP_LOGE("RECOGNIZE", "Similarity: %f, Match ID: %d",
  73. recognize_result.similarity, recognize_result.id);
  74.                             frame_show_state = SHOW_STATE_RECOGNIZE;
  75.                             break;
  76.                         /* 删除 */
  77.                         case DELETE:
  78.                             vTaskDelay(10);
  79.                             recognizer->delete_id(true);
  80.                             ESP_LOGE("DELETE", "% d IDs left",
  81. recognizer->get_enrolled_id_num());
  82.                             frame_show_state = SHOW_STATE_DELETE;
  83.                             break;

  85.                         default:
  86.                             break;
  87.                     }
  88.                 }

  90.                 if (frame_show_state != SHOW_STATE_IDLE)
  91.                 {
  92.                     static int frame_count = 0;

  94.                     switch (frame_show_state)
  95.                     {
  96.                         /* 删除图像 */
  97.                         case SHOW_STATE_DELETE:
  98.                             esp_rgb_printf(frame, RGB565_MASK_RED,
  99. "%d IDs left",
  100. recognizer->get_enrolled_id_num());
  101.                             break;
  102.                         /* 图像识别 */
  103.                         case SHOW_STATE_RECOGNIZE:
  104.                             if (recognize_result.id > 0)
  105.                                 esp_rgb_printf(frame, RGB565_MASK_GREEN,
  106.                                               "ID %d",
  107. recognize_result.id);
  108.                             else
  109.                                 esp_rgb_print(frame, RGB565_MASK_RED, "who ?");
  110.                             break;
  111.                         /* 图像注册 */
  112.                         case SHOW_STATE_ENROLL:
  113.                             esp_rgb_printf(frame, RGB565_MASK_BLUE,
  114. "Enroll: ID %d",
  115. recognizer->get_enrolled_ids().back().id);
  116.                             break;

  118.                         default:
  119.                             break;
  120.                     }

  122.                     if (++frame_count > FRAME_DELAY_NUM)
  123.                     {
  124.                         frame_count = 0;
  125.                         frame_show_state = SHOW_STATE_IDLE;
  126.                     }
  127.                 }

  129.                 if (detect_results.size())
  130.                 {
  131.                     draw_detection_result((uint16_t *)frame->buf,
  132. frame->height, frame->width, detect_results);
  133.                 }
  134.             }

  136.             if (xQueueAIFrameO)
  137.             {

  139.                 xQueueSend(xQueueAIFrameO, &frame, portMAX_DELAY);
  140.             }
  141.             else if (gReturnFB)
  142.             {
  143.                 esp_camera_fb_return(frame);
  144.             }
  145.             else
  146.             {
  147.                 free(frame);
  148.             }
  149.         }
  150.     }
  151. }
复制代码
       上述任务函数主要负责处理图像数据，并将其提交给AI库进行处理。根据按键的不同状态，系统会执行不同的操作：

       1，如果长按按键，系统会将人脸数据传入分区表。

       2，如果点击按键，系统将当前识别的人脸与人脸库中的人脸进行对比。如果匹配成功，系统将提示人脸识别成功的信息。

       3，如果双击按键，系统同样会将当前识别的人脸与人脸库中的人脸进行对比。如果匹配成功，系统不仅会提示人脸识别成功的信息，还会从人脸库中删除匹配的人脸图像数据。

       59.3 下载验证
       如果在检测过程中发现人脸，需要长按BOOT按键，将人脸信息录入人脸存储区。当再次检测到人脸时，只需短按BOOT按键，系统就会识别当前的人脸（与存储区的人脸数据进行匹配）。如果识别成功，该系统会将人脸识别处理的图像数据显示在LCD上，否则，提示人脸识别失败，如下图所示。

图59.3.1 人脸识别效果图
正点原子ESP32

阿莫论坛20周年了！感谢大家的支持与爱护！！

阿莫论坛才是最爱国的，关心国家的经济、社会的发展、担心国家被别国牵连卷入战争、知道珍惜来之不易的和平发展，知道师夷之长，关注世界的先进文化与技术，也探讨中国文化的博大精深，也懂得警惕民粹主义的祸国殃民等等等等，无不是爱国忧民的表现。（坛友：tianxian）

相关帖子
回复

   举报本楼层   

返回列表 发新帖
回帖提示： 反政府言论将被立即封锁ID 。在按“提交”前，请自问一下：我这样表达会给举报吗，会给自己惹麻烦吗？ 另外：尽量不要使用Mark、顶等没有意义的回复。不得大量使用大字体和彩色字。【本论坛不允许直接上传手机拍摄图片，浪费大家下载带宽和论坛服务器空间，请压缩后（图片小于1兆）才上传。压缩方法可以在微信里面发给自己（不要勾选“原图），然后下载，就能得到压缩后的图片。注意：要连续压缩2次才能满足要求！！】。另外，手机版只能上传图片，要上传附件需要切换到电脑版（不需要使用电脑，手机上切换到电脑版就行，页面底部）。
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

手机版|Archiver|amobbs.com 阿莫电子技术论坛 ( 粤ICP备2022115958号, 版权所有：东莞阿莫电子贸易商行 创办于2004年 (公安交互式论坛备案：44190002001997 ) )

GMT+8, 2024-9-17 18:23

© Since 2004 www.amobbs.com, 原www.ourdev.cn, 原www.ouravr.com

快速回复 返回顶部 返回列表