实现快速的人脸追踪，用什么方案性价比高、易开发？

xxdd · 发表于 2020-6-20 18:03:51

功能需求是，双目摄像头在180帧率（分辨率1280x720)下捕捉人脸图像，然后通过算法实时定位到运动状态下的人脸位置。
为了达到最快的系统实时响应速度，需要处理器在5.5ms的时间内计算出结果
有没有坛友有这方面经验？请教一下，实现这个系统用什么方案性价比高和易开发一些？

lstc · 发表于 2020-6-22 08:29:59

这套硬件不便宜哦，这个5.5ms咋确定的？估计要上rtx的卡了，原理都是现成的，集成调优要费点精力。

lstc · 发表于 2020-6-22 08:30:54

ar？vr？这么高的帧率。

prow · 发表于 2020-6-22 09:31:42

你这属于目标识别+图像跟踪
图像跟踪一般有这几种平台：
1、FPGA+DSP，帧频最高、延时最小。我们最高能到1000hz，1ms延时。但没办法运行常用的图像处理库，所以识别需要加其他处理器（一般是windows跑深度学习，把识别结果传给嵌入式平台，然后嵌入式平台实时跟踪）；
2、ARM平台，比如海思3559，英伟达Jetson AGX Xavier；有别的项目组在用，但180Hz好像也有点困难。优点是识别+跟踪都能做，价格便宜。
3、windows平台，延时太大，只有延时要求不高的场合才用

xxdd · 发表于 2020-6-22 09:31:59

lstc 发表于 2020-6-22 08:29
这套硬件不便宜哦，这个5.5ms咋确定的？估计要上rtx的卡了，原理都是现成的，集成调优要费点精力。 ...

目前系统的采集帧率是180Hz，需要每帧图像都输出有效结果，1秒/180=5.5ms

xxdd · 发表于 2020-6-22 09:45:28

prow 发表于 2020-6-22 09:31
你这属于目标识别+图像跟踪
图像跟踪一般有这几种平台：
1、FPGA+DSP，帧频最高、延时最小。我们最高能到10 ...

请教一下，用Xilinx的Zynq平台，相当于双核ARM+FPGA，你觉得能否满足这种应用需求？
你们公司是做哪方面产品的，看有没有机会合作一下，我们公司缺少这方面经验，感觉自己开发有点吃力

lkm_unication · 发表于 2020-6-22 09:59:08

xxdd 发表于 2020-6-22 09:45
请教一下，用Xilinx的Zynq平台，相当于双核ARM+FPGA，你觉得能否满足这种应用需求？
你们公司是做哪方面 ...

1500+ FPS！目前最快的CNN人脸检测算法开源

如上面网友所说，PC端部署，设备端只接收结果。

prow · 发表于 2020-6-22 10:00:24

xxdd 发表于 2020-6-22 09:45
请教一下，用Xilinx的Zynq平台，相当于双核ARM+FPGA，你觉得能否满足这种应用需求？
你们公司是做哪方面 ...

zynq7000做不到，同事做过实验，性能太差了
ultrascale+倒可以试一试，无论是arm核还是外置存储器都比zynq7000好太多了

我们是研究所，做军工方面的光电系统，不太容易合作~

prow · 发表于 2020-6-22 10:05:18

lkm_unication 发表于 2020-6-22 09:59
1500+ FPS！目前最快的CNN人脸检测算法开源

如上面网友所说，PC端部署，设备端只接收结果。 ...

还要注意一点，虽然很多算法号称几百fps，上千fps，但仅仅是算法时间，没有考虑对应平台上的图像输入延时，操作系统调度延时等等。

xxdd · 发表于 2020-6-22 10:43:29

prow 发表于 2020-6-22 10:05
还要注意一点，虽然很多算法号称几百fps，上千fps，但仅仅是算法时间，没有考虑对应平台上的图像输入延时 ...

如果只是跑算法，用裸奔不行吗？加了操作系统，确实增加了系统调度延迟

prow · 发表于 2020-6-22 11:23:55

xxdd 发表于 2020-6-22 10:43
如果只是跑算法，用裸奔不行吗？加了操作系统，确实增加了系统调度延迟 ...

我们用的是fpga+dsp平台，都是裸奔。dsp平台用不用操作系统差别不大。
但如果你用arm平台，不上操作系统的话没办法用各种资源丰富的库跑高大上的算法。所以就要权衡一下看用简单的算法能不能满足项目需求。
不上操作系统想做好图像识别基本不可能，但图像跟踪没问题

lstc · 发表于 2020-6-22 12:19:59

xxdd 发表于 2020-6-22 09:31
目前系统的采集帧率是180Hz，需要每帧图像都输出有效结果，1秒/180=5.5ms

180fps那么高的帧率，嵌入式平台够呛，引入dsp开发成本太高，难度大、周期不好把控。

还有很多算法fps惊人，但是没有考虑整体耗时，所以容易误导。

如果你是AR 或者VR 的话，移动平台扛不住，估计只有windows+rtx显卡来做。而且时间、难度相对可控，适用于短平快的项目，如果准备细心打磨的话可以考虑dsp。

电话13683408356，有兴趣可以聊聊。

lstc · 发表于 2020-6-22 12:21:40

prow 发表于 2020-6-22 10:00
zynq7000做不到，同事做过实验，性能太差了
ultrascale+倒可以试一试，无论是arm核还是外置存储器都比zyn ...

成都光电所？

prow · 发表于 2020-6-22 12:39:23

lstc 发表于 2020-6-22 12:21
成都光电所？

长春光机所

xxdd · 发表于 2020-6-22 15:57:54

lstc 发表于 2020-6-22 12:19
180fps那么高的帧率，嵌入式平台够呛，引入dsp开发成本太高，难度大、周期不好把控。

还有很多算法fps惊 ...

我们就是要移动平台的，只做到跟踪人脸即可，不要识别人脸是谁的
私信你了，加微信聊聊吧

lstc · 发表于 2020-6-22 16:43:13

prow 发表于 2020-6-22 10:00
zynq7000做不到，同事做过实验，性能太差了
ultrascale+倒可以试一试，无论是arm核还是外置存储器都比zyn ...

正好刚买了个ultrascale v2 我试试看。

实现快速的人脸追踪，用什么方案性价比高、易开发？

阿莫论坛20周年了！感谢大家的支持与爱护！！