要设计一个4k 60的摄像系统，FPGA 和DSP 两种方案哪种更合适

ackyee · 发表于 2020-5-12 10:17:22

如题摄像头  还在选型
目前暂时定下来的是  摄像头用的MIPI 的方案，然后系统最终输出是HDMI 2.0 4K 60hz

现在的想法是       MIPI  ------>  (MIPI 转 LVDS ) -------->FPGA--------->（LVDS转hdmi 2.0）
但是去别家了解到的方案是    处理器用的专用的DSP去进行设计的

系统因为要用于医疗所以对实时性要求比较高    但是因为要做白平衡  色彩亮度等的菜单  需要在图像上做OSD菜单  用FPGA需要自己去实现算法会相对复杂一些
不知道大家有什么建议没有

另这个系统用ZYNQ来做会不会更有优势

xyz543 · 发表于 2020-5-12 10:21:24

每次见着楼主这血管灯都十分佩服。

ackyee · 发表于 2020-5-12 10:28:16

本帖最后由 ackyee 于 2020-5-12 10:29 编辑

xyz543 发表于 2020-5-12 10:21
每次见着楼主这血管灯都十分佩服。

已经过去好多年了最后效果还是很给力的放一些图上来

wye11083 · 发表于 2020-5-12 10:48:12

本帖最后由 wye11083 于 2020-5-12 10:50 编辑

色彩亮度之类的fpga更有优势，资源消耗不多，统计几个值丢给软核算就行了，延迟个200ms更新一下参数问题都不大，如果算法不太复杂，一个小容量片子如lx25＋俩ddr3就足够折腾了，内存带宽有3gb以上，带4k60还是可以的。dsp得选一个非常牛批的。。

对了，mipi不需要专门转lvds，除非你速率非常高。s6可以做到800mbps封顶，7系列可以摸到1.6gbps单lane，也就是s6可以做到3.2gbps总带宽。我这边默认用的是600mbps。稳定性没发现问题。

prow · 发表于 2020-5-12 10:49:06

1、FPGA+ti 6678，这个方案比较简单常见
2、Zynq，得选性能高一点的，ZYNQ7000应该不行，得用UltraScale或UltraScale+，成本要高一些
3、Jetson AGX Xavier，英伟达的嵌入式平台，最近计划研究一下

ackyee · 发表于 2020-5-12 11:03:54

wye11083 发表于 2020-5-12 10:48
色彩亮度之类的fpga更有优势，资源消耗不多，统计几个值丢给软核算就行了，延迟个200ms更新一下参数问题都 ...

感谢前辈，顺便请教下如果 mipi 直连FPGA 只要接普通的GPIO就行了还说说要接到 FPGA上的GTX/GTH这样的高速收发器专用口上？

ackyee · 发表于 2020-5-12 11:08:17

prow 发表于 2020-5-12 10:49
1、FPGA+ti 6678，这个方案比较简单常见
2、Zynq，得选性能高一点的，ZYNQ7000应该不行，得用UltraScale或U ...

请教下如果FPGA+ti6678这个方案那FPGA应该只是作为采集用了处理部分还是有6678来处理

qianj1986 · 发表于 2020-5-12 11:08:32

ackyee 发表于 2020-5-12 10:28
已经过去好多年了最后效果还是很给力的放一些图上来

震撼级的

我在想带着这个去医院注射的时候使用，会不会很拉风

prow · 发表于 2020-5-12 11:13:14

ackyee 发表于 2020-5-12 11:08
请教下如果FPGA+ti6678这个方案那FPGA应该只是作为采集用了处理部分还是有6678来处理 ...

对啊，跑算法还是用处理器方便一些
我一般只用FPGA做接口，不像wye11083大神，一片FPGA什么都能搞定

wye11083 · 发表于 2020-5-12 11:19:03

ackyee 发表于 2020-5-12 11:03
感谢前辈，顺便请教下如果 mipi 直连FPGA 只要接普通的GPIO就行了还说说要接到 FPGA上的GTX/GTH这 ...

普通差分对，不过ck最好连到gclk上。后面要做边沿跟踪，所以要配成clock continuous mode。实在不行的话还可以考虑前面加个crosslink，这货有俩mipi dphy，可以到6gbps总带宽每个，转成lvds很方便。

用serdes反而不方便。

xyz543 · 发表于 2020-5-12 11:19:16

ackyee 发表于 2020-5-12 10:28
已经过去好多年了最后效果还是很给力的放一些图上来

哇！真是了不起。我后来才知道我们的院内只要有抽血部门就都会有一只血管灯 AccuVein 备而不用，据说一只还不便宜，是要好几十万 RMB 啊？！
我就问了抽血师说，有这么方便的机器为何不用呢？她却回我说，这东西在教学上是很好的设备，但实际上却无法标明血管在皮肤下的距离，所以还是要靠人眼及经验才能下针，听了后恍然！呵呵～

qtechzdh · 发表于 2020-5-12 11:37:10

ackyee 发表于 2020-5-12 10:28
已经过去好多年了最后效果还是很给力的放一些图上来

您真是人类进步的工程师。

ackyee · 发表于 2020-5-12 12:49:32

xyz543 发表于 2020-5-12 11:19
哇！真是了不起。我后来才知道我们的院内只要有抽血部门就都会有一只血管灯 AccuVein 备而不用，据说一只 ...

确实这个只能起到辅助的作用最终还是需要医生来进行判断的深度这些信息无法反映出来而且用了这些有些医生反而不会打针了

ackyee · 发表于 2020-5-12 12:52:36

prow 发表于 2020-5-12 10:49
1、FPGA+ti 6678，这个方案比较简单常见
2、Zynq，得选性能高一点的，ZYNQ7000应该不行，得用UltraScale或U ...

查了下您的TI 6678 裸片 1000+

我还是选择大逻辑门的FPGA 来搞吧

ackyee · 发表于 2020-5-12 12:53:17

wye11083 发表于 2020-5-12 11:19
普通差分对，不过ck最好连到gclk上。后面要做边沿跟踪，所以要配成clock continuous mode。实在不行的话 ...

前辈请问下您对FPGA那么了解平常是从事FPGA哪块领域的

wye11083 · 发表于 2020-5-12 12:54:54

ackyee 发表于 2020-5-12 12:53
前辈请问下您对FPGA那么了解平常是从事FPGA哪块领域的

我靠fpga吃饭。。

ackyee · 发表于 2020-5-12 13:03:05

wye11083 发表于 2020-5-12 11:19
普通差分对，不过ck最好连到gclk上。后面要做边沿跟踪，所以要配成clock continuous mode。实在不行的话 ...

GCLK 是指CLK专属引脚吧

还有一个请教下 DDR 的IP核官方需要购买的吗还是直接可以用

wye11083 · 发表于 2020-5-12 13:21:48

ackyee 发表于 2020-5-12 13:03
GCLK 是指CLK专属引脚吧

还有一个请教下 DDR 的IP核官方需要购买的吗还是直接可以用 ...

xilinx是免费的。altera应该也是免费的。安路没有，需要自己写。

ztg328 · 发表于 2020-5-12 19:17:24

hi3519a 搞起

ackyee · 发表于 2020-5-12 20:06:26

ztg328 发表于 2020-5-12 19:17
hi3519a 搞起

还要跑操作系统吗？玩不溜呀

ocam-vesta · 发表于 2020-7-10 18:42:10

ackyee 发表于 2020-5-12 20:06
还要跑操作系统吗？玩不溜呀

楼主这个4K60 RAW数据需要10bit还是12bit？医疗一般是12bit吧，4lane mipi的速率会到1.782Gbps，估计得用KU系列的FPGA了；sensor距离主板有多远？涉及到MIPI传输距离问题，一般MIPI的传输距离就几十厘米，特别是这个速率还比较高，估计更短。对最终的图像质量有要求吗？例如降噪，增强之类。如果要用FPGA来做ISP图像处理，就不是这么容易的事情。

要设计一个4k 60的摄像系统，FPGA 和DSP 两种方案哪种更合适

阿莫论坛20周年了！感谢大家的支持与爱护！！

本帖子中包含更多资源