超快速脉冲的仿生视觉系统的发展进步
芯片视觉系统电路是一种具有“检测存储计算”的综合智能视觉感知系统,可以完成对真实时间图像,信号处理和智能图像处理任务的获取。它可以广泛用于前卫领域,例如敏捷机器人,智能无人机和工业人工视觉。芯片中的现有视觉系统使用真实的多个位数来获取,传输和处理图像,并使用计算视觉和深度学习方法分别完成图像信号和智能认知处理任务的改进。它面临许多设计和应用程序挑战,包括两个阶段分离培训,数据流结构和处理范式的变化,高计算机复杂性,大芯片存储过载,大型过程延迟和大型能源消耗。中国科学学院半导体研究所的研究人员Liuyuan已取得了重要的进步在超快速芯片中仿生视觉系统电路设计领域的s。该团队以创新的方式设计了超快速速度的仿生脉冲视觉系统,该系统集成了独特的光子脉冲图像传感器和脉冲神经元网络处理器(图1)。单个Foton雪崩二极管像素(SPAD)生成快速脉冲的图像信号。极端到极端的脉冲神经元网络完成了图像信号和智能图像识别任务的改进,成功地实现了获取,传输和处理完整脉冲图像的能力。末端-To -end脉冲神经元网络集成了额叶图像的改进层和智能,有用的认知性深度学习,以在图像的改进和目标识别之间实现融合训练,提高推理的精度并减少参数的冗余性。图像改进层和智能认知层都e计算上的神经元模型可显着降低计算机单元的复杂性。重建处理单元在相同的计算并行性下完成了两个神经元网络层的完成,从而提高了硬件使用的效率,并在芯片中为超快速视觉系统的电路实现电路,而无需使用独立的图像信号处理器。比例是一条好路。视觉系统测试的最大图像速率为每秒100,000个脉冲图像帧,MNIST数据集的识别精度为99.2%,在1.43mlux的低照明条件下,最大识别率推断为10,000次,每秒10,000次,识别精度为95.3%。镶嵌色集的识别精度为94.3%。在保持相同的高识别精度的同时,此任务通过数量级降低了低光目标的照明水平。这项研究提供了新的边缘视觉设备的形式,以执行超云速度视觉系统集成的集成且高度集成的集成。先前研究的结果是否在IEEE中发表?固态电路杂志的标题为“ Bio Peak Vision Chip,灵感来自10,000个推论/s”,基于将SNN嵌入图像的迹象从极端变为极端。这项研究的发现是由Yang Xu和Liu Liyuan半导体的研究人员共同完成的。这项工作由国家自然科学基金会和北京自然基金会等项目提供资金。文章链接:https://doi.org/10.1109/jsc.2025.3583310?图1。超快速速度的视觉仿生脉冲系统及其信号流结构?图2。用照明的视觉系统的硬件照片测试和视觉系统视觉系统的识别精度
上一篇:哪些动态历史游戏很有趣?高下载的十大动态故
下一篇:没有了
下一篇:没有了