用于AER图像传感器的多层卷积识别系统技术领域
本发明涉及图像处理识别领域，尤其涉及一种将基于事件的卷积运算和脉冲神经
网络用于目标图像的处理识别。具体讲,涉及用于AER图像传感器的多层卷积识别系统。
背景技术
AER(Address-Event Representation,AER，地址-事件表示)图像传感器可以有效
地降低数据冗余，具有超高速，高实时性等特点，研究与AER图像传感器相适应的特殊图像
后端处理芯片，可以摆脱“帧”的限制，以事件为研究对象，对前端传感器产生的事件流进行
实时接收和运算。
参考图1，图的上半部分表示传统图像传感器的图像采集传输过程，其以“帧”为单
位，只有达到一帧的周期才会输出图像，很难实现图像的实时处理。图的下半部分为AER图
像传感器的图像采集传输过程，AER图像传感器并没有帧的概念，当任何一个像素感受到光
强发生变化时，就立刻输出一个事件，可以实现事件的实时输出。
在基于帧的图像处理算法中，卷积处理算法是其中比较常用的一种，通过对每一
帧图像的卷积操作来实现特征的抽取和增强。由于AER图像传感器的上述特点，因此需要采
用与其相适应的卷积算法来实现事件的处理。
脉冲神经网络(SNN)被称作第三代神经网络，它代表着生物神经科学和人工神经
网络领域内的最新研究成果。SNN依据生物中观察到的LTP(Long Term Potentiation)、LTD
(Long Term Depression)、STDP(Spike Timing Dependent Plasticity)等现象，可以利用
脉冲发放的精确时间进行信息的处理。基于脉冲精确定时特性的脉冲神经网络拥有非常强
大的计算能力，可以模拟各种神经元信号和任意的连续函数，非常适用于信号的处理问题。
脉冲神经网络(SNN)不能直接用模拟量进行计算，其输入输出必须是脉冲序列。
AER(Address-Event Representation,AER，地址-事件表示)图像传感器的输出中
包含了事件的地址信息，时间信息，具有超高速，高实时性等特点。根据脉冲神经网络的数
据处理方式，可以将AER图像传感器的输出数据直接输入到脉冲神经网络中进行处理运算。
发明内容
为克服现有技术的不足，本发明旨在提出用于AER图像传感器的多层卷积识别技
术方案，用以实现减小计算量并提高识别的准确率。为此，本发明采用的技术方案是，用于
AER图像传感器的多层卷积识别系统，包括特征提取部分和识别部分，特征提取部分包含了
一个多层的卷积网络来实现特征的提取；识别部分包含了一个脉冲神经网络，对特征提取
部分提取出的特征进行分类识别。
特征提取部分包含一个三层的网络，分别称之为：第一层特征提取层T1，第二层特
征提取层T2，池化层P；T1，T2层分别包括了N1和N2个卷积模块，每个模块实现一种卷积核的
卷积功能；T1：层中采用Gabor函数来运算生成卷积核，Gabor函数的计算如公式(1) 所示：
其中μ和v分别代表生成的卷积核的横纵坐标，λ代表正弦函数波长；θ代表Gabor核
函数的方向，σ代表高斯函数的标准差，γ代表空间长宽比，决定Gabor函数的形状，μ0是横
坐标的转向坐标，ν0是纵坐标的转向坐标，在本层中，只选定一种尺度，每个卷积模块配置
一种角度的卷积核；T2：T2层会接收T1产生的脉冲序列，将接收到的脉冲序列分别输入不同
的通道，不同通道的每个卷积模块配置不同的卷积核，不同通道之间Gabor卷积核的尺度不
同，但每个通道内Gabor卷积核的尺度相同，卷积核的角度不同，该层所有通道使用的Gabor
卷积核尺度都比T1层小；池化层P：将T2层中产生的事件，按照其包含的地址坐标信息，划分
为多个相邻的不重叠4×4坐标区域，每个不重叠区域中选取最先产生的事件作为一个单
元，输出到识别部分，实现识别分类。
T2层共设置3个通道，每个通道卷积核尺度分别为3×3，5×5，7×7，每个通道又选
择4种不同的角度0°，45°，90°，135°，因此T2层总共采用12种卷积核。
识别部分包含一个脉冲神经网络层，称之为识别层R，原始待识别样本分为训练样
本和测试样本，训练样本和测试样本分别经过上述过程的处理，将训练样本的P层输出，输
入到识别层中，并采用Tempotron Learning Rule监督学习算法对该层脉冲神经元进行训
练，经过大量的训练后，将测试样本的P层输出，输入到该识别层中，测试识别的准确率。
本发明的特点及有益效果是：
本发明提出采用多层提取特征的方法，减小了识别层的计算量，脉冲神经网络可
以充分利用AER图像传感器输出事件中包含的时间信息，计算更加自由，提高识别的准确
率。
附图说明：
图1传统图像传感器与AER图像传感器对比。
图2 AER事件卷积过程
图3多层卷积识别系统结构图。
图4特征提取层。
具体实施方式
根据AER图像传感器的输出特点，本发明中采用的基于事件的卷积计算过程与传
统的卷积算法存在一定的差异。参考图2，是一种以AER为信息载体的卷积处理过程，在图2
最上方的图中，假设只有两个事件输出，AER图像传感器输出的事件信息中包含事件的地址
和时间信息，分别是100ns时(3,3)处和200ns时(2,3)处。图2中间两图是假定的卷积核矩
阵，是一个3×3的矩阵。图2最下方的四张图中，以事件所指示的地址为中心，卷积核被累
加到了卷积阵列中，实现了事件的卷积过程。
AER图像传感器的输出事件经过基于上述原理搭建的卷积模块就可以实现事件的
卷积操作。如图3所示，本发明采用的技术方案包含了两个主要部分：特征提取部分和识别
部分。特征提取部分包含了一个多层的卷积网络来实现特征的提取；识别部分包含了一个
脉冲神经网络，对特征提取部分提取出的特征进行分类识别。
特征提取部分包含一个三层的网络，分别称之为：第一层特征提取层T1，第二层特
征提取层T2，池化层P。T1，T2层分别包括了N1和N2个卷积模块，每个模块实现一种卷积核的
卷积功能。T1：层中采用Gabor函数来运算生成卷积核，Gabor函数的计算如公式(1)所示：
μ0＝μcosθ+νsinθ
ν0＝-μsinθ+νcosθ (1)
其中μ和v分别代表生成的卷积核的横纵坐标，λ代表正弦函数波长；θ代表Gabor核
函数的方向，σ代表高斯函数的标准差，γ代表空间长宽比，决定Gabor函数的形状，μ0是横
坐标的转向坐标，ν0是纵坐标的转向坐标，在本层中，只选定一种尺度，每个卷积模块配置
一种角度的卷积核。T2：T2层会接收T1产生的脉冲序列，将接收到的脉冲序列分别输入不同
的通道，不同通道的每个卷积模块配置不同的卷积核，不同通道之间Gabor卷积核的尺度不
同，但每个通道内Gabor卷积核的尺度相同，卷积核的角度不同，该层所有通道使用的Gabor
卷该层所有通道使用的Gabor卷积核尺度都比T1层小。T2层共设置3个通道，每个通道卷积
核尺度分别为3×3，5×5，7×7，每个通道又选择4种不同的角度0°，45°，90°，135°，因此T2
层总共采用12种卷积核。池化层P：将T2层中产生的事件，按照其包含的地址坐标信息，划分
为多个相邻的不重叠4×4坐标区域，每个不重叠区域中选取最先产生的事件作为一个单
元，输出到识别部分，实现识别分类。
识别部分包含一个脉冲神经网络层，称之为识别层R。原始待识别样本分为训练样
本和测试样本，训练样本和测试样本分别经过上述过程的处理，将训练样本的P层输出，输
入到识别层中，并采用Tempotron Learning Rule监督学习算法对该层脉冲神经元进行训
练，经过大量的训练后，就可以将测试样本的P层输出，输入到该识别层中，测试识别的准确
率。
本发明提出采用多层提取特征的方法，减小了识别层的计算量，脉冲神经网络可
以充分利用AER图像传感器输出事件中包含的时间信息，计算更加自由，提高识别的准确
率。
下面给出本发明的一个实施例，通过实施例进一步详细说明本发明。在实施例中：
特征提取部分，特征提取层1(T1)中采用Gabor公式计算的值作为卷积核，公式(1)中的λ＝
5，σ＝2.8，卷积核的尺度设为9×9，共设置12个角度，如图3所示，每个子图上方的黑色斜线
段表示卷积核的角度。特征提取层T2层包含不同的输入通道，每个通道都会接收T1产生的
脉冲序列，每个通道会使用相同尺度但是不同角度的Gabor函数计算的卷积核，但是不同通
道之间Gabor函数的尺度也会不同，该层所有通道使用的Gabor卷积核尺度都比T1层小，可
以提取更为精确的特征信息。特征提取层2(T2)设置3个通道，公式(1)中的λ＝5，σ＝2.8，每
个通道卷积核尺度分别为3×3，5×5，7×7，每个尺度又选择4种不同的角度0°，45°，90°，
135°，因此T2层总共采用12种卷积核。池化层P：将T2层中产生的事件，按照其包含的地址坐
标信息，划分为多个相邻的不重叠4×4区域，每个不重叠区域中选取最先产生的事件作为
一个单元，输出到识别部分，实现识别分类，此过程相当于卷积神经网络中的池化过程。
识别部分，原始待识别样本(图片)分为训练样本和测试样本，训练样本和测试样
本分别经过上述过程的处理。将训练样本的P层输出，输入到识别层中，并采用Tempotron
Learning Rule监督学习算法对该层脉冲神经元进行训练，经过大量的训练后，就可以将测
试样本的P层输出，输入到该识别层中，测试识别的准确率，该层的相关参数按照经验值设
置即可。