武汉艾崴为新疆研发一款FPGA的图像处理系统

新疆针对目前采用通用计算机、多ＣＰＵ并行、ＤＳＰ等方法实现实时图像处理的不足，武汉艾崴研究了一种基于ＦＰＧＡ的图像处理系统，由图像采集和图像处理基本算法两部分组成．图像采集选用 ＯＶ7670图像传感器，其内部集成了传感器及图像处理单元，可以直接输出数字信号给ＦＰＧＡ．图像处理选用 Ａｌｔｅｒａ公司的ＣｙｃｌｏｎｅＩＩ系列的 ＦＰＧＡ芯片，在芯片上完成了图像采集的控制，模拟了Ｉ２Ｃ总线协议，通过 设计ＦＰＧＡ的内部逻辑实现了图像灰度化、中值滤波、边缘检测等图像处理基本算法，使处理速度远远快于软件方法．仿真结果显示：该系统实现了实时图像的快速采集和处理，最高能达到３０帧／ｓ，并且分辨率为６４０×４８０。

图像采集与图像处理一直是比较热门的研究领域，涉及到信号处理、人工智能、模式识别等多种学科，主要应用在汽车电子、消费电子、安保监控、国防军工以及３Ｄ投影等领域。 随着信息技术的发展，对于图像的获取与处理的方案越来越多，例如专用模拟器件、ＡＳＩＣ 芯 片、ＤＳＰ芯片及 ＡＲＭ 芯片都能应用于图像处理领域．ＡＳＩＣ是专用集成电路，比较适合解决实时图像处理并且其处理速度快于ＦＰＧＡ，但其具有开发周期长、成本高以及设计出厂后不能根据需求进行修改、灵活性差等缺点．ＡＲＭ 和 ＤＳＰ还是一种 ＣＰＵ，其串行的结构并不适应某些实时性较强的图像处理算法。而 ＦＰＧＡ 可根据需求，通过设计完成不同功能的硬件电路，在设计中可采用流水线和并行处理的技术，使其在处理算法上具有高效性，并且其开发周期相对于 ＡＳＩＣ短，易于维护和拓展，在实时图像处理方面具有很大的优势，新疆目前多种图像处理算法如图像缩放、图像旋转、图像压缩、边缘检测、直方图均衡化、中值滤波都适合用ＦＰＧＡ处理，并且相关算法也在不断完善。综上所述，武汉艾崴在此研究基于ＦＰＧＡ的图像处理系统，并提出快速中值滤波和ｓｏｂｅｌ边缘检测算法的 ＦＰＧＡ 实现。

一、系统总体结构和工作原理

系统采用 OV7670数字图像传感器采集图像，图像处理以及其他控制模块采Altera 公司的CycloneII系列FGAP芯片，型号为EP2C8Q208C8，速度等级为8，最高工作频率为320MHz，有8256 个逻辑单元,采用一片64Mbit的SDRAM芯片存储图像，将最后处理后的图像输入到VGA显示．总体结构图如图１所示．

系统采用５０ ＭＨｚ晶振，上电后通过ＦＰＧＡ内部逻辑模拟的Ｉ２Ｃ协议对 ＯＶ７６７０图像传感器进行控制寄存器的配置，设定工作方式，设置输出图像格式为 ＹＣｂＣｒ４：２：２，即８ｂｉｔ亮度信号和８ｂｉｔ色度信号间隔输出．系统参数初始化后，ＦＰＧＡ 通过ＰＬＬ分频为图像传感器提供２５ＭＨｚ的时钟，实时读出行同步信号、帧同步信号、８ｂｉｔ图像数 据和像素时钟．格式转换模块接收 ＯＶ７６７０图像传感器传来的数据，间隔取８ｂｉｔ的亮度信号即８ｂｉｔ灰度图像数据，再送至数据缓冲和存取控制模块．由于图像采集模块采用的频率为２５ＭＨｚ，而 ＳＤＲＡＭ 控制模块采用的频率为１００ＭＨｚ，所以利用异步 ＦＩＦＯ 将数据暂存，并控制启动 ＳＤＲＡＭ 存储器的上电刷新操作，然后对ＳＤＲＡＭ 进 行 读 写，把 一 帧 图 像数据先写入ＳＤＲＡＭ，同时将图像数据送至图像处理模块，在该模块完成中值滤波或边缘检测．中值滤波和边缘检测都是基于方形窗口操作的，因此主要由三个模块实现：边缘检测功能模块，中值滤波功能模块，３×３方窗口生成模块．

本系统没有采用传统的中值滤波方法，而且是利用一种快速中值滤波的算法，通过多级流水的方式，加快了运算速度．边缘检测采用Ｓｏｂｅｌ算子来计算ｘ方向和ｙ 方向的导数值，然后将两个方向的导数值取绝对值相加，得到中心像素点的近似梯度．将处理完的图片数据再存入ＳＤＲＡＭ，最后利用乒乓操作，采用ＦＩＦＯ行缓存的方式，将ＳＤＲＡＭ 中处理完成的图片输出到 ＶＧＡ 显示．

系统中Ｉ２Ｃ 协议是一种串行通信总线，主要的用途在于控制芯片．Ｉ２Ｃ只使用两条双向线，分别为串行数 据 ＳＤＡ 及串行时钟ＳＣＬ，由一 个主控制端（Ｍａｓｔｅｒ）控制多个从设备（Ｓｌａｖｅ）．本系统中的主控制端是ＦＰＧＡ，从设备是 ＯＶ７６７０图像传感器.

二、 核心模块设计及仿真

2.1 IC控制模块设计及仿真

ＩＣ控制模块主要有三部分组成，分别为控制模块、功能模块和 ＲＯＭ 模块，其中：功能模块主要完成数据的并串转换，根据协议要求把控制模块输入的地址和数据转换成 ＳＤＡ／ＳＣＬ电平的高低变化；控制模块利用状态机的方式从 ＲＯＭ中读取配置好的数据，并将数据输给功能模块，同时输出激励信号，使功能模块工作．

ＩＣ控制模块仿真时序图如图２所示．图中是一次写操作，地址是０２Ｈ，写入数据是６ＦＨ．当ＳＣＬ为高电平时，ＳＤＡ拉低电平，即起始信号；然后发送８ｂｉｔ设备地址，收到设备应答信号 ＡＣＫ； 发送８ｂｉｔ寄存器地址０２Ｈ，收到应答信号；写入数据６ＦＨ，收到应答信号；最后当ＳＣＬ为高电平时，拉高ＳＤＡ，结束这次写操作．

2.2 窗模块实现及仿真

滑动窗操作是图像中值滤波和边缘检测的基础，它使用一个窗口，这个窗可以是一个点周围的特定长度或形状的邻域，来计算算法的输出．方形窗大小可自行确定，通常采用奇数大小的滑动窗口，本系统采用３×３方形窗．对每点邻域内的８个点和自身一共９个点进行图像处理相关计算．须要同一时刻将９个点的灰度数据输出，采用行缓存和列同步的方法．３×３方形窗生成模块结构图如图３所示．

如图３所示，图中 Ｄ是８ｂｉｔ的图像灰度数据，Ｌｉｎｅ－ Ｂｕｆｆｅｒ是 固 定深 度 的 ＦＩＦＯ，本研究采用 ２ 个 １０２４ｂｙｔｅ深 度 的 ＦＩＦＯ 作 为 行 缓 存，来缓存前２行的图像数据，当第３行数据输入时，通过列同步模块，将３×３方形窗内的９个像素的灰度数据同一时刻输出，以此类推，通过控制读写 ＦＩＦＯ，使其中的数据始终是输出当前行的前２行的图像数据，保证每一时刻有９个数据同时输出，整体是一个流水的架构．３×３方形窗生成模块仿真波形图如图４所示．

2.3快速中值滤波模块设计

中值滤波是一种常见图像预处理方 法，能 够有效地去除噪声，平滑图像，与均值滤波以及其他线性滤波器相比，它能够在去噪的同时不模糊图像的边缘，较好地保持图像的清晰度。

中值滤波算法是将３×３方形窗模块输出的９个像素的灰度数据进行比较排序，最后输出中间值．最原始的方法是冒泡排序法，通过计算，每执行一次算法，须要３６次比较，速度较慢．因此，本系统设计时采用快速中值滤波的方法，利用了并行和流水线的处理方法，完成一次中值滤波须要１９次比较，经过９个时钟的潜伏期以后每个时钟计算出一个结果，大大加快了中值滤波的计算速度．计算原理如图５所示，将窗模块输出的９个数据分３组（Ｃ１，Ｃ２，Ｃ３），每组３个数据按从大到小输出排 列，然 后 分 别 并 行 比 较 Ｃ１，Ｃ２ 和 Ｃ３中 的 ｍａｘ，ｍｉｄ和 ｍｉｄ和 ｍｉｎ，得到 ｍａｘ组中的最小值，ｍｉｄ组中 的中 间 值，ｍｉｎ组中 的最大值，最后将这３个 值 输 入 Ｃ 中，比 较 计算 得 出 中 间 值，即 为３×３方形窗的中心像素点经过中值滤波的结果．计算原理及过程如图５所示．

图５中有７个比较器，为自定义３输入３输出流水比较器，潜伏期３个时钟．采用冒泡排序，最后按从大到小输出．

三、仿真结果分析

由于图像处理的数据量大，采用 Ａｌｔｅｒａ公司的 ＥＰ２Ｃ８Ｑ２０８Ｃ８速度等级为８的 ＦＰＧＡ 芯 片，利用硬件逻辑的方式来并行处理的图像数据，相对于同等级或同工艺的 ＤＳＰ和 ＡＲＭ 等芯片，具 有运行效率高、速度快等优点．在中值滤波的实现中，采用本文方案，运行在５０ＭＨｚ就能快速实现该功能，而采用同工艺９０ｎｍ 的 ＤＳＰ要达到同样的速度须要运行在１．５ＧＨｚ的频率下。

在研究其他相关系统的基础上，该系统在图像处理模块采用了并行流水线的设计，并且在存取控制模块与图像处理模块之间、存取控制模块与数据采集模块之间均采用了异步 ＦＩＦＯ，用 于行缓存，因此图像采集和图像处理可并行执行，可达到实时图像处理的效果．ＯＶ７６７０ 输 出 ６４０×４８０分辨率３０帧／ｓ的数据，图像处理模块可实时完成中值滤波或边缘检测．

该系统设置了命令字控制字寄存器，外部处理器只须要给定系统合理的控制字命令字就能完成不同的功能，如根据需求设置处理图像的大小．该系统灵活度高，适用于多种不同要求的实时图像处理．

硬件处理方案中，仿真用 Ｍｏｄｅｌｓｉｍ ＳＥ１０.０ｃ得到逻辑电路运行算法所耗时间．由仿真结果可知：ＦＰＧＡ 芯片在５０ ＭＨｚ的频率下处理一幅６４０×４８０分辨率的８ｂｉｔ灰度级的图像，完成中值滤波运算耗时为６．１４４ｍｓ，完成边缘检测运算耗时为６．１４４ｍｓ，中值滤波潜伏期为２５．７８μｓ，边缘检测潜伏期为２５．７０μｓ．

下面给出软件方案的效率．使用 ＣＰＵ 为Ｉｎ－ｔｅｌＣｏｒｅ２且 频 率为２．２ＧＨｚ，内 存２ＧＢ，３２ｂｉｔＷＩＮ７操作系统的 ＰＣ 机，利用 Ｍａｔｌａｂ对同等分辨率的图像进行中值滤波和边缘检测仿真，结果显示：中值滤 波 运 算 时 间 为７１８ｍｓ，边 缘 检测 运算时间为６３２ｍｓ，相比而言，本系统对图像处理的硬件解决方案比软件方案快１００倍以上．

武汉艾崴研究设计的系统灵活，运行效率高，该系统为图像识别和其他高级图像算法的基础，具有较强的现实意义．