一种芯片字符识别与校验方法及装置的制造方法

一种芯片字符识别与校验方法及装置的制造方法
【技术领域】
[0001]本发明属于集成电路质量控制领域，更具体地，涉及一种芯片字符识别与校验方法及装置。
【背景技术】
[0002]集成电路芯片在电子行业中扮演者至关重要的作用，IC芯片的大规模制造降低了电子产品的价格。为了保证每一个IC芯片的质量，IC芯片生产过程中需要对芯片封装质量进行检测，主要包括检查尺寸和印刷标记。IC芯片字符实时检测的目的是根据已知的参考数字(已经给定的参考数字)，检测在芯片上激光打印的数字字符是否正确，由于IC芯片一般体积小，生产线速度快，难以提取清晰的字符轮廓以及字符特征，要实时的提取IC芯片上的字符并和标准字符进行比对，就要根据不同的字符特征进行合适字符提取，识别策略。
[0003]一般检测过程中，需要检测的IC芯片上字符主要是数字和英文字符，在同一种IC芯片上，字符的数目、大小、位置是相对固定的。放置IC芯片的传送带以一定的速度匀速运动，这样需要相机在运动时间内采集到每一张图片的图片，并对图像进行处理，提取字符，进行识别以及和标准字符进行比对。改校验的准确率要求大于99%。
[0004]一般的字符识别技术中，只是简单的对字符进行识别，而不对字符与标准字符进行比对，无法判断是否质量出错，并且一般的识别技术不针对IC芯片特定的字符印刷规贝1J，采用传统的字符提取技术对字符进行提取，不仅提取速度慢，而且误差比较大，不能满足实时、准确率高的要求。

【发明内容】

[0005]针对现有技术的以上缺陷或改进需求，本发明提供了一种芯片字符识别与校验方法及装置，其目的在于针对芯片字符，提供一套实时准确的字符识别方法及装置，实现芯片字符校验，由此解决现有的芯片字符校验速度慢、误差大，不能满足实时性、准确性要求的技术问题。
[0006]为实现上述目的，按照本发明的一个方面，提供了一种芯片字符识别方法，包括以下步骤:
[0007](I)芯片字符图像获取及预处理:获取芯片字符图像，并处理成二值化图像；
[0008](2)芯片字符分割:
[0009](2-1)行分割:对于步骤⑴中获得的二值化图像进行逐行扫描，统计图像每一行中的白色像素点的个数，将其中白色像素点的个数超过预设行间阈值的连续的行作为一个字符行；
[0010](2-2)列分割:对有步骤(2-1)中获得的每一个字符行进行逐列扫描，统计字符行每一列中的白色像素点的个数，将白色像素点的个数超过预设字间阈值的连续的列作为一个预字符图像；
[0011](2-3)字符分割:对于步骤(2-2)中获得的每一个预字符图像，统计其列数，将列数在标准字符列数范围之内的预字符图像作为单个字符图像；将列数低于标准字符列数范围下限的预字符图像，按照从左到右的顺序依次合并，直至其合并后字符图像的列数在标准字符列数范围之内，则合并后的字符图像作为单个字符图像；将列数高于标准字符列数范围上限的预字符图像，根据预设的字符间阈值拆分，直至每个拆分后的每一个字符图像的列数在标准字符列数范围之内，将拆分后的每一个字符图像作为单个字符图像；
[0012](3)芯片字符识别校验:将步骤(2)中获得的单个字符图像分别识别成单个字符，将字符组合成字符串。
[0013]优选地，所述芯片字符识别方法，其步骤(3)包括以下子步骤:
[0014](3-1)归一化处理:将步骤(2)中获得的单个字符图像，采用邻近差值法，保持字符长宽比不变，缩放为统一大小的归一化字符图像；
[0015](3-2)机器学习识别:采用模式识别的方法，以字符的网格特征和几何矩特征为模型特征，进行模式识别，将步骤(3-1)中获得的归一化字符图像识别为字符；
[0016](3-3)组合:将步骤(3-2)中的字符按照其自负图像的初始位置组合成字符串。
[0017]优选地，所述芯片字符识别方法，其步骤(I)包括以下子步骤:
[0018](1-1)芯片图像获取:将拍摄得到的芯片图像进行滤波处理得到滤波后的图像；
[0019](1-2)图像二值化处理:采用基于分块的大津法，对步骤(1-1)中滤波后的图像进行二值化，得到二值化图像。
[0020]按照本发明的另一方面，提供了一种芯片字符校验方法，应用所述芯片字符识别方法，将芯片字符识别成字符串后，与预设的字符串进行比较，得到校验结果。
[0021]按照本发明的另一方面，提供了一种应用所述的芯片字符校验方法的装置，包括照明装置、芯片承载台、图像采集装置、图像处理装置、以及报警装置；
[0022]所述芯片承载台，用于批量承载芯片，并按照芯片放置顺序相对于图像采集装置移动；
[0023]所述照明装置，设置在芯片承载台与图像采集装置之间；
[0024]所述图像采集装置，设置与芯片承载台待成像芯片正上方，用于对待成像芯片成像，并将图像数据传递给图像处理装置；
[0025]所述图像处理装置，用于存储标准字符串，接收芯片图像数据，并按照所述的芯片字符校验方法进行校验，将错误结果输出给报警装置；
[0026]所述报警装置，与图像处理装置数据连接，用于提示校验出错的芯片。
[0027]优选地，所述芯片识别装置，其照明装置为环形光，设置与芯片承载台待成像芯片的正上方。
[0028]总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果:
[0029](I)本发明提出了一种芯片字符识别与校验方法及装置，针对字符的三种情况:整体字符、粘连字符、断裂字符提出了三种不同的字符分割方法，针对性更强，提取速度快，鲁棒性更高，大大减少了字符的断裂和粘连问题对字符识别的影响。
[0030](2)本发明提供的装置，能获得较好的IC芯片字符图像，批量校对IC芯片标记问题，大大提高了生产效率。
【附图说明】
[0031]图1是实施例1中经过二值化后的图像；
[0032]图2是实施例1中行投影分布图；
[0033]图3是实施例1中经过行分割后的图像；
[0034]图4是实施例1中一行图像；
[0035]图5是实施例1中该行的列投影图像；
[0036]图6是实施例1中该行的预字符图像；
[0037]图7是实施例1中粘连字符的拆分后图像；
[0038]图8是实施例1中断裂字符的合并后图像；
[0039]图9是实施例2中芯片字符识别与校验装置图像。
[0040]在所有附图中，相同的附图标记用来表示相同的元件或结构，其中:1为照明装置，2为芯片承载台，3为图像采集装置，4为图像处理装置，5为报警装置。
【具体实施方式】
[0041]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0042]本发明提供的芯片字符识别方法，包括以下步骤:
[0043](I)芯片字符图像获取及预处理:获取芯片字符图像，并处理成二值化图像；
[0044](1-1)芯片图像获取:将拍摄得到的芯片图像进行滤波处理得到滤波后的图像；
[0045]滤波方法可以采用高斯滤波、中值滤波、双边滤波等。
[0046](1-2)图像二值化处理:采用基于分块的大津法，对步骤(1-1)中滤波后的图像进行二值化，得到二值化图像。
[0047]在芯片运动、光照不均以及芯片字符体积小，会造成采集的图像中芯片模糊残缺，同时会存在图片灰度值不均匀等问题，这样采用单一的大津法使用全局的阈值对芯片进行二值化处理会造成芯片字符分割不完整。基于分块的大津法是采用局部阈值，将图片分为几块，使用每块的阈值，对整幅图像进行二值化处理。
[0048](2)芯片字符分割:
[0049](2-1)行分割:对于步骤⑴中获得的二值化图像进行逐行扫描，统计图像每一行中的白色像素点的个数，将其中白色像素点的个数超过预设行间阈值的连续的行作为一个字符行；
[0050](2-2)列分割:对有步骤(2-1)中获得的每一个字符行进行逐列扫描，统计字符行每一列中的白色像素点的个数，将白色像素点的个数超过预设字间阈值的连续的列作为一个预字符图像；
[0051](2-3)字符分割:对于步骤(2-2)中获得的每一个预字符图像，统计其列数，将列数在标准字符列数范围之内的预字符图像作为单个字符图像；将列数低于标准字符列数范围下限的预字符图像，按照从左到右的顺序依次合并，直至其合并后字符图像的列数在标准字符列数范围之内，则合并后的字符图像作为单个字符图像；将列数高于标准字符列数范围上限的预字符图像，根据预设的字符间阈值拆分，直至每个拆分后的每一个字符图像的列数在标准字符列数范围之内，将拆分后的每一个字符图像作为单个字符图像；
[0052](3)芯片字符识别校验:将步骤(2)中获得的单个字符图像分别识别成单个字符，将字符组合成字符串。
[0053](3-1)归一化处理:将步骤(2)中获得的单个字符图像，采用邻近差值法，保持字符长宽比不变，缩放为统一大小的归一化字符图像；
[0054]插值点的4个邻点中距离最近的邻点灰度值作为该点的灰度值。设插值点(i，j)到周边 4 个邻点 fk(i，j) (k = 1,2,3,4)的距离为 dk(k = 1,2,3,4)，贝丨J:g(i, j) = fk(i，j)，dl = min{dl，d2，d3，d4}，I = 1，2，3，4。该步骤的目的是通过减小图片，降低字符图片特征的计算时间，满足IC芯片识别与校验的实时性要求。
[0055](3-2)机器学习识别:采用模式识别的方法，以字符的网格特征和几何矩特征为模型特征，进行模式识别，将步骤(3-1)中获得的归一化字符图像识别为字符；
[0056](3-3)组合:将步骤(3-2)中的字符按照其自负图像的初始位置组合成字符串。
[0057]本发明提供的芯片字符校验方法，应用所述芯片字符识别方法，将芯片字符识别成字符串后，与预设的字符串进行比较，得到校验结果。
[0058]本发明提供的芯片字符校验装置，如图9所示，包括照明装置、芯片承载台、图像采集装置、图像处理装置、以及报警装置；
[0059]所述芯片承载台，用于批量承载芯片，并按照芯片放置顺序相对于图像采集装置移动；
[0060]所述照明装置，设置在芯片承载台与图像采集装置之间；优选采用环形光，设置与芯片承载台待成像芯片的正上方。
[0061]采用的环形光源能够使360°均匀照射在IC芯片上，没有虚影产生，拍摄到的图像清晰度高。
[0062]所述图像采集装置，设置与芯片承载台待成像芯片正上方，用于对待成 像芯片成像，并将图像数据传递给图像处理装置；
[0063]所述图像处理装置，用于存储标准字符串，接收芯片图像数据，并按照本发明提供的芯片字符校验方法进行校验，将错误结果输出给报警装置；
[0064]所述报警装置，与图像处理装置数据连接，用于提示校验出错的芯片。报警装置的报警方式主要有红灯闪烁、警报器响起。
[0065]以下为实施例:
[0066]实施例1
[0067]一种芯片字符识别方法，包括以下步骤:
[0068](I)芯片字符图像获取及预处理:获取芯片字符图像，并处理成二值化图像；
[0069](1-1)芯片图像获取:采集待识别的IC芯片图片，对其进行高斯滤波。
[0070](1-2)图像二值化处理:使用大津法对滤波后的图像进行二值化处理，得到二值图像，如图1所示。图像中，前景(文字区域)和背景(空白区域)已经被不同颜色区分开，本图像中白色像素代表文字区域，黑色像素代表空白区域。
[0071](2)芯片字符分割:
[0072](2-1)行分割:对于步骤(I)中获得的二值化图像进行逐行扫描，统计图像每一行中的白色像素点的个数，将其中白色像素点的个数超过预设行间阈值的连续的行作为一个字符行；具体操作是:对图像每一行进行白像素数量统计，得到白像素水平方向投影直方图，每一行的投影值为该图中对应行中的白色像素点个数，选择合适的阈值，比如O，对白色像素点进行从左到右扫描，如果第η行投影值为O，第η+1行投影值>0，则第η+1行作为一行的起点；若第η行投影值>0，第η+1行投影值=0，则第η行作为一行的终点。按照此种方法，对图像从左到右进行分析，得到的投影图如图2所示、行分割后的图如图3所示，经过行分割后有三个单文本行。
[0073](2-2)列分割:对有步骤(2-1)中获得的每一个字符行进行逐列扫描，统计字符行每一列中的白色像素点的个数，将白色像素点的个数超过预设字间阈值的连续的列作为一个预字符图像；
[0074]具体操作是:对图像每一列进行白像素数量统计，得到白像素水平方向投影直方图，每一列的投影值为该图中对应行中的白色像素点个数，选择合适的阈值，比如0，对白色像素点进列从左到右扫描，如果第η列投影值为0，第η+1列投影值>0，则第η+1列作为一个预字符图像的起点；若第η列投影值>0，第η+1列投影值=0，则第η列作为一个预字符图像的终点。按照此种方法，对图4从左到右进行分析。其竖直投影图如图5所示，预字符图像，如图6所示。
[0075](2-3)字符分割:对于步骤(2-2)中获得的每一个预字符图像，统计其列数，将列数在标准字符列数范围之内的预字符图像作为单个字符图像；将列数低于标准字符列数范围下限的预字符图像，按照从左到右的顺序依次合并，直至其合并后字符图像的列数在标准字符列数范围之内，则合并后的字符图像作为单个字符图像；将列数高于标准字符列数范围上限的预字符图像，根据预设的字符间阈值拆分，直至每个拆分后的每一个字符图像的列数在标准字符列数范围之内，将拆分后的每一个字符图像作为单个字符图像；
[0076]具体操作如下:
[0077]Al:如图6得到预字符块，并标记为编号1-9，每个字符块宽度为CSW，按照标准字符宽度CW，将预字符图像分成3类，如果0.8CW〈CSW〈1.2CW,则该预字符块为标准字符块；如果CSW>1.6CW,则该预字符块为粘连字符块；如果CSW〈0.6CW,则该预字符块为断裂字符块；
[0078]A2:从左向右进行分析，对于粘连字符块，采取拆分方式，如图6中编号为I的字符块，其宽度1.6Cff<CSff<2.4CW，则将其分成两个字符块，如图7所示；
[0079]A3:对于断裂字符块，采用合并方式，如图6中编号为5、6的字符块，其宽度均是CSff<0.6CW，则将其合并成一个字符块，如图8所示
[0080]A4:完成整行图像中，粘连字符块的拆分及断裂字符块的合并，处理结果如图8所示;
[0081](3)芯片字符识别校验:将步骤(2)中获得的单个字符图像分别识别成单个字符，将字符组合成字符串。
[0082](3-1)归一化处理:将步骤(2)中获得的单个字符图像，采用邻近差值法，保持字符长宽比不变，缩放为统一大小的归一化字符图像；
[0083]插值点的4个邻点中距离最近的邻点灰度值作为该点的灰度值。设插值点(i，j)到周边 4 个邻点 fk(i，j) (k = 1,2,3,4)的距离为 dk(k = 1,2,3,4)，贝丨J:g(i, j) = fk(i，j)，dl = min{dl，d2，d3，d4}，I = 1，2，3，4。该步骤的目的是通过减小图片，降低字符图片特征的计算时间，满足IC芯片识别与校验的实时性要求。
[0084](3-2)机器学习识别:采用模式识别的方法，以字符的网格特征和几何矩特征为模型特征，使用SVM(支持向量机)进行识别进行模式识别，将步骤(3-1)中获得的归一化字符图像识别为字符；
[0085](3-3)组合:将步骤(3-2)中的字符按照其自负图像的初始位置组合成字符串。
[0086]一种芯片字符校验方法，应用所述芯片字符识别方法，将芯片字符识别成字符串后，与预设的字符串进行比较，得到校验结果:如果识别结果和标准结果不一致，则输出印刷错误标志，如果识别结果和标准结果一致，进行下一个芯片的检查。
[0087]实施例2
[0088]一种芯片字符校验装置，如图9所示，包括照明装置1、芯片承载台2、图像采集装置3、图像处理装置4、以及报警装置5 ;
[0089]所述芯片承载台2，用于批量承载芯片，并按照芯片放置顺序相对于图像采集装置3移动；
[0090]所述照明装置1，设置在芯片承载台2与图像采集装置3之间；采用两个条形光，设置与芯片承载台2待成像芯片的正上方。
[0091]采用的条形光源能够增强IC芯片标识的对比度，使得拍摄到的图像清晰度高。
[0092]所述图像采集装置3，设置与芯片承载台2待成像芯片正上方，用于对待成像芯片成像，并将图像数据传递给图像处理装置4 ;
[0093]所述图像处理装置4，用于存储标准字符串，接收芯片图像数据，并按照实施例1提供的芯片字符校验方法进行校验，将错误结果输出给报警装置5 ;
[0094]所述报警装置5，与图像处理装置4数据连接，用于提示校验出错的芯片。报警装置5的采用警报器。
[0095]本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种芯片字符识别方法，其特征在于，包括以下步骤: (1)芯片字符图像获取及预处理:获取芯片字符图像，并处理成二值化图像； (2)芯片字符分割: (2-1)行分割:对于步骤(I)中获得的二值化图像进行逐行扫描，统计图像每一行中的白色像素点的个数，将其中白色像素点的个数超过预设行间阈值的连续的行作为一个字符行； (2-2)列分割:对有步骤(2-1)中获得的每一个字符行进行逐列扫描，统计字符行每一列中的白色像素点的个数，将白色像素点的个数超过预设字间阈值的连续的列作为一个预字符图像； (2-3)字符分割:对于步骤(2-2)中获得的每一个预字符图像，统计其列数，将列数在标准字符列数范围之内的预字符图像作为单个字符图像；将列数低于标准字符列数范围下限的预字符图像，按照从左到右的顺序依次合并，直至其合并后字符图像的列数在标准字符列数范围之内，则合并后的字符图像作为单个字符图像；将列数高于标准字符列数范围上限的预字符图像，根据预设的字符间阈值拆分，直至每个拆分后的每一个字符图像的列数在标准字符列数范围之内，将拆分后的每一个字符图像作为单个字符图像； (3)芯片字符识别校验:将步骤(2)中获得的单个字符图像分别识别成单个字符，将字符组合成字符串。2.如权利要求1所述的芯片字符识别方法，其特征在于，所述步骤(3)包括以下子步骤: (3-1)归一化处理:将步骤(2)中获得的单个字符图像，采用邻近差值法，保持字符长宽比不变，缩放为统一大小的归一化字符图像； (3-2)机器学习识别:采用模式识别的方法，以字符的网格特征和几何矩特征为模型特征，进行模式识别，将步骤(3-1)中获得的归一化字符图像识别为字符； (3-3)组合:将步骤(3-2)中的字符按照其自负图像的初始位置组合成字符串。3.如权利要求1所述芯片字符识别方法，其特征在于，所述步骤(I)包括以下子步骤: (1-1)芯片图像获取:将拍摄得到的芯片图像进行滤波处理得到滤波后的图像； (1-2)图像二值化处理:采用基于分块的大津法，对步骤(1-1)中滤波后的图像进行二值化，得到二值化图像。4.一种芯片字符校验方法，其特征在于，应用如权利要求1至3所述的芯片字符识别方法，将芯片字符识别成字符串后，与预设的字符串进行比较，得到校验结果。5.一种应用如权利要求4所述的芯片字符校验方法的装置，其特征在于，包括照明装置(I)、芯片承载台(2)、图像采集装置(3)、图像处理装置(4)、以及报警装置(5); 所述芯片承载台(2)，用于批量承载芯片，并按照芯片放置顺序相对于图像采集装置移动； 所述照明装置(I)，设置在芯片承载台(2)与图像采集装置(3)之间； 所述图像采集装置(3)，设置与芯片承载台(2)待成像芯片正上方，用于对待成像芯片成像，并将图像数据传递给图像处理装置(4); 所述图像处理装置(4)，用于存储标准字符串，接收芯片图像数据，并按照权利要求4所述的芯片字符校验方法进行校验，将错误结果输出给报警装置(5); 所述报警装置(5)，与图像处理装置(4)数据连接，用于提示校验出错的芯片。6.如权利要求5所述的装置，其特征在于，所述照明装置(I)为环形光，设置与芯片承载台(2)待成像芯片的正上方。
【专利摘要】本发明公开了一种芯片字符识别与校验方法及装置。所述识别方法，包括以下步骤(1)芯片字符图像获取及预处理：获取芯片字符图像，并处理成二值化图像；(2)芯片字符分割：(3)芯片字符识别校验：将步骤(2)中获得的单个字符图像分别识别成单个字符，将字符组合成字符串。所述校验方法，按照所述识别方法识别字符串后与预设的字符串进行比较。所述装置包括照明装置、芯片承载台、图像采集装置、图像处理装置、以及报警装置。本发明提供的芯片字符识别与校验方法及装置针对性更强，提取速度快，鲁棒性更高，大大减少了字符的断裂和粘连问题对字符识别的影响。
【IPC分类】G06K9/34
【公开号】CN104881665
【申请号】CN201510217220
【发明人】杨华, 尹周平, 胡洋
【申请人】华中科技大学
【公开日】2015年9月2日
【申请日】2015年4月29日