이미지 기반 제품 표면 결함 탐지용 AI 모델 개발

Abstract

4차 산업혁명으로 인한 인공지능 기술은 산업에서 수집되는 다양한 형태의 빅데이터를 활용하여 공정의 운영최적화, 품질관리, 유지보수, 서비스 등의 산업의 전 분야에 널리 이용되고 있다. 수 많은 Open Source(Tensorflow, Keras 등)가 개발되고, 일반인들이 Deep Learning을 하는 것이 보편화 되고 있다. 또한 Machine Learning과 Deep Learning에 관한 연구들이 국내외로 활발하게 이루어지고 있다. 그 중에서도 인공지능 기술 중 하나인 CNN (합성곱 신경망, Convolutional Neural Network, 이하 CNN)은 영상 내에서 객체를 인식하는데 주로 활용된다. CNN의 경우 인공지능기술 분야 중 이미지 인식의 경우 이미 CNN이 인간의 판별 능력을 넘어서는 성능을 보이고 있다. 이러한 성능의 인공지능 기술을 개발하기 위해서는 충분한 양의 학습 데이터가 필요하다. 데이터가 대량으로 존재하더라도 CNN을 학습시키는데 필요한 데이터의 양이 어느 정도여야 만족할 만한 성능을 갖춘 모델을 개발할 수 있는 지에 대해서는 명확한 기준과 계산 방법이 없는 상황이다. 이러한 문제를 해결하기 위해 본 연구에서는 최소한의 노력으로 인공지능 모델 개발에 필요한 데이터를 수집하기 위한 축차적 실험계획법과 인공지능 모델 개발을 위한 방법을 제안한다. 본 연구에서 사용된 데이터는 자동차 글로우 플러그 생산 라인에서 수집된 제품 표면 이미지 데이터로 데이터 수집 시 주변 환경(조명, 기계의 정밀도 등)으로부터 노이즈가 생성될 수 있고, 결함특징이 두드러지지 않아 판별이 어려울 수 있어 이미지 전처리 작업을 통해 결함의 특징을 강화하였다. 부족한 데이터의 경우 전체 이미지 데이터 중 결함을 중심으로 주변부분을 Random Crop하여 추가로 생성하고, 전통적인 데이터 증식(Data Augmentation) 방법을 통해 데이터셋을 구성하였다. 또한, 3가지 형태로 수집되는 데이터의 형태학적 복잡도를 통계적 기법으로 분석하여 데이터의 유사도를 계산하고, 데이터의 복잡도에 따라 요구 성능을 만족시키는 모델을 개발하는데 있어 필요한 적정 데이터의 양을 결정하기 위해 축차적 실험계획을 기반으로 이미지 Deep Learning 모델 중에서 좋은 성능을 발휘하는 Vggnet, GoogleNet, Resnet을 전이학습 하였다. 모델의 성능에 대한 검증은 학습된 모델이 판별한 결과와 작업자가 판별한 결과를 비교/분석하여 확인하였다. 마지막으로 개발 방법론의 유효성 검증을 위해 3가지 다른 형태의 표면 결함 데이터를 제시하는 방법론을 기반으로 실험한 결과 CNN 모델을 전이학습하기 위해 필요한 데이터의 개수와 비슷한 데이터 양으로 목표 성능을 만족하는 모델을 개발 할 수 있었다. |Artificial intelligence technology due to the 4th industrial revolution is widely used in all fields of industries such as process optimization, quality control, maintenance, and service by utilizing various types of big data collected in the industry. Numerous Open Sources (Tensorflow, Keras, etc.) have been developed, and deep learning by the general public is becoming common. In addition, studies on machine learning and deep learning are being actively conducted at home and abroad. Among them, CNN [1] (Convolutional Neural Network, CNN), one of artificial intelligence technologies, is mainly used to recognize objects in an image. In the case of CNN, in the field of artificial intelligence technology, in the case of image recognition, CNN is already showing performance beyond human discrimination. [2] Sufficient amount of training data is needed to develop such artificial intelligence technology. [3] Even if there is a large amount of data, there is no clear standard and calculation method to determine the amount of data needed to train the CNN to develop a model with satisfactory performance. In order to solve these problems, this study provides a method for sequential experimental design and the development of artificial intelligence models to collect the data necessary for the development of artificial intelligence models with minimal effort. The data used in this study can generate noise from the surrounding environment (lighting, machine accuracy, etc.) when collecting the data on the image data of the surface of the product collected on the automobile glow production line. The feature of the defect was inconspicuous and difficult to discriminate, and the feature of the defect was reinforced through the pre-processing of the image. In the case of missing data, the peripheral part was additionally created by Random Crop centering on the defects in the entire image data, and the data set was constructed using the conventional data augmentation method. .. In addition, by analyzing the morphological complexity of the data collected in the three forms by statistical methods, calculating the similarity of the data, and developing a model that satisfies the required performance according to the complexity of the data. , Transferred learning Vggnet, GoogleNet, Resnet, which perform well in the image deep learning model, based on sequential experiment design to determine the amount of proper data required. The verification of the model performance was confirmed by comparing/analyzing the result determined by the learned model and the result determined by the operator. Finally, for verification of the development methodology, we conducted experiments based on the method of presenting three different types of surface defect data, and obtained the target performance with the same amount of data as required for transfer learning of the CNN model. We were able to develop a model that satisfied.