Strategies to deal with Mislabeled Data

Abstract

머신러닝을 위한 분류기 학습 데이터에서 각 데이터의 클래스가 항상 정확할 수 없기 때문에 기계학습데이터 레이블링에 오류가 포함될 가능성이 높다. 예를 들어 의학 자동 진단 분야에 서, 질병의 분류 및 진단에 대한 오류가 포함될 가능성이 항상 존재한다. 기계학습 알고리즘 은 입력 데이터의 클래스 레이블링 정확도에 많은 영향을 받기 때문에, 분류기의 성능은 잠재 적인 오류들이 포함된 데이터들에 의해 결정이 된다. 본 논문에서는 기계학습 데이터에 오류 가 존재할 때, 이 오류를 인지하고, 제거하는 알고리즘을 제시한다. 이러한 오류 데이터들의 대부분은 기계학습에서 사용되는 분류기에 의해 명확하게 구분되지 않는 구간에 대부분 존재 한다는 것에 착안하여, 기계학습에 가장 많이 사용되는 SVM 분류기를 기준으로 학습데이터 의 유클리안 위치를 이용하여 오류가 포함되었을 가능성이 높은 데이터를 인지하는 방법과, 이와 반대로 SVM분류기에서 멀리 떨어져, 오류가 발생하지 않았을 가능성이 높은 데이터를 활용하여 오류가 포함되었을 가능성이 높은 데이터를 다시 레이블링하는 두가지 종류의 알고 리즘을 제시하였다. 제안된 방법들 여러 가지 종류의 데이터를 이용하여 효율적으로 레이블 링 에러를 제거할 수 있다는 것을 검증하였다.|Performance of machine learning classifiers is heavily dependent on labeling quality of datasets. Generally, human supervision is required for the labeling of instances in datasets. This labeling can be erroneous, and detecting such erroneous examples from the dataset is extremely important. In this work we discuss some of the machine learning approaches to deal with the problem of label noise in datasets. The experiments are conducted on some of the widely used datasets in the machine learning community. Firstly, a clustering based technique for relabeling of instances in datasets is studied. Secondly, a similarity based technique that utilizes the concept of Euclidean distance for cleaning of label noise. The instances having similar scores with positive and negative classes are selected for expert review. Lastly, an improved majority filter is proposed. Our experiments show that the improved majority filter is faster as compared to the conventional majority filter. We also compare the performance of proposed method with majority and consensus filter in terms of precision, recall and F_1 Score.