최근 휴대폰 카메라로 촬영한 영상을 입력으로 사용하는 시스템에 대한 연구가 활발히 이루어지고 있다. 본 논문에서는 와인라벨의 문자를 인식한 후, 데이터베이스내의 와인이미지들 중에서 입력 와인라벨 이미지와 유사한 순서대로 사용자에게 보여주는 시스템을 제안한다. 이미지의 유사도 계산을 위해 본 논문에서는 이미지의 각 영역별 대표색상, 텍스트 영역의 텍스트 색상과 배경색상, 그리고 특징점의 분포를 특징으로 사용한다. 이미지의 색상차를 계산하기 위해 RGB색상을 CIE-Lab색상으로 변환하여 사용하고, 특징점은 해리스코너 검출 알고리즘을 사용하여 추출한다. 각 셀의 대표 색상차와 텍스트 색상차 및 배경색상차는 가중치를 적용하여 색상차 유사도를 계산하고 색상차 유사도와 특징점 분포 유사도를 정규화하여 최종 이미지 유사도를 구한다. 본 논문에서는 입력 이미지와 데이터베이스내의 이미지 간의 유사도를 계산하여 유사도 순으로 사용자에게 검색 결과를 보여줌으로써 검색 결과로부터 다시 최대 유사 와인라벨을 수동으로 찾는 노력을 줄일 수 있다.