검색 관련성 평가, 온라인 데이터 순위 지정

다국적 기술 기업을 위한 온라인 데이터 평가 및 검증

• • • •솔루션• • • •

프로젝트 초기 단계에서 50명이 채 되지 않았던 평가자 그룹이 매일 20% 증가하여 6개월도 지나기 전에 교육을 받고 활동하는 평가자 수가 총 1,500명이 되었습니다. 프로젝트가 고도화된 사양에 따라 점차 성장하면서, DataForce는 현지 인력을 지속적으로 조달하고 있으며 다양한 프로젝트별 교육 프로그램을 제공하고 있습니다. 온보딩 외에, 담당 팀은 평가자들과 지속적으로 커뮤니케이션하고 있으며 피드백이 있거나 문제가 생기는 경우 이를 위한 티켓팅 시스템을 제공합니다. 고객사가 설정한 가이드라인을 준수하면서 고객사의 기대치와 일치하는 강도 높은 품질 보증(QA) 프로세스가 수립되었습니다. 가이드라인에는 평가자의 속도와 사기 방지 조치(IP 점검, 이력서 인증 등)를 평가하기 위한 여러 다양한 계층의 QA가 포함되며, 이와 동시에 커뮤니티 구성원에 대한 격주 보수 지급 및 성과 보고가 이루어지도록 합니다.

프로젝트의 몇 가지 예를 들자면 다음과 같습니다.

• 관심 지점: 위치별 데이터 확인(영업시간, 주소 등)-검색: 정확한 최신의 결과를 확인하는 검색 결과의 검증
• 제품 식별: 의류, 액세서리, 식품 등 다양한 제품의 검증 및 비교를 통해 검색 결과가 링크, 제품 설명, 색상, 스타일 등과 일치하는지 확인
• 자동 완성: 약어가 관련되어 있는 쿼리를 작성하거나 진술을 완료할 때 시스템 예측을 검증하여 질문하는 내용을 시스템이 이해하는지 확인
• 감정 분석: 텍스트 데이터를 검토하고 이에 대해 긍정적, 부정적, 중립적 분류로 태그를 지정함으로써 AI 시스템을 텍스트 이면의 감정으로 교육
• 팟캐스트: 평가자는 오디오 파일의 텍스트 기반 시놉시스를 제공받으며, 반드시 텍스트를 검토하고 팟캐스트를 청취하여 해당 카피가 팟캐스트에서 하는 이야기와 일치하는지 확인
• 오디오 품질 평가: 텍스트 음성 변환 모델을 위한 음향 품질 평가를 통해 출력이 자연스럽게 들리는지(고품질) 아니면 로봇처럼 들리는지(저품질) 확인
• 불쾌한 콘텐츠 모더레이션: 다양한 검색 결과에 표시되어야 하는 이미지, 영상, 오디오, 텍스트 데이터의 부단한 식별 및 평가를 통해 성인물, 헤이트 스피치, 기타 유해한 동기와 같은 부적절한 온라인 콘텐츠 완화

이 프로젝트를 진행하면서, DataForce는 계속해서 구체적으로 제공된 가이드라인을 철저히 따라서 고객의 모델 향상을 지속적으로 지원하는 동시에, 지역적으로 분산되어 있는 전 세계의 평가자 네트워크를 소집하고 교육할 것입니다.