텍스트 어노테이션

초대형 석유 회사를 위한 소셜 미디어 분류

• • • •솔루션• • • •

DataForce는 130만 명 이상의 기여자로 구성된 글로벌 커뮤니티 데이터베이스를 활용하여, 2주의 일정으로 관련 기술과 배경을 갖춘 11명의 팀을 신속하게 확보하여 교육했습니다. 분류 작업을 위한 7명의 어노테이터, 2명의 검토자와 더불어, 일정, 교육, 예산, 그 외 모든 특이사항이 충족되도록 전담 프로젝트 관리자와 코디네이터가 배정되었습니다. 각 트윗은 트윗마다 다양한 인식을 보장하기 위해 당사의 독점 어노테이션 플랫폼을 통해 두 명의 다른 어노테이너에게 배정되었습니다. 의견이 다른 경우, 그 결과는 QA 검토자에게 할당되었습니다. QA 검토자가 초기 분류의 모호성을 제거하고 트윗을 어노테이터의 관점과 함께 해석하여 고객으로부터 받은 지침에 따라 분류를 결정합니다.

주관성이 높은 작업임을 고려하여, 정확한 작업 진행을 위하여 250개 트윗을 포함한 데이터세트의 일부를 먼저 분류하고 전달했습니다. 파일럿 작업을 완료하고 고객과 결과에 대해 논의한 후, 가이드라인을 한층 더 세심하게 조정하고 교육 지침을 명확히 한 후 1,926개 트윗 전체의 분석에 돌입했습니다. 첫 250개 트윗에 대한 검토를 통해 상호 간에 가이드라인을 분석하고 분류 내용을 재평가할 기회를 가졌고 이를 통해 결국 고객이 원하는 결과를 얻을 수 있도록 조기에 프로젝트를 조정할 기회가 주어졌다는 사실은 주목할 만한 부분입니다.

고객은 프로젝트 개시 후 8주 이내에 어노테이션한 최종 데이터를 받았을 뿐만 아니라 고객의 선호 사항에 맞게 구축한 맞춤형 대시보드 덕분에 쉽게 결과를 확인할 수 있었습니다.

최종 납품 후, 라벨 표시 및 분류된 데이터세트 덕분에 모델 성능이 눈에 띄게 향상되었다는 칭찬이 담긴 피드백을 고객으로부터 받았습니다. DataForce는 자랑스럽게도 고객이 데이터세트 결과의 품질에 매우 만족했음을 나타내는 100% 승인 점수를 받았습니다.