固有表現の抽出
有害事象の検知
自然言語処理を活用して有害事象を検知します。
課題
大手製薬企業は、SNSデータの有害事象（AE）の検知を目的としたNLPアルゴリズムの開発に取り組んでいます。 事前に定義されたデータを分類することで、患者が抱える特定の懸念事項を整理し、患者体験の向上を図ることを目的としています。 患者の体験と健康状態を改善し、有害事象（AE）の検知におけるフォルスネガティブ（偽陰性）の数を減らすために、1万件以上のSNSデータを分析する必要がありました。 特に慎重な対応が求められる医療分野のプロジェクトということもあり、弊社はすべての分類および検知作業を通して、全体で100の精度を目標としました。 通常の方法とは異なり、機械学習モデルが信頼できる分類結果を提供できない場合にのみ人間のレビューを利用するアプローチを採用することで、プロジェクトの拡張性は10倍に向上しました。
• • • •ソリューション• • • •
今回のプロジェクトは、100万人を超えるDataForceコミュニティから、指定された分野に精通したエキスパートを効率的に選定することから始まりました。 私たちは、スクリーニングされた候補者の中から、医薬品安全性監視の分野に経験をもつレビュー担当者を丁寧に選定し、徐々にチームを構築していきました。 また、専門家の監督、ブラインドアノテーションプロセス、カッパ係数などの特定の品質指標を組み合わせて採用することで、迅速な品質改善を実現しました。 また、プロジェクトの進捗に合わせてアノテーションチームを拡大したことで納品サイクルを短縮することができました。 当チームが数日間でレビューしたSNS投稿は何千件にも及びました。
アノテーションと分類の精度を確保するため、私たちは各タスクでダブルブラインドアノテーションを実行し、その後、徹底した品質管理を行いました。 結果の不一致があった場合はレビュアーによる調整を行い、各エントリの最終的な分類を導き出しました。
また、データセットの増加に対応するため、チームにフィードバックを迅速に提供し、SNS投稿内の特殊なケースや不測の事態にも対処できるようガイドラインを更新しました。 弊社のアノテーションプラットフォームであるDataForceは、あらゆるプロジェクトの変化にシームレスに対応し、常にモデルを改善し続けたことで、データセットの完成を実現させました。
お客様からは、従来の分類作業と比較して、今回確立した手法が拡張性と効率を大幅に向上させたと報告をいただいています。
DataForceは、全世界に100万人以上のメンバーと、250以上の言語を網羅する言語スペシャリストからなるグローバルコミュニティを擁しています。 DataForceは独自のプラットフォームですが、お客様やサードパーティのツールを使用することも可能です。 これにより、お客様のデータを常に管理下に置くことができます。