Extracción de entidades nombradas
Detección de eventos adversos
Utilización de procesamiento de lenguaje natural en la detección de eventos adversos
El problema
Nuestro cliente, una compañía farmacéutica líder, está desarrollando un algoritmo basado en procesamiento de lenguaje natural (NLP) para detectar eventos adversos en publicaciones de redes sociales. Su objetivo es clasificar entidades nombradas predefinidas por categorías para organizar y abordar inquietudes y experiencias específicas de los pacientes. Para ello, fue necesario analizar más de diez mil publicaciones en redes sociales, con el fin de mejorar la experiencia y la salud de los pacientes, así como reducir la cantidad de falsos negativos en la detección de eventos adversos. Dado el carácter médico y confidencial del proyecto, nuestra expectativa general era alcanzar un 100 % de precisión en todas las categorizaciones y detecciones. A diferencia de las prácticas actuales, este método de control de tipo humano en el bucle mejora la escalabilidad por un factor de 10, ya que solo requiere revisión humana cuando el modelo de aprendizaje automático no proporciona un resultado de clasificación confiable.
• • • •La solución• • • •
Para iniciar el proyecto, realizamos una selección eficiente de expertos en el tema dentro de la comunidad de DataForce, compuesta por un millón de personas. Formamos el equipo gradualmente con candidatos seleccionados y elegimos cuidadosamente a revisores con experiencia en farmacovigilancia. Se lograron mejoras en la calidad de manera rápida gracias a una combinación de supervisión experta, un proceso de anotación a ciegas y la implementación de indicadores específicos de calidad, como el coeficiente Kappa de Cohen. A medida que avanzaba el proceso de anotación, ampliamos el equipo de trabajo para reducir el tiempo de entrega. En solo unos días, nuestro equipo revisó miles de publicaciones en redes sociales.
Cada tarea fue sometida a anotación a doble ciego y rigurosos controles de calidad para garantizar precisión en la anotación y categorización. En caso de discrepancias, un revisor se encargaba de conciliarlas y realizar la categorización final para cada publicación.
Los equipos implementaban los comentarios de manera inmediata a medida que se disponía de más conjuntos de datos y se actualizaban las directrices para reflejar los casos atípicos y las experiencias imprevistas dentro de las publicaciones en redes sociales. Nuestra plataforma interna de anotaciones, DataForce, se adaptó sin problemas a todos los cambios del proyecto, lo que nos permitió completar el conjunto de datos con un modelo escalable de mejora continua.
El cliente nos informó que este modelo de tipo humano en el bucle resultó ser una opción más escalable y eficiente que la categorización manual tradicional.
DataForce cuenta con una comunidad global de más de 1,000 000 de miembros en todo el mundo y lingüistas expertos en más de 250 idiomas. DataForce cuenta con su propia plataforma, pero también puede utilizar herramientas del cliente o de terceros. De esta forma, sus datos están siempre bajo control.