Los modelos de lenguaje avanzados (LLM) son algoritmos avanzados de aprendizaje profundo que pueden analizar indicaciones en varios lenguajes humanos, generando posteriormente respuestas realistas y exhaustivas. Esta prometedora clase de modelos de procesamiento de lenguaje natural (NLP) se ha vuelto cada vez más popular después del lanzamiento de la plataforma ChatGPT de Open AI, la cual puede responder rápidamente a una amplia gama de consultas de usuarios y generar textos escritos convincentes para diferentes usos. A medida que estos modelos se vuelven cada vez más comunes, es de suma importancia evaluar sus capacidades y limitaciones. Estas evaluaciones pueden ayudar a comprender en qué situaciones los LLM son más o menos útiles, además de identificar formas en las que se podrían mejorar.
Juliann Zhou, investigadora en la Universidad de Nueva York, llevó a cabo recientemente un estudio con el objetivo de evaluar el rendimiento de dos LLM entrenados para detectar sarcasmo humano, que implica transmitir ideas declarando irónicamente lo contrario de lo que se pretende decir. Sus hallazgos, publicados en el servidor de preimpresión arXiv, le ayudaron a delinear características y componentes algorítmicos que podrían mejorar las capacidades de detección de sarcasmo tanto de los agentes de inteligencia artificial como de los robots.
«En el campo del análisis sentimental del Procesamiento de Lenguaje Natural, la capacidad para identificar correctamente el sarcasmo es necesaria para comprender las verdaderas opiniones de las personas», escribió Zhou en su artículo. «Debido a que el uso del sarcasmo a menudo depende del contexto, investigaciones anteriores han utilizado modelos de representación del lenguaje, como Máquinas de Vectores de Soporte (SVM) y Memoria a Corto Plazo de Longitud Variable (LSTM), para identificar el sarcasmo usando información contextual. Las innovaciones recientes en NLP han brindado más posibilidades para detectar el sarcasmo».
El análisis de sentimientos es un campo de investigación que implica analizar textos publicados en plataformas de medios sociales u otros sitios web para obtener información sobre cómo las personas se sienten acerca de un tema o producto en particular. Hoy en día, muchas empresas están invirtiendo en esta área, ya que puede ayudarles a comprender cómo pueden mejorar sus servicios y satisfacer las necesidades de sus clientes. Ahora existen varios modelos de NLP que pueden procesar textos y predecir su tono emocional subyacente, es decir, si expresan emociones positivas, negativas o neutrales. Sin embargo, muchas reseñas y comentarios publicados en línea contienen ironía y sarcasmo, lo que podría confundir a los modelos y hacer que los clasifiquen erróneamente como «positivos» cuando en realidad expresan una emoción negativa, o viceversa. Algunos científicos informáticos han intentado desarrollar modelos que puedan detectar el sarcasmo en textos escritos. Dos de los más prometedores entre estos modelos, llamados CASCADE y RCNN-RoBERTa, fueron presentados en 2018 por distintos grupos de investigación.
Esencialmente, Zhou llevó a cabo una serie de pruebas con el objetivo de evaluar la capacidad de los modelos CASCADE y RCNN-RoBERTa para detectar sarcasmo en comentarios publicados en Reddit, la reconocida plataforma en línea utilizada típicamente para calificar contenido y debatir diversos temas. La capacidad de estos dos modelos para detectar sarcasmo en los textos de muestra también se comparó con el rendimiento promedio humano en esta misma tarea (informado en un trabajo anterior) y con el rendimiento de algunos modelos de referencia para analizar textos. «Descubrimos que la información contextual, como las incrustaciones de personalidad del usuario, podría mejorar significativamente el rendimiento, al igual que la incorporación de un transformador RoBERTa, en comparación con un enfoque CNN más tradicional», concluyó Zhou en su artículo. «Dado el éxito de los enfoques basados en el contexto y los transformadores, como se muestra en nuestros resultados, aumentar un transformador con características de información contextual adicionales puede ser un camino para futuros experimentos».
Los resultados obtenidos como parte de este estudio reciente podrían guiar pronto más investigaciones en este campo, lo que finalmente contribuirá al desarrollo de LLM que sean mejores en la detección de sarcasmo e ironía en el lenguaje humano. Estos modelos podrían convertirse en herramientas extremadamente valiosas para realizar rápidamente análisis de sentimientos de revisiones en línea, publicaciones y otros contenidos generados por los usuarios.
Deja una respuesta