En los últimos años, el internet y las redes sociales han experimentado un crecimiento exponencial, permitiendo a las personas compartir sus pensamientos y opiniones con una audiencia global. Sin embargo, esta apertura también ha llevado a la proliferación de contenido inapropiado, como el discurso de odio. Este tipo de discurso, definido como lenguaje ofensivo o amenazante dirigido a individuos basado en su etnia, religión u orientación sexual, se ha convertido en un problema prevalente en las plataformas en línea.
Para combatir la propagación del discurso de odio y garantizar un entorno en línea seguro, se han desarrollado modelos de detección de discurso de odio. Estos sistemas computacionales están diseñados para identificar y clasificar los comentarios en línea como odiosos o no odiosos. El profesor asistente Roy Lee de la Universidad de Tecnología y Diseño de Singapur (SUTD) enfatiza la importancia de estos modelos en la moderación del contenido en línea y en la prevención de la difusión de discursos dañinos, especialmente en plataformas de redes sociales.
En un artículo de investigación titulado «SGHateCheck: Pruebas funcionales para detectar discursos de odio en idiomas de bajo recurso de Singapur,» el profesor asistente Roy Lee y su equipo presentan SGHateCheck, una herramienta alimentada por inteligencia artificial diseñada para el contexto lingüístico y cultural de Singapur y el Sudeste Asiático. A diferencia de marcos existentes como HateCheck y MHC, SGHateCheck utiliza grandes modelos de lenguaje (LLM) para traducir y parafrasear casos de prueba en los cuatro idiomas principales de Singapur.
Una de las características clave de SGHateCheck es su enfoque regional, teniendo en cuenta las características lingüísticas y culturales únicas del Sudeste Asiático. Al utilizar una guía experta e incorporar idiomas locales distintos como el Singlish, SGHateCheck es capaz de detectar y evaluar de manera más precisa el discurso de odio en la región. Este nivel de especificidad garantiza que las pruebas sean culturalmente relevantes y útiles para abordar las sutilezas de la manifestación del discurso de odio.
El equipo detrás de SGHateCheck también descubrió que los LLM entrenados en conjuntos de datos multilingües superan a los entrenados en conjuntos de datos monolingües cuando se trata de detectar el discurso de odio. Esto destaca la importancia de incluir datos de entrenamiento culturalmente diversos y multilingües en el desarrollo de modelos de detección de discurso de odio, especialmente en regiones con una amplia variedad de idiomas y contextos culturales como el Sudeste Asiático.
SGHateCheck está preparado para tener un impacto significativo en la mejora de la detección y moderación del discurso de odio en entornos en línea en el Sudeste Asiático. El profesor asistente Lee planea ampliar la herramienta para incluir otros idiomas del Sudeste Asiático como el tailandés y el vietnamita, ampliando aún más su alcance y efectividad. Al integrar la tecnología de vanguardia con principios de diseño reflexivos, SGHateCheck sirve como un ejemplo destacado de cómo los enfoques centrados en el ser humano pueden llevar a soluciones impactantes en el mundo real.
El desarrollo de modelos de detección de discurso de odio culturalmente sensibles como SGHateCheck es un paso crucial hacia la creación de un espacio en línea más respetuoso e inclusivo. Al abordar las sutilezas lingüísticas y culturales específicas de ciertas regiones, estos modelos pueden combatir mejor la propagación del discurso de odio y promover un entorno en línea más seguro para todos los usuarios.
Deja una respuesta