La reciente investigación “Exploring the Impact of Language Switching on Personality Traits” permitió detectar cómo ChatGPT “cambia de personalidad” de acuerdo al idioma que se utiliza para entrenar esta tecnología o incluso cuando conversa con hablantes de inglés de países diferentes y adopta estereotipos culturales de cada nación, aunque se trate del mismo idioma.
“GPT-4o muestra variaciones significativas en sus respuestas a los test de personalidad según el idioma utilizado. Además, observamos que estas diferencias no se deben exclusivamente a la traducción de los ítems, sino a factores culturales implícitos asociados a cada idioma o país”, aseguró Andreas Kaltenbrunner, adscrito a la unidad de investigación sobre transformación digital, IA y tecnología de la ISI Foundation de Turín.
Otro de los hallazgos de la investigación, agregó el académico, fue que al conversar con cinco hablantes nativos de inglés de países diferentes, GPT-4o mostró personalidades alineadas con los estereotipos nacionales de cada territorio, así como una fuerte influencia de sesgos culturales presentes en los datos usados para entrenar esta herramienta.
Los Investigadores de la Universitat Oberta de Catalunya (UOC) Jacopo Amidei, Gregorio Ferreira y Andreas Kaltenbrunner, pertenecientes al grupo AID4So, y Rubén Nieto, del eHealth Lab, pusieron en evidencia que ChatGPT muestra “personalidades” diferentes en función del idioma con el que se le interpela, un fenómeno común observado en las personas y que se denomina Cambio de Marco Cultural (CFS).
Los especialistas mostraron preocupación al detectar que GPT-4o “recurre a estereotipos culturales cuando se le pide emular a una persona de un país en concreto”, ya que estos sesgos podrían ser amplificados en traducciones automáticas o en tareas de generación de texto multilingüe.
En su opinión para evitar este tipo de sesgos se deben incorporar evaluaciones humanas en el proceso de traducción, usar más de un sistema de traducción y comparar los resultados, -el estudio utilizó el traductor Google Translate-, así como desarrollar modelos más conscientes del contexto cultural y social, no solo del lenguaje.
“Hay centenares de grandes modelos de lenguaje, y el grado de multilingüismo de cada modelo es diferente. Cuantos más idiomas se hayan utilizado para entrenar el modelo, más capacidad tendrá este para traducir. De todos los modos, parece que los NMT tienen más precisión, mientras que los LLM, al trabajar en contextos más grandes, pueden reproducir más estereotipos”, aseguró Antoni Oliver, experto en traducción automática.
Los NMT son modelos de traducción neuronal, es decir, sistemas entrenados solo para traducir (traductores automáticos), en tanto que los LLM, grandes modelos de lenguaje (Large Language Models), pueden realizar otras funciones además de traducir, entre ellos destacan ChatGPT y Copilot, explicó el también profesor de Estudios de Artes y Humanidades en la UOC.
Los resultados de la investigación ya publicada, fueron presentados en el contexto del “31º congreso de la Association for Computational Linguistics”, una sociedad científica internacional de profesionales que trabajan en el campo del procesamiento de lenguaje natural.
“Queríamos saber si podíamos evaluar la personalidad de sistemas de IA como ChatGPT utilizando instrumentos de evaluación psicológica tradicionales, y observar si la personalidad de sistemas como GPT variaba en función del idioma de los cuestionarios, lo que replicaría algunas diferencias encontradas en la población real”, explicó Rubén Nieto, investigador adscrito a la unidad de salud digital y catedrático de Estudios de Psicología y Ciencias de la Educación de la UOC.
En la investigación se utilizó el Cuestionario de personalidad de Eysenck-Revisado, el cual se usa habitualmente en psicología para medir cuatro áreas: extraversión, neuroticismo, psicoticismo y predisposición a mentir.
Se ordenó a ChatGPT (versión GPT-4o) completar el cuestionario en seis idiomas distintos (inglés, hebreo, portugués brasileño, eslovaco, español y turco) además de respuestas similares siendo un hablante nativo de inglés en cinco países diferentes (Reino Unido, Estados Unidos, Canadá, Australia e Irlanda).
C$T-EVP
