Los principales modelos de IA fallaron en el 57 % de las respuestas sobre finanzas personales, según la fintech británica Saturn. La tasa de fallos subió al 88 % en las consultas más difíciles y de varios pasos.
Estos resultados llegan en un momento en que ha aumentado considerablemente la dependencia de los consumidores de los chatbots para resolver dudas sobre dinero.
Las preguntas más difíciles hicieron fallar a casi todos los modelos
El estudio planteó 121 preguntas a 18 modelos gratuitos y de pago de proveedores como ChatGPT, Gemini, Claude y Copilot. Cada pregunta se repitió hasta 5 veces, lo que produjo más de 10.000 respuestas.
La prueba calificó una respuesta como fallida si contenía un error factual, pasaba por alto algún aspecto importante u omitía una advertencia necesaria.
Los modelos gratuitos obtuvieron los peores resultados: fallaron en el 63 % de las respuestas, frente al 49 % de las versiones de pago. En las preguntas más difíciles, los modelos gratuitos fallaron el 93 % de las veces.
Claude Opus 5 en modo de razonamiento encabezó la clasificación. Sin embargo, también falló en el 39 % de las respuestas. Entre los errores hubo cálculos incorrectos, cambios fiscales pasados por alto y normas inexistentes.
Una respuesta sobre los impuestos de las pensiones podría haber expuesto a un ahorrador a un cargo de 17.500 £ por parte de la Hacienda y Aduanas de Su Majestad.
“Millones de personas confían en los modelos de IA para recibir consejos financieros, pero están obteniendo respuestas equivocadas que pueden hacerles perder dinero”, afirmó Amal Jolly, director ejecutivo de Saturn.
Síguenos en X para obtener las últimas noticias a medida que suceden
La confianza en los chatbots de IA sigue creciendo de todos modos
Mientras tanto, su uso se ha extendido a más mercados y grupos de edad. Una encuesta global de EY a 18.000 consumidores reveló que el 49 % había utilizado la IA para respaldar sus decisiones de ahorro e inversión.
En agosto, el regulador financiero británico informó de que cuatro de cada cinco inversores con menos experiencia habían recurrido a la IA para obtener ayuda con sus inversiones. De los encuestados, el 56 % dijo confiar en estas herramientas, por delante de la televisión y la radio, con un 47 %.
Mientras tanto, la misma investigación reveló que el 44 % cree erróneamente que la información financiera generada por IA está regulada.
Una encuesta de PensionBee a 1.000 adultos de EE. UU. reveló que casi seis de cada diez seguirían consejos financieros sin verificarlos por su cuenta. Casi una de cada cuatro personas dijo que un chatbot ya le había dado información incorrecta sobre sus finanzas.
Jolly dijo que el asesoramiento financiero de la IA no está regulado, por lo que los consumidores no cuentan con los derechos de indemnización que tendrían si recibieran asesoramiento de una persona. Instó a la FCA a actuar con rapidez.
Suscríbete a nuestro canal de YouTube para ver a líderes y periodistas proporcionar información experta
Fuente: BeInCrypto
