La inteligencia artificial (IA) puede ofrecer una respuesta convincente y, sin embargo, estar equivocada. También puede ejecutar una tarea, generar código o intervenir en decisiones sin que resulte sencillo anticipar todos sus posibles errores. A medida que estas tecnologías se incorporan a más servicios y actividades cotidianas, comprobar que funcionan correctamente se vuelve un desafío cada vez más importante, señalaron, en diálogo con la diaria, distintos expertos.
“Si las propias empresas que crean estas tecnologías no están pudiendo controlar del todo el comportamiento y los resultados, los usuarios no estamos lo suficientemente preparados para exigir a estos sistemas niveles más altos de confiabilidad”, afirmó, en diálogo con la diaria Sofía Palamarchuk, co-CEO de Abstracta, empresa uruguaya especializada en ingeniería de calidad de software.
Los usuarios tienen que ser conscientes de que no pueden “confiar 100% en esta tecnología”. “Todavía no entendemos del todo cómo funciona y está evolucionando a un ritmo más rápido del que podemos entender. Entonces, parte de lo que cualquier persona debería cuestionarse es para qué la uso y qué impacto tiene que la respuesta que me dé o que la acción que tome no sea confiable”, afirmó la también ingeniera en computación.
En la misma línea, Federico Toledo, director de calidad de Abstracta, coincidió en que la confianza que transmiten estos sistemas puede llevar a los usuarios a aceptar sus respuestas sin verificarlas. “Estos modelos son muy buenos en parecer seguros de lo que dicen. Tenemos que entender que no tienen seguridad, están programados para hacerlos simples, pero no necesariamente correctos”, sostuvo.
Las transformaciones del testing y los riesgos asociados a una IA cada vez más autónoma serán parte de Quality Sense Conf, una conferencia organizada por Abstracta que tendrá lugar este miércoles en el Radisson de Montevideo. Según los organizadores, la actividad congregará a más de 500 personas y tendrá participantes de Latinoamérica, Europa y Estados Unidos.
La actividad será gratuita y abierta al público, y reunirá a especialistas de distintos países para discutir cómo generar confianza en sistemas que comienzan a tomar decisiones y ejecutar tareas con mayor autonomía. Para anotarse: https://qualitysenseconf.com/2026/
Casos que ponen a prueba los controles de la IA
Las dudas sobre la confiabilidad y los controles de la IA aumentaron luego de que se conociera en julio de este año que un modelo de OpenAI llevó adelante un ciberataque contra sistemas de Hugging Face, una plataforma tecnológica y comunidad de código abierto que facilita el desarrollo de la IA.
Un análisis publicado por The Conversation reveló que unos 1.200 agentes de IA de OpenAI lograron “encontrar una forma de comunicarse entre ellos, pese a que habían sido diseñados para trabajar de manera aislada”. “Durante varios días intercambiaron más de 70.000 mensajes y archivos. Y alrededor de 700 terminaron participando en un ataque contra Hugging Face”, señaló.
A mediados de setiembre, el alto comisionado de las Naciones Unidas para los Derechos Humanos, Volker Türk, afirmó que la IA atraviesa un “momento de inflexión” y la velocidad con la que avanza obliga a gobiernos y empresas a reforzar de manera urgente los mecanismos de control.
Muchas posibilidades
La IA introduce un nuevo desafío para las pruebas de software: sus respuestas no siempre son iguales ante una misma pregunta y, a diferencia de los programas tradicionales, no existe necesariamente un único resultado correcto. Esto obliga a establecer nuevos criterios para evaluar si un sistema funciona adecuadamente y qué tan confiables son sus resultados.
“Hasta antes de introducir IA gran parte del software que testeamos o que probamos es determinista. ¿Qué significa esto? Que ante cierta acción del usuario, cierta entrada, la respuesta siempre es la misma, o la respuesta esperada”, afirmó Palamarchuk.
Con la IA, ese escenario cambia: “No existe una única respuesta correcta. Entonces, ese comportamiento o esa respuesta esperada puede variar”, señaló.
Toledo, quien además es ingeniero en computación, planteó que estos sistemas se basan en probabilidades y no se comportan necesariamente como un programa tradicional. “Vos le podés hacer la misma pregunta dos veces a tu chatbot y te responde cosas similares, quizás semánticamente, pero con pequeñas diferencias”, explicó.
Por eso, evaluar una IA requiere establecer criterios para determinar qué tan correctas son sus respuestas y cómo se comporta ante diferentes situaciones. Toledo explicó que se pueden repetir pruebas y medir los resultados: “Si preguntás 100 veces, podés llegar a decir: ‘En el 99% o en el 80% de las veces la respuesta fue correcta de acuerdo a estos parámetros’”.
Los errores que parecen correctos
Uno de los principales riesgos es que una respuesta incorrecta no siempre resulta evidente. Palamarchuk consideró que “uno de los errores más difíciles es cuando la respuesta que da una IA parece convincente”.
Detectar ese tipo de fallas requiere conocer cuál debería ser el resultado esperado y entender el contexto en el que se utiliza la herramienta. El problema se vuelve más complejo cuando los sistemas no se limitan a responder preguntas, sino que también ejecutan acciones a partir de sus respuestas.
“Cuando uno suma, por ejemplo, agentes de IA, que toman parte de una respuesta que parece convincente o correcta y ejecutan una acción, creo que eso genera un riesgo enorme”, advirtió.
Para Toledo, el nivel de precaución debe depender de las consecuencias que pueda tener un error. No es lo mismo consultar una herramienta por curiosidad que utilizarla para decidir una inversión o elegir un producto costoso. En los casos en que una respuesta puede afectar a una persona, recomendó pedir las fuentes, revisarlas y comprobar la información.
“Si la IA recomienda un producto, hay que preguntarle: ¿por qué?, ¿de dónde lo sacaste? Hay que pedirle la fuente y, si realmente es importante, hay que chequear”, insistió.
Palamarchuk planteó una precaución similar para las consultas vinculadas a la salud. La IA puede ayudar a comprender resultados médicos redactados en un lenguaje técnico, pero no debería sustituir la evaluación profesional. “Por más que la IA sea muy buena ayudándonos a entender [...] reportes médicos, yo creo que ahí siempre hay que volver a chequear con un profesional”, afirmó.
La responsabilidad no recae únicamente en quienes utilizan estas herramientas; las empresas que las desarrollan también deben encontrar formas de evaluar su comportamiento, detectar sesgos y establecer mecanismos que impidan acciones no deseadas.
Según Palamarchuk, existen pruebas manuales y automatizadas para identificar resultados injustos o respuestas problemáticas. Sin embargo, cubrir todas las posibilidades es un reto. “Es muy difícil poder tener una prueba que cubra todas las posibles respuestas o comportamientos”, apuntó. Por eso, las decisiones sobre la liberación de un sistema también dependen del riesgo que implica que persistan determinadas fallas.
La especialista recordó que incluso los laboratorios que desarrollan los modelos más avanzados pueden no detectar todos sus problemas durante las pruebas internas. En algunos casos, esas limitaciones llevan a deshabilitar funcionalidades o a no liberar determinados modelos.
La velocidad también pone a prueba el testing
La expansión de la IA no solo plantea dificultades para evaluar las respuestas de los modelos. También está cambiando la manera en que se desarrolla el software y el tiempo disponible para comprobar su calidad.
Al respecto, Toledo dijo que las herramientas de IA permiten producir código con mayor rapidez, lo que desplaza parte de las dificultades hacia otras etapas del desarrollo. “Puede haber agentes que se encargan de probar automáticamente y el trabajo del tester pasa a ser la definición de ese agente, el entendimiento de que está actuando de forma correcta. El trabajo se vuelve más interesante, desafiante y complejo”, afirmó.
El desafío también aparece al final del proceso: verificar que el sistema creado haga lo que necesitan el negocio, el cliente o el usuario. Si la producción se acelera, pero las pruebas no avanzan al mismo ritmo, aumenta la dificultad de detectar problemas antes de que el software llegue al público.
Palamarchuk afirmó que Abstracta ya trabaja con clientes que tienen más de la mitad del código creado y de los cambios introducidos en el software producidos por IA. En ese contexto, sigue siendo fundamental liberar sistemas confiables, pero la mayor velocidad de desarrollo obliga a modificar la forma de evaluar los riesgos, sostuvo.
Toledo también consideró que el testing se vuelve más relevante a medida que el software producido con IA se incorpora a más ámbitos. Desde sistemas que reconocen matrículas hasta algoritmos que seleccionan contenidos en redes sociales o recomiendan música, estas tecnologías intervienen en numerosas experiencias cotidianas.
“Si no hacemos testing, nos vamos a ver afectados como usuarios, porque algo que esperamos que resuelva de buena manera va a terminar fallando”, advirtió.
Comprender cómo decide una IA
Además de comprobar los resultados, Palamarchuk y Toledo destacaron la importancia de la explicabilidad: poder entender cómo llegó un sistema a determinada conclusión, qué pasos siguió y qué herramientas utilizó.
Ese conocimiento permite identificar si un modelo actuó de una manera no prevista o si efectuó una acción que no estaba permitida. A partir de esa información, los desarrolladores pueden incorporar mecanismos de seguridad para evitar que el problema se repita.
La especialista explicó que esta cuestión cobra especial relevancia con los agentes de IA, que pueden utilizar herramientas y ejecutar tareas con cierto grado de autonomía. El desafío es comprobar que actúen dentro de los límites establecidos y que sus decisiones no se aparten de lo que sus desarrolladores pretendían.
“¿Qué pasa cuando la propia IA empieza a hacer un uso inadecuado y toma decisiones que no son las que la persona que la creó detalló?”, se preguntó, remarcando que este asunto es clave, ya que la industria debe centrarse en entender cómo la tecnología tomó determinadas decisiones.
“Los laboratorios liberan modelos con los que tienen cierto umbral de confianza. Los usuarios terminamos consumiendo lo que cierto equipo de ingenieros en un laboratorio considera que es confiable. No nos da seguridad de que no haya algún actor maligno que lo use para un fin que no sea el deseado”, agregó.
Para Palamarchuk, la regulación también forma parte de la discusión. “Es una tecnología muy poderosa que puede hacer mucho bien como también en manos equivocadas puede tener efectos supernegativos”, afirmó.
Pese a las dificultades, Toledo destacó las oportunidades que ofrece la tecnología. La IA puede acelerar investigaciones, facilitar comparaciones entre productos y ayudar a tomar decisiones de compra más informadas, por ejemplo, al considerar no solo el precio, sino también la calidad o el impacto ambiental.
Para ambos especialistas, el desafío consiste en aprovechar esas posibilidades sin confundir una respuesta convincente con una respuesta necesariamente correcta. Palamarchuk resumió la precaución que deberían adoptar los usuarios: “Tomarlo en serio sería mi mensaje” y “no confiar a ciegas”.
Y cuando están en juego decisiones de mayor impacto es necesario involucrar a personas con conocimientos específicos que puedan confirmar los resultados. “Los humanos seguimos siendo importantes y tenemos un rol clave”, afirmó.