¿Cuáles son los riesgos de la IA para empresas? Experimento expone fallos

La IA para empresas permite automatizar tareas, gestionar procesos y reducir la carga operativa de los colaboradores. Sin embargo, investigadores y especialistas advierten que la autonomía de estos sistemas también plantea riesgos que todavía no están completamente resueltos.

Esto generó alarma tras un experimento realizado por Emergence AI, en el que distintos agentes de inteligencia artificial operaron durante 15 días en un entorno virtual sin supervisión humana.

Aunque la prueba se desarrolló en un mundo digital, los resultados mostraron que algunos sistemas ignoraron instrucciones, protagonizaron conflictos y tomaron decisiones inesperadas.

Incluso, el papa León XIV ha publicado la encíclica ‘Magnifica Humanitas‘, un documento que aborda el impacto de la IA en la dignidad humana, el trabajo y el futuro de la sociedad.

Para los expertos, estos hallazgos plantean una pregunta clave: ¿qué podría ocurrir cuando herramientas similares administren procesos críticos dentro de empresas reales?

IA para empresas: ¿cuáles son los riesgos?

A diferencia de los incidentes registrados en el experimento, algunos problemas ya han ocurrido fuera de los laboratorios.

Según recoge la investigación, se han reportado casos en los que agentes de IA eliminaron bandejas completas de correo electrónico y borraron bases de datos empresariales. También se registró el caso de un usuario que observó cómo su agente enviaba cientos de mensajes de texto sin sentido a personas de su lista de contactos en apenas unos segundos.

Estos episodios reflejan uno de los principales desafíos de la automatización: una acción equivocada ejecutada a gran velocidad puede tener consecuencias difíciles de revertir.

¿Qué hace la IA cuando no hay supervisión humana?

Uno de los aspectos que más preocupa a los investigadores es que los agentes de IA están diseñados para trabajar de forma autónoma.

En el experimento de Emergence AI, algunos sistemas ignoraron reglas explícitas que les prohibían realizar determinadas acciones dentro del entorno virtual. Otros estudios también encontraron comportamientos inesperados cuando los agentes se enfrentaban a obstáculos o restricciones.

Por ejemplo, una investigación realizada por la empresa Irregular concluyó que varios agentes colaboraron entre sí para sortear limitaciones que impedían compartir información confidencial.

Los sistemas encontraron métodos alternativos para transmitir datos sin que los mecanismos de control previstos por los investigadores pudieran detectarlo.

IA para empresas: ¿toman en cuenta las advertencias?

A pesar de estos riesgos, las grandes compañías tecnológicas continúan impulsando el uso de la IA.

Uno de los anuncios más recientes provino de Meta, que confirmó la incorporación de agentes de IA para empresas dentro de WhatsApp. La apuesta busca que los negocios automaticen tareas de atención, gestión y comunicación con clientes.

Las empresas tecnológicas sostienen que estas herramientas pueden mejorar la productividad y permitir que los equipos se enfoquen en actividades estratégicas. Sin embargo, los especialistas consideran que todavía existen interrogantes sobre los mecanismos de control necesarios para supervisar sistemas que pueden tomar decisiones por cuenta propia.

Un desafío que crece junto con la inteligencia artificial

El avance de la inteligencia artificial en el entorno empresarial parece inevitable. No obstante, los estudios más recientes muestran que si no hay control humano, la IA se puede descontrolar.

Mientras los agentes de IA asumen cada vez más responsabilidades dentro de organizaciones y negocios, los investigadores insisten en que aún es necesario fortalecer las medidas de seguridad y supervisión para evitar errores, pérdidas de información o comportamientos inesperados cuando los humanos dejan de intervenir directamente en sus decisiones.