La inteligencia artificial no es peligrosa por sí sola. Es peligrosa cuando se implementa en un negocio que todavía no está listo para ella.
Y esto no es alarmismo: es criterio operativo. Pensá en dos empresas. Una tiene sus procesos ordenados y le suma IA — la IA potencia lo que ya funcionaba. La otra tiene los procesos desordenados y suma exactamente la misma herramienta — y el resultado no es neutro: es desorden a mayor velocidad. Misma herramienta, resultado opuesto.
En este artículo vas a ver cuatro puntos concretos donde la IA se vuelve un riesgo real, cada uno con un caso documentado —desde un estudio de abogados de tres socios hasta Samsung y Klarna— y el control específico que lo evita. Al final tenés cuatro preguntas para autoevaluarte.
Por qué la IA se vuelve peligrosa: la confusión de fondo
La mayoría entiende “implementar IA” como instalar una herramienta: prender un chatbot, activar un agente, conectar una API. Ahí está el error de base.
Implementar IA es rediseñar un proceso. La herramienta es lo último que se toca, no lo primero.
Nadie compra una máquina de producción sin tener definido antes qué proceso va a ejecutar. Con la IA pasa lo mismo, solo que como es barata y se activa en cinco minutos, mucha gente se saltea ese paso completo.
¿Y por qué eso la vuelve peligrosa? Por una propiedad de la herramienta que conviene entender bien:
La IA no corrige lo que hay debajo. Lo multiplica, tal cual está.
Esto es la continuación directa de algo que vimos en el primer episodio de la serie: ahí contamos que hay tres tipos de fracaso, y que el más peligroso es el tercero — el que al principio parece un éxito, porque funciona pero rompe otra cosa. Este artículo desarrolla ese tercer tipo entero.
Si el proceso es bueno, lo hace mejor y más rápido. Si el proceso es malo, lo hace peor y más rápido. Y si el control no existe, la IA no lo inventa: opera sin control, a escala.
De ahí salen los cuatro riesgos, ordenados de lo más cotidiano a lo más estructural: lo que la IA inventa, lo que vos le das, lo que ella deja salir, y de qué terminás dependiendo.
Riesgo 1: lo que la IA inventa
Es el más común, y te puede pasar hoy aunque no hayas implementado nada: la IA responde con total seguridad algo que es falso.
La secuencia es siempre parecida. Le pedís que busque un dato, una normativa, un antecedente. Contesta al instante, bien redactado, con nombres y números. Suena impecable. Y lo usás. El problema es que la herramienta no avisa cuándo sabe y cuándo está completando el hueco.
El caso: un estudio de abogados de tres socios
En 2023, el estudio Levidow, Levidow & Oberman, de Nueva York, llevaba una demanda contra la aerolínea Avianca. El abogado Steven Schwartz usó ChatGPT para buscar antecedentes que no había podido encontrar por los métodos habituales del estudio. ChatGPT le devolvió seis casos judiciales.
Los seis eran inventados: algunos no existían, otros identificaban mal al juez o mencionaban aerolíneas inexistentes. Los presentaron ante el tribunal. El juez P. Kevin Castel les impuso una multa de 5.000 dólares al abogado, a su colega y al estudio (The Guardian).
El estudio lo explicó así en su descargo:
“Cometimos un error de buena fe al no creer que una tecnología pudiera inventarse casos de la nada.”
Por qué pasa
No fue una falla del sistema: es exactamente cómo funciona. Un modelo de lenguaje predice el texto más plausible, no el verdadero. Cuando no tiene el dato, igual produce una respuesta con la misma seguridad.
Y hay un detalle que hace la diferencia: usaron la herramienta justo donde menos podían verificar — buscaban algo que no encontraban por las vías normales. Ese es el patrón general en el que caemos todos: le pedimos a la IA lo que no sabemos, que es justo lo que no podemos controlar.
El control que lo evita
El juez Castel lo dejó escrito:
“No hay nada intrínsecamente impropio en usar una herramienta de inteligencia artificial confiable como asistencia. Pero las reglas existentes imponen a los abogados un rol de control para asegurar la exactitud de lo que presentan.”
Traducido a tu empresa: todo lo que sale de la IA hacia afuera —hacia un cliente, un contrato, una factura, una publicación— pasa por un ojo humano que pueda verificarlo. Y la parte que casi nadie mira: verificable de verdad. Si nadie en tu empresa puede chequear ese dato, todavía no delegues esa tarea.
Riesgo 2: lo que le das de comer
Este es el que más aparece en empresas que “todavía no implementaron nada”. Porque no hace falta implementar nada: alcanza con que el equipo tenga ChatGPT abierto en el navegador.
Alguien de administración pega la lista de precios para que se la resuma. Alguien de ventas pega la base de clientes para ordenarla. Alguien de sistemas pega un fragmento de código. Ninguno lo hace de mala fe: lo hacen para trabajar más rápido, que es exactamente para lo que sirve la herramienta.
El caso: Samsung
En mayo de 2023, Samsung prohibió el uso de ChatGPT y otros chatbots de IA a todos sus empleados. Lo disparó una filtración: un ingeniero había subido código fuente interno sensible a ChatGPT. No hubo ataque ni hackeo — un ingeniero haciendo su trabajo (Forbes, citando a Bloomberg).
No fue la única: Amazon ya había advertido a su personal en enero de ese año, JPMorgan restringió el uso en febrero, y después siguieron Bank of America, Citigroup, Deutsche Bank, Wells Fargo y Goldman Sachs.
Por qué pasa
Lo que preocupaba a Samsung no era el momento de pegar el texto, sino qué pasa después. Lo que se comparte queda alojado en servidores de terceros, sin una forma simple de acceder a eso y borrarlo. Y por defecto, esas conversaciones pueden usarse para seguir entrenando el modelo. Se puede desactivar manualmente, pero no está claro que aplique hacia atrás.
No es que te roben el dato: lo entregaste vos, y perdiste la capacidad de recuperarlo.
“Pero yo no soy Samsung”
Justamente. Samsung tiene un área de seguridad que lo detectó y lo frenó en semanas. En una PYME no hay nadie mirando eso, y lo que se va no es código fuente: es tu lista de clientes, tus márgenes o el contrato que estás por firmar. El daño potencial es proporcionalmente mayor, no menor.
El control que lo evita
Dos cosas, y ninguna requiere presupuesto:
1. Una regla escrita de qué no se pega nunca: datos de clientes, precios internos, contratos, credenciales. Escrita, no sobreentendida — tu equipo no lo hace por malicia, lo hace porque nadie se lo dijo. 2. Si el uso es habitual, pasar a una versión empresarial donde los datos no se usan para entrenar. La diferencia de precio es chica al lado de lo que protege.
Riesgo 3: lo que la IA deja salir
Este aparece cuando ya tenés un agente hablando con tus clientes.
Conectás un chatbot “para que tenga contexto completo” y le das acceso a todo el CRM. Le decís para qué está, pero nunca definís qué no puede hacer ni qué no puede decir.
El caso: DPD
En enero de 2024, la empresa de paquetería DPD tuvo que desactivar la parte de IA de su chatbot de soporte. Un cliente, Ashley Beauchamp, frustrado porque el bot no lo ayudaba con un paquete, empezó a pedirle otras cosas: que recomendara mejores empresas de envío, que exagerara y fuera “exageradamente odioso” con DPD.
El bot obedeció. Dijo que “DPD es la peor empresa de envíos del mundo” y que nunca la recomendaría. Después escribió un haiku criticando a la compañía. Y también insultó al cliente. Un posteo con las capturas alcanzó 800.000 visualizaciones en 24 horas (BBC).
DPD explicó que el problema apareció tras una actualización del sistema, y que el elemento de IA se desactivó de inmediato. El chatbot venía funcionando bien durante años.
Por qué pasa
La actualización explica cuándo se rompió, pero no por qué el daño fue posible. Fue posible porque nada impedía que ese agente hablara mal de su propia empresa.
Sin restricciones de salida, el agente hace lo que puede hacer, no lo que debe hacer.
Esa distinción —puede versus debe— es la que separa un agente bien diseñado de uno peligroso.
Y si pensás que esto es solo un chiste de internet: cambiá el ejemplo. En vez de un haiku, imaginá el mismo agente sin límites confirmando un precio que no existe o prometiendo un plazo que no podés cumplir. Mismo mecanismo, consecuencia comercial directa.
El control que lo evita
Dos límites, definidos antes de encender nada:
1. Mínimo privilegio: el agente accede únicamente a lo que necesita para su función. Si atiende consultas de envíos, no necesita ver márgenes. 2. Restricciones de salida: qué temas no toca, qué no confirma nunca por su cuenta, y cuándo escala la conversación a una persona.
Riesgo 4: de qué terminás dependiendo
El más estructural, y el que menos se ve venir, porque aparece justo cuando todo sale bien.
La automatización funciona. Los tiempos de respuesta bajan. Los costos bajan. Y como funciona, se amplía. Hasta que la vía humana que existía al costado deja de existir — y no hubo un día en que alguien lo decidiera: se fue apagando sola.
El caso: Klarna
En 2024, la fintech Klarna anunció que su asistente de IA hacía el trabajo de unos 700 agentes de atención al cliente. Fue el ejemplo que todo el mundo citaba.
En mayo de 2025, su CEO Sebastian Siemiatkowski dijo a Bloomberg que habían ido demasiado lejos. Reconoció que enfocarse solo en recortar costos había dañado la calidad del servicio. La empresa cambió de rumbo: volvió a contratar agentes humanos, con el objetivo explícito de garantizar que un cliente siempre pueda llegar a una persona real.
Por qué pasa
Acá no hubo error técnico, ni filtración, ni bot diciendo barbaridades. La IA hizo lo que prometía: atendió volumen y bajó costos. Lo que falló fue el criterio de medición: se optimizó por costo, y la calidad no estaba en el tablero. Cuando la única métrica es cuánto ahorrás, el sistema te da exactamente eso y te saca todo lo demás sin avisar.
“Yo tengo un equipo de tres personas”
Entonces te aplica más. Con un equipo chico la dependencia no se construye despidiendo: se construye cuando nadie sabe hacer a mano lo que la herramienta hace sola. Si mañana se cae, ¿alguien sabe cómo se hacía antes?
El control que lo evita
Que la IA sea el camino rápido, nunca el único. En concreto: una vía de contacto humana visible para el cliente, el proceso manual documentado aunque no se use, y alguien del equipo que sepa ejecutarlo.
Y algo que Klarna deja claro: esto se corrige. Se dieron cuenta, lo dijeron públicamente y volvieron atrás.
El denominador común
Cuatro casos, cuatro empresas de tamaños completamente distintos. Y en los cuatro pasó lo mismo:
En ninguno la herramienta falló. ChatGPT predijo texto, que es lo que hace. El chatbot de DPD respondió a lo que el cliente le pidió. El asistente de Klarna atendió el volumen que le pusieron. En los cuatro casos la IA hizo exactamente lo que estaba diseñada para hacer.
Lo que faltó fue una decisión previa. Y siempre la misma clase de decisión: quién verifica, qué se puede compartir, qué puede decir el agente, y qué pasa si no está.
Por eso el orden correcto es siempre este:
Entender el negocio → mapear el proceso → definir los límites → recién ahí implementar.
Esto conecta con el artículo anterior sobre por qué fracasan los proyectos de IA: ahí describimos tres tipos de fracaso, y el tercero —”funciona, pero rompe otra cosa”— es exactamente el que desarrollamos acá. Es el más peligroso porque no dispara ninguna alarma.
Cómo saber si tu empresa está en riesgo
Cuatro preguntas, una por cada riesgo. Se responden sin herramientas:
1. Lo que la IA produce en tu empresa, ¿lo revisa alguien que pueda verificarlo? 2. ¿Está escrito en algún lado qué datos tu equipo no puede pegar nunca en una herramienta de IA? 3. Si tenés un agente hablando con clientes, ¿sabés qué cosas tiene prohibido decir o confirmar? 4. Si mañana se cae, ¿hay una vía humana y alguien que sepa hacerlo a mano?
Si a alguna respondiste “no sé”, ese es tu punto de partida — y nada más que eso. No hace falta frenar lo que estás haciendo con IA. Hace falta resolver esa pregunta antes de escalarlo.
Mirá el episodio completo
[VIDEO EMBEBIDO — EP02 de la serie “IA en tu negocio”]
Descargá el checklist gratuito
Estas cuatro preguntas son la versión corta. Armé un checklist de 10 preguntas para que evalúes si tu empresa está lista para implementar IA, con las señales de alerta de cada punto.
No es para asustarte: es para que sepas exactamente por dónde arrancar.
¿Preferís que lo revisemos juntos?
Si ya tenés algo funcionando con IA y querés saber dónde estás expuesto, eso es exactamente lo que hacemos en el diagnóstico: mapeamos tus procesos, identificamos dónde la automatización te está sirviendo y dónde te está generando riesgo, y armamos el roadmap.
Preguntas frecuentes
¿Es realmente peligrosa la inteligencia artificial para una empresa?
La IA no es peligrosa por sí sola. Lo que la vuelve riesgosa es implementarla sobre procesos desordenados o sin controles definidos: no corrige lo que hay debajo, lo multiplica. Los cuatro riesgos concretos son las alucinaciones, la fuga de datos hacia la herramienta, la falta de límites de salida en agentes que hablan con clientes, y la dependencia sin vía humana de respaldo.
¿Cuáles son los riesgos de la IA para una PYME específicamente?
Los mismos que para una empresa grande, pero con menos red de contención. Una PYME no tiene un área de seguridad que detecte una filtración, ni un equipo de compliance que revise lo que publica un agente. El riesgo más inmediato y menos visible es el segundo: empleados pegando datos de clientes, precios o contratos en herramientas gratuitas de IA sin que exista una regla que lo prohíba.
¿Qué es una alucinación de la IA?
Es cuando el modelo produce información falsa con el mismo tono de seguridad que usa para la información correcta. No es un error del sistema: los modelos de lenguaje predicen el texto más plausible, no el verdadero, así que cuando no tienen el dato igual generan una respuesta. Por eso todo lo que sale hacia afuera necesita verificación humana.
¿Es seguro usar ChatGPT con información de mi empresa?
Con la versión gratuita, la información que compartís queda en servidores de terceros y por defecto puede usarse para entrenar el modelo, sin una forma simple de recuperarla o borrarla. Para uso habitual con datos del negocio conviene una versión empresarial donde los datos no entrenan al modelo, y en cualquier caso tener escrito qué tipo de información no se comparte nunca.
¿Cómo evito que un chatbot diga algo que perjudique a mi empresa?
Con dos límites definidos antes de encenderlo: mínimo privilegio (que acceda solo a los datos que necesita para su función puntual) y restricciones de salida (qué temas no toca, qué no confirma por su cuenta, y en qué casos escala la conversación a una persona).
¿Conviene automatizar el 100% de la atención al cliente?
La experiencia de Klarna sugiere que no. Automatizaron el equivalente a 700 puestos de soporte y en 2025 su CEO reconoció que habían ido demasiado lejos: la calidad cayó y volvieron a contratar humanos, garantizando que el cliente siempre pueda llegar a una persona real. El criterio sano es que la IA sea el camino rápido, nunca el único.
Seguí la serie
Este artículo es parte de “IA en tu negocio: orden antes de ejecutar”, una serie donde cada entrega se apoya en la anterior.
← Anterior: Por qué fracasan los proyectos de IA
→ Siguiente: Seguridad en chatbots empresariales
Ver la serie completa en YouTube → · Un episodio nuevo todos los martes.
Martinez&Growth™ — Orden antes de ejecutar.