La IA generativa se define como un conjunto de sistemas capaces de emular la creatividad humana para producir texto, imágenes y código.

Según las autoras del libro "Introduction to Generative AI" (2026), Numa Dhamani y Maggie Engler,  estos modelos no poseen un entendimiento real del mundo, sino que operan bajo un paradigma de predicción de tokens, calculando probabilidades calibradas para determinar qué palabra es la más probable en una secuencia basándose en el contexto previo. Esta capacidad proviene de la arquitectura de transformadores, que permite procesar información en paralelo mediante mecanismos de "atención".

El caso Avianca: el peligro de la confianza desmedida

Uno de los escándalos más ilustrativos sobre el mal uso profesional de esta tecnología es el caso Avianca.

En 2022, el abogado Steven Schwartz utilizó ChatGPT para redactar un escrito judicial en una demanda contra la aerolínea Avianca por una presunta lesión en un vuelo. El modelo, en un fenómeno conocido como alucinación, inventó precedentes legales inexistentes como "Varghese v. China Southern Airlines", los cuales Schwartz presentó ante el tribunal sin verificar. Como resultado, el abogado fue sancionado y multado, demostrando que la fluidez del lenguaje de la IA suele ocultar la falta de veracidad fáctica.

Privacidad y el problema de la regurgitación

Un riesgo crítico identificado por las autoras es la regurgitación de datos sensibles. Debido a que los modelos se entrenan con cantidades masivas de información de internet, pueden memorizar y repetir textualmente fragmentos de los datos de entrenamiento, incluyendo información personalmente identificable (PII) como nombres, direcciones o números de tarjetas de crédito. Estudios han demostrado que los modelos más grandes son más propensos a este tipo de memorización no deseada.

Además, existe un riesgo constante de fuga de datos inadvertida a través de las instrucciones o "prompts" de los usuarios. Cuando un empleado introduce información confidencial de su empresa en un chatbot para resumirla o analizarla, esos datos pueden ser revisados por entrenadores humanos o integrarse en el entrenamiento futuro del modelo, quedando expuestos a terceros. Casos notorios involucran a ingenieros de Samsung que pegaron código fuente confidencial en ChatGPT, lo que llevó a restricciones corporativas masivas.

Competencia y Perspectivas Futuras

Actualmente, el sector vive lo que algunas denominan una "carrera armamentista"  liderada por gigantes como OpenAI, Google, Microsoft, Meta y Anthropic.

Mientras algunos priorizan la escala masiva, otros se enfocan en la "IA Constitucional" para garantizar que los modelos sean inofensivos y honestos. El futuro de la tecnología apunta hacia sistemas agénticos, que no solo responden preguntas, sino que actúan de forma autónoma en entornos digitales para completar tareas complejas.

A largo plazo, la meta sigue siendo la Inteligencia Artificial General (AGI), un sistema capaz de realizar cualquier tarea cognitiva al nivel humano, sin embargo, como advierten Dhamani y Engler, alcanzar este hito requiere una gobernanza responsable que mitigue los sesgos sistémicos y el impacto ambiental derivado del alto consumo energético de estos modelos.

Si utilizamos una analogía que nos de una panorámica de lo abordado por la autoras, utilizar una IA generativa hoy es como contratar a un asistente con una memoria fotográfica infinita pero sin sentido común; puede recitar un libro entero (regurgitación) o inventar una ley con total seguridad (alucinación), por lo que la supervisión humana sigue siendo el único filtro de validación real de la información.

Fuente: Introduction to Generative AI.  Second edition, Manning Publications Co. 2026. 477 pp.

|*|: Ilustración realizada con Gemini; infografía y datos con apoyo en NotebookLM PRO.