El incremento en el uso de la inteligencia artificial (IA) en los ámbitos de ciberseguridad refleja una tendencia donde las organizaciones buscan aprovechar sus capacidades para mejorar la detección y respuesta a amenazas, así como para optimizar procesos internos. Sin embargo, este avance también trae consigo múltiples desafíos, especialmente en el área de gobernanza, riesgos y visibilidad, que necesitan abordarse con enfoques específicos. La dificultad para monitorear y comprender dónde y cómo se utilizan los modelos de IA dentro de la infraestructura de una organización limita la capacidad de control y gestión de riesgos asociados. Sin una visión clara de estos modelos, resulta complicado establecer métricas o normativas que aseguren un uso seguro y responsable de la tecnología. Por ello, la implementación de mecanismos de gobernanza especializados, como un consejo dedicado a la IA o la extensión de las políticas existentes de gestión de riesgos hacia estos aspectos, se presenta como una estrategia necesaria.

Asimismo, la integración de controles operativos en los procedimientos de gobernanza ayuda a mantener los modelos alineados con las expectativas y regulaciones. La incorporación de pruebas de adversarios y ejercicios de equipo de ataque o simulación de adversarios en los ciclos de desarrollo permite detectar vulnerabilidades y ajustar los modelos antes del despliegue en producción, reforzando la protección frente a amenazas potenciales. Además, la validación y la auditoría en torno a los componentes utilizados por modelos de terceros, como los proveedores, contribuye a conocer mejor la procedencia y los posibles riesgos asociados. La práctica de solicitar los modelos en formato AIBOM ofrece mayor transparencia y control en este sentido, permitiendo evaluar de manera más precisa las vulnerabilidades potenciales, dado que es un mecanismo que permite a las organizaciones solicitar a los proveedores detalles específicos sobre los componentes y la procedencia de los modelos de IA que utilizan.

En la misma línea, la aplicación de principios de seguridad como el acceso mínimo y la protección de datos, incluyendo cifrado y monitoreo constante, reduce la superficie de ataque. Es fundamental aplicar estas políticas en todos los componentes relacionados con la IA, como APIs, bases de datos vectoriales y funciones de llamadas, para prevenir manipulaciones o pérdidas de información. Además, el saneamiento de datos utilizados en entrenamiento y actualización de modelos ayuda a evitar sesgos o errores que puedan afectar los resultados, reforzando la fiabilidad de los sistemas. En cuanto a los sistemas con capacidades de agentes autónomos, la limitación y restricción de sus funciones también resulta acertada para evitar sobrepasar los límites establecidos, lo que además reduce riesgos operacionales y de seguridad.

Por otra parte, la monitorización continúa se resalta como la base para garantizar la efectividad de los controles. La vigilancia de comportamiento en las inferencias, los contenidos en los prompts y el volumen de uso permiten que las organizaciones tengan supervisión activa y puedan detectar anomalías o desviaciones. La protección de los registros de auditoría, que pueden contener información sensible, forma parte de estas acciones y resulta imprescindible para la trazabilidad y análisis forenses si fuera necesario. Sin un monitoreo constante, las demás medidas pueden perder efectividad dado que no contarán con los datos necesarios para ajustarse o responder a incidentes en tiempo real.

En relación con la percepción del valor de la IA en la seguridad, muchas organizaciones reconocen su potencial para complementar las funciones existentes, pero aún muestran cierta cautela respecto a su impacto disruptivo. La mayoría visualiza a la IA como un apoyo en tareas específicas, como el enriquecimiento de alertas o el análisis de código, en lugar de una sustitución completa de las herramientas tradicionales. La dependencia excesiva en los datos de entrenamiento y la dificultad para reducir los falsos positivos afectan la precisión y confianza en los sistemas. Además, existen obstáculos relacionados con la integración de soluciones de IA en las operaciones existentes y la necesidad de mayor experiencia en la materia, lo que ralentiza su adopción en ámbitos más complejos y que requieren un nivel más alto de automatización. La tendencia es que la IA se utilice preferentemente para tareas de apoyo, mientras que el avance en su autonomía y sofisticación todavía requiere atención para superar estos límites.

Se observa que las aplicaciones actuales de la IA en ciberseguridad se orientan sobre todo a funciones de soporte y detección, como la identificación de anomalías y el enriquecimiento de alertas. Sin embargo, existen oportunidades para ampliar su uso hacia aplicaciones más avanzadas, como la generación de respuestas automáticas o acciones autónomas en respuesta a amenazas. La percepción general indica que la dirección del desarrollo apunta a fortalecer las capacidades existentes, integrando más capacidades de análisis y respuesta, aunque sin reemplazar completamente las herramientas tradicionales en el corto plazo. La combinación de estas estrategias permitirá una mayor protección, pero también requiere que las organizaciones continúen ajustando sus prácticas para administrar los riesgos que acompañan a la adopción de la inteligencia artificial.

Para leer más ingrese a:

https://www.sans.org/white-papers/sans-2025-ai-survey-measuring-ai-impact-security-three-years-later

https://sansorg.egnyte.com/dl/JKhbY9bWPCww