7 min readSanitized Ai Team

Monitoreo del uso de IA: lo que los equipos de seguridad y privacidad necesitan ver

Shadow AIData SecurityAI GovernanceDLPData Privacy

Las herramientas de IA pueden formar parte del trabajo diario mucho antes de que exista un programa formal de IA. Los empleados pueden usar chatbots para redactar correos, asistentes de programación para resolver problemas de software, herramientas de reuniones para resumir llamadas o funciones de IA ya incorporadas en las aplicaciones de productividad. Los equipos de seguridad y privacidad pueden saber que esta actividad existe sin tener una idea clara de su alcance.

El monitoreo del uso de IA busca cerrar esa brecha de visibilidad. Ayuda a una organización a entender qué servicios de IA usan los empleados, qué tipos de información pueden enviarse a ellos y si la actividad cumple la política de la empresa. Bien hecho, el monitoreo favorece una adopción más segura de la IA. Mal hecho, puede recopilar demasiada información de los empleados y aun así no identificar los riesgos que importan.

Empiece por las preguntas que realmente necesita responder

Antes de recopilar registros o implementar controles, decida qué necesita saber la organización.

Para muchos equipos, las preguntas útiles incluyen qué servicios de IA se están utilizando, si esos servicios están aprobados, qué departamentos los usan con más frecuencia, si los empleados cargan archivos y si se están enviando datos sensibles. Esas preguntas son distintas de intentar registrar cada prompt que escribe un empleado.

La Office of the Privacy Commissioner of Canada aconseja a los empleadores que mantengan la vigilancia laboral específica, dirigida, proporcionada y lo menos intrusiva posible. También recomienda limitar la recopilación a lo necesario para el fin declarado y ser transparentes con los empleados sobre la naturaleza y el alcance del monitoreo.

Ese principio ofrece un buen punto de partida para la IA. Si saber que se detectó una categoría de datos restringida basta para aplicar una política, quizá no sea necesario almacenar toda la conversación.

Monitoree herramientas, cuentas y flujos de datos

El uso de IA se extiende más allá de los sitios web de chatbots públicos. Los empleados pueden acceder a la IA mediante extensiones de navegador, entornos de desarrollo, asistentes de reuniones, software de oficina, herramientas de búsqueda, sistemas de atención al cliente y otras aplicaciones.

Por eso, los equipos de seguridad deben buscar varios tipos de señales. La actividad web y de red puede ayudar a identificar servicios de IA desconocidos. Los sistemas de identidad pueden mostrar nuevas aplicaciones conectadas a cuentas corporativas. Los registros de compras pueden revelar herramientas de IA de pago adquiridas por departamentos individuales. Las herramientas de seguridad de endpoints o de la nube pueden ofrecer visibilidad adicional sobre servicios y transferencias de archivos.

El National Cyber Security Centre del Reino Unido señala que tecnologías como los Cloud Access Security Brokers (CASBs) y las plataformas Secure Access Service Edge (SASE) pueden ayudar a las organizaciones a identificar servicios en la nube no aprobados y a obtener mayor visibilidad de la actividad de red.

Ninguna señal por sí sola ofrece una vista completa. Combinar varias fuentes suele ser más útil que depender de una lista estática de sitios de IA.

Distinga el uso del uso riesgoso

Un gran número de interacciones con IA no significa necesariamente que una organización tenga un gran problema de seguridad.

Un empleado que usa un asistente de IA para reescribir textos de marketing públicos crea un riesgo muy distinto al de alguien que carga una hoja de cálculo con registros de clientes a un servicio no aprobado. El monitoreo resulta más útil cuando capta el contexto suficiente para distinguir esas situaciones.

Los equipos de seguridad y privacidad pueden considerar factores como el destino, si la herramienta está aprobada, el tipo de datos detectado, si se cargó un archivo y la acción tomada por el control. El propósito es identificar infracciones de política significativas en lugar de tratar cada interacción con IA como sospechosa.

El Generative Artificial Intelligence Profile del NIST está diseñado para ayudar a las organizaciones a gestionar los riesgos asociados con la IA generativa durante su uso y evaluación. Su AI Risk Management Framework más amplio anima a las organizaciones a identificar, evaluar, gestionar y monitorear los riesgos de la IA como un proceso continuo.

Preste atención a los patrones repetidos

Un prompt bloqueado puede ser un error de un empleado. Cincuenta alertas similares del mismo departamento pueden señalar un problema de flujo de trabajo.

Suponga que un equipo de finanzas intenta repetidamente cargar hojas de cálculo internas en herramientas de IA para analizarlas. La respuesta inmediata podría ser bloquear las cargas sensibles. La respuesta a más largo plazo debería preguntar por qué el equipo insiste en la misma acción. Quizá necesite un entorno de IA aprobado que pueda respaldar la tarea de forma segura.

Los datos de monitoreo pueden revelar dónde la política y el trabajo real no coinciden. El uso repetido de un asistente de reuniones no aprobado puede indicar que los empleados necesitan una herramienta de transcripción autorizada. La detección frecuente de credenciales en prompts de programación puede sugerir que los desarrolladores necesitan pautas más claras o mejores prácticas de gestión de secretos.

Los patrones pueden convertir el monitoreo de un ejercicio de cumplimiento en una fuente de conocimiento operativo.

Sea transparente con los empleados

Los empleados deben entender qué monitorea la organización y por qué.

Una política puede explicar que la empresa monitorea el acceso a servicios de IA, ciertas transferencias de archivos o categorías de datos sensibles para proteger la información de la empresa y de sus clientes. También debe explicar qué no se recopila cuando esa distinción sea relevante.

Las pautas canadienses de privacidad destacan la transparencia, la necesidad, la proporcionalidad y las salvaguardas en torno al monitoreo de empleados. El acceso a los datos de monitoreo debe limitarse a las personas que realmente lo necesitan, y la retención debe restringirse al período necesario para el fin de seguridad o gobernanza declarado.

Una comunicación clara también ayuda a los empleados a entender que el monitoreo busca respaldar el uso seguro de la IA y no evaluar en secreto cada pregunta que hacen.

Mida si el monitoreo conduce a mejores decisiones

Un programa de monitoreo útil debe producir acciones, no solo paneles.

Los equipos pueden medir el número de nuevos servicios de IA descubiertos, las categorías de datos sensibles detectadas con más frecuencia, la proporción de actividad que ocurre en entornos aprobados, los problemas de política repetidos y el tiempo necesario para revisar nuevas herramientas. Estas medidas pueden mostrar si la gobernanza de la IA mejora con el tiempo.

El mejor resultado no es cero actividad de IA. Es una mayor visibilidad de cómo se usa la IA, menos exposiciones innecesarias de datos y rutas aprobadas más claras para los empleados que quieren usar la IA de forma productiva.

El monitoreo del uso de IA funciona cuando ayuda a las organizaciones a ver lo suficiente para gestionar el riesgo sin recopilar información solo porque pueden. Concéntrese en las herramientas, los datos sensibles, los destinos y los patrones. Esas señales suelen decirles a los equipos de seguridad y privacidad mucho más que una base de datos con cada prompt de los empleados.

El monitoreo tiene un límite inherente: puede decirle qué se envió, pero una vez que se envía un prompt, no puede recuperarse. Una alerta sobre una hoja de cálculo de clientes o una credencial pegada llega después de que la información ya llegó a la herramienta. Este es el principio sobre el que se construye Sanitized Ai: detectar y censurar los datos sensibles en prompts y cargas antes de que el prompt llegue a la herramienta, de modo que las señales que revisa su equipo describan exposiciones evitadas y no exposiciones que requieren limpieza.

Este trimestre, anote las cinco preguntas que sus equipos de seguridad y privacidad más necesitan que responda el monitoreo del uso de IA y compárelas con lo que puede ver hoy. Conserve la recopilación que solo necesita categorías, destinos y patrones, descarte la que existe solo porque era posible y luego comparta el resultado con los empleados en lenguaje claro. Si desea ver cómo la censura puede ocurrir antes del envío y no después, solicite una demostración y recorra su propio flujo de trabajo con nosotros.

See how Sanitized Ai stops sensitive data from leaving the prompt box. Writing your own rules instead? Start from our free AI acceptable use policy generator.