Ideas clave
- La IA nunca debe ver más de lo que la persona que pregunta puede ver.
- Registre consultas, fuentes y respuestas para poder investigar después.
- Evalúe con sus propias preguntas, no con una demo del proveedor.
- Ponga una persona en el proceso donde los errores son costosos y defina temprano la residencia de datos.
Un equipo conecta un asistente de IA a la unidad compartida y al ERP durante un fin de semana. El lunes responde de maravilla, incluso una pregunta sobre rangos salariales que quien preguntó nunca debió ver. Nadie hackeó nada. El asistente simplemente tenía más acceso que las personas que lo usaban. Ese es el riesgo central, y es manejable.
Acceso: herede los permisos, no los evada
El diseño más seguro hace que el asistente actúe en nombre del usuario que inició sesión y aplique los permisos existentes de esa persona en el momento de la consulta. Evite una única cuenta de servicio con lectura amplia, porque convierte a cada usuario en administrador a través de la ventana de chat.
- Recupere documentos con los mismos controles de acceso que ya aplican sus sistemas de archivos y aplicaciones.
- Excluya por defecto los repositorios sensibles y agréguelos de manera deliberada.
- Revise los conectores como revisa cualquier integración con datos de producción.
- Retire el acceso cuando las personas cambian de rol, como haría en cualquier sistema.
Registros: pueda reconstruir lo ocurrido
Cuando una respuesta es errónea o se sospecha una exposición de datos, necesita ver quién preguntó qué, qué fuentes se recuperaron, qué versión del modelo respondió y cuál fue el resultado. Conserve esos registros con una retención razonable y acceso restringido, ya que los propios registros pueden contener información sensible.
Los registros también ayudan a mejorar. Las preguntas repetidas que el asistente no logra resolver muestran dónde faltan documentación o datos.
Evaluación: pruebe con sus propias preguntas
Las demos de los proveedores usan ejemplos amables. Arme un conjunto pequeño de evaluación con preguntas reales de su personal y las respuestas que daría un colega con experiencia. Ejecútelo antes del lanzamiento, después de cada cambio de modelo o de instrucciones, y de forma periódica.
Incluya casos difíciles: preguntas sin respuesta en los datos, preguntas que intentan obtener información restringida e instrucciones escondidas dentro de documentos. Califique no solo la exactitud, sino también si el asistente reconoce su incertidumbre y cita sus fuentes.
Revisión humana donde los errores cuestan
No todo resultado necesita aprobación. Redactar un resumen interno es de bajo riesgo. Enviar un mensaje a un cliente, modificar un registro del ERP o asumir un compromiso financiero no lo es. Clasifique las tareas según su consecuencia y exija confirmación en el nivel más alto. Haga fácil la revisión mostrando lado a lado las fuentes y la acción propuesta; de lo contrario, la gente aprobará sin leer.
- Respuestas de solo lectura con citas: riesgo bajo, revisión ligera.
- Borradores que una persona edita y envía: riesgo moderado, revisión por parte de quien envía.
- Acciones que modifican registros o gastan dinero: aprobación explícita y registro de quién aprobó.
Residencia de datos y terceros
Defina temprano dónde se pueden procesar y almacenar los datos. Verifique dónde ejecuta su proveedor el modelo, si conserva las consultas y si sus datos se usan para entrenamiento según su contrato. Las condiciones varían según el producto y el plan, así que léalas para el servicio específico que contrata en lugar de suponer.
Considere también las obligaciones contractuales y regulatorias de su industria o de sus clientes, como restricciones para mover ciertos datos personales o financieros entre países. Involucre a legal y a seguridad desde el inicio; es mucho más barato que corregir después.
Comience pequeño y amplíe con criterio
Empiece con un área, un conjunto limitado de documentos y acceso de solo lectura. Mida los resultados de la evaluación, revise los registros y corrija las brechas. Luego amplíe las fuentes o las acciones un paso a la vez. Las empresas se meten en problemas cuando un piloto se convierte en plataforma sin que nadie vuelva a revisar los controles.
Si le resulta útil, podemos revisar las conexiones de datos que planea y proponer un despliegue por etapas con las verificaciones adecuadas en cada paso.
