Inventário antes de política
A primeira lacuna de qualquer programa de segurança de IA é o inventário. Modelos hospedados, endpoints de provedor externo, agentes com ferramentas, bases vetoriais e chaves de API se multiplicam por iniciativa de time, quase sempre fora do catálogo de aplicações.
O inventário precisa registrar propósito, dado de treino ou de contexto, provedor, jurisdição de processamento, ferramentas acessíveis pelo agente e responsável nomeado. Sem isso, qualquer controle subsequente cobre um subconjunto desconhecido da superfície.
A superfície específica de modelos generativos
As classes de exposição são distintas das de uma aplicação convencional e exigem controle próprio na fronteira de entrada e de saída.
- Injeção de prompt direta e indireta via conteúdo recuperado
- Vazamento de dado sensível por contexto recuperado sem filtro de autorização
- Uso excessivo de agência: ferramenta com permissão além do propósito declarado
- Envenenamento de base vetorial e de pipeline de ingestão
- Exfiltração por canal de saída não inspecionado
Avaliação contínua como controle, não como benchmark
Avaliação de modelo em segurança não mede qualidade de resposta; mede resistência a comportamento indesejado sob adversário. Conjuntos de avaliação devem cobrir injeção, evasão de política, alucinação com consequência operacional, viés em decisão automatizada e vazamento de contexto.
A execução precisa ser contínua e versionada com o modelo, o prompt de sistema e o conjunto de ferramentas. Uma alteração de qualquer um dos três invalida o resultado anterior e dispara nova avaliação antes da promoção.
Mapeamento para frameworks
Evidência de conformidade em IA se constrói por mapeamento entre controle técnico implementado e requisito de framework, com artefato coletado automaticamente a cada execução.
- OWASP Top 10 para aplicações LLM: cobertura por classe de exposição
- NIST AI RMF: funções de governar, mapear, medir e gerenciar
- ISO/IEC 42001: sistema de gestão de IA e registro de decisão
- Requisitos setoriais de explicabilidade em decisão automatizada