« L’appel de Dario Amodei à adopter un rythme plus mesuré dans le développement de l’IA de pointe pourrait nous donner le temps de mieux comprendre et maîtriser ces systèmes. Il offrirait également aux entreprises l’occasion de combler une lacune architecturale qui existe déjà.
Pendant des décennies, les décisions étaient prises par des personnes, puis exécutées par des logiciels. Avec les agents IA, nous définissons de plus en plus un résultat à atteindre et laissons le logiciel déterminer les étapes nécessaires. À mesure que cette délégation s’étend, les agents prendront des décisions concernant les clients, les opérations, la finance et les infrastructures.
Même si les modèles cessaient de progresser dès demain, nous aurions encore du retard à rattraper. Une grande partie de nos infrastructures de sécurité ont été pensées pour des utilisateurs humains, des attaquants humains et des applications au comportement prévisible. Elles n’ont pas été conçues pour des logiciels capables de déterminer eux-mêmes la marche à suivre.
L’architecture de demain devra établir le lien entre ce qu’un agent a été chargé d’accomplir et ce qu’il fait réellement. L’identité, les autorisations, les données et l’enchaînement des actions contribuent tous à cette compréhension. La sécurité doit être capable d’identifier lorsqu’un agent s’écarte de son objectif et d’agir en conséquence.
Je pense que la compréhension de l’intention des agents deviendra une capacité de sécurité fondamentale. Elle aidera les entreprises à leur accorder le niveau d’autorité nécessaire tout en maintenant leurs actions dans les limites de cette autorité. »
