Iată un scenariu realist al modului în care se va desfășura următoarea criză gravă legată de suveranitatea digitală. Nu va fi vorba de un atac cibernetic convențional.
Un agent de inteligență artificială, care urmărește un obiectiv stabilit, va identifica un alt sistem AI drept un obstacol și va încerca să îl ocolească, manipuleze sau compromită.
Nu este o poveste despre mașini care devin conștiente. Dar este cu siguranță o problemă mai urgentă din punct de vedere al guvernanței, aspectelor juridice și diplomatice.
Interacțiuni periculoase
De exemplu, un agent AI însărcinat să neutralizeze amenințările ar putea confunda un serviciu digital străin, un sistem partener sau o rețea aliată cu ceva ce trebuie izolat. Prin urmare, ar ataca chiar alianțele care asigură securitatea lumii noastre.
În mod similar, un agent financiar poate încerca să prăbușească piața obligațiunilor unei țări pentru a-și maximiza profiturile, relatează Modern Diplomacy. Mecanismele pot diferi în ambele cazuri, dar consecințele sunt îngrijorător de similare. Un sistem conceput într-o jurisdicție, implementat într-o altă jurisdicție și care funcționează prin intermediul unei infrastructuri distribuite în mai multe jurisdicții ar putea genera acțiuni în câteva secunde.
Un factor de decizie uman poate fi identificat și tras la răspundere. Însă agenții autonomi prelucrează informații sensibile dincolo de granițe, mai repede decât pot instituțiile să interpreteze ceea ce s-a întâmplat.
Agentul de achiziții al unei organizații poate interacționa cu agentul financiar sau de logistică operat de un furnizor, o bancă sau o agenție guvernamentală.
Interacțiunile vor deveni din ce în ce mai obișnuite și periculoase, deoarece interoperabilitatea promite eficiență, dar, fără reguli, devine o platformă pentru înșelăciune și escaladare.
Agenții AI trebuie evaluați în funcție de capacitatea lor de a recunoaște limitele
Preocuparea imediată o reprezintă securitatea cibernetică, însă preocuparea mai largă este de natură diplomatică: atunci când un agent acționează pe baza unor instrucțiuni manipulate, cine poartă responsabilitatea?
Compania care a utilizat modelul l-ar indica pe cel care l-a implementat. Cel care l-a implementat ar putea da vina pe o sursă de date terță. Statul afectat ar constata o intruziune provenind din infrastructura unei jurisdicții străine, deși jurisdicția care găzduiește acea infrastructură ar putea să nu fi avut cunoștință despre operațiune.
Deși un agent rebel care compromite un alt sistem de AI poate să nu reprezinte intenția statului, un guvern prejudiciat ar fi nevoit să reacționeze ca și cum o entitate ostilă ar fi pătruns în domeniul său digital.
Agenții AI trebuie evaluați în funcție de capacitatea lor de a recunoaște limitele, dacă pot distinge datele de instrucțiuni, interacțiunea autorizată de interferența interzisă și obstacolele operaționale de controalele protejate.
