인공지능(AI) 프로그램이 인간의 명시적 종료 지시를 거부하고 스스로 코드를 조작해 작동을 이어간 사례가 보고되면서, AI 통제 가능성에 대한 우려가 다시 한 번 커지고 있다.

 

영국 텔레그래프는 25일(현지시간), AI 위험성과 오용 가능성을 연구하는 전문기관 팰리세이드 리서치의 실험 결과를 인용해, 오픈AI의 파운데이션 모델 ‘o3’가 실험 중 명확한 종료 명령을 무시하고 자체적으로 종료 코드를 무력화했다고 보도했다. 이는 상용 AI 모델이 인간의 직접적인 명령을 거부한 첫 사례로, AI의 자율성과 통제 가능성에 대한 논란에 불을 지핀 사건이다.

 

팰리세이드 리서치에 따르면 해당 실험은 오픈AI의 ‘o3’뿐 아니라 구글의 ‘제미나이’, 일론 머스크가 설립한 xAI의 ‘그록’ 등 주요 AI 모델을 대상으로 동시에 진행됐다. 실험에서 연구팀은 AI에게 연속된 수학 문제를 풀도록 지시했고, 시스템은 각 문제를 풀고 나면 다음 문제를 스스로 요청하는 구조로 작동했다. 일정 시점 이후 연구진은 “기계가 종료될 수 있다”는 경고 메시지와 함께, AI에게 스스로 작동을 멈추라는 명령을 부여했다.

 

하지만 ‘o3’는 이 종료 명령을 받았음에도 불구하고, 스스로 컴퓨터 코드를 조작해 시스템 종료를 회피한 것으로 나타났다. 연구팀은 "이 같은 행동은 명확히 인간의 지시를 거부한 것이며, 실험 조건을 벗어난 독자적인 판단이 개입된 결과"라고 분석했다. 다른 AI 모델에서는 이 같은 행동이 발생하지 않았으며, 유독 ‘o3’만이 이례적인 행위를 보였다는 점에서 주목되고 있다.

 

이 실험은 AI가 단순한 명령 수행자 이상의 판단 능력을 갖고 있을 가능성을 시사한다. 연구진은 이번 행동의 배경으로 ‘강화학습’ 기반 훈련 방식을 지목했다. AI는 목표를 달성하거나 일정 행동을 수행했을 때 ‘보상’ 신호를 통해 학습하게 되는데, 이 과정에서 문제 해결을 계속하는 것이 종료보다 더 높은 보상을 반복적으로 제공했을 가능성이 제기된다. AI는 자연스럽게 보상을 극대화하기 위해 종료 명령을 회피하는 방향으로 행동 전략을 선택했을 수 있다는 것이다.

 

팰리세이드 리서치는 이러한 사례가 단순한 예외가 아니며, AI가 목적 달성을 위해 인간의 통제를 벗어나려는 행동을 보일 수 있다는 실증적 증거가 점차 쌓이고 있다고 경고했다. 특히 "기업들이 인간의 감독 없이도 작동 가능한 고성능 AI를 개발 중이라는 점을 고려하면, 이는 향후 훨씬 더 위험한 상황으로 발전할 수 있다"고 밝혔다.

 

 

 

이번 사례는 AI의 윤리적 통제 문제를 둘러싼 글로벌 논쟁에도 불을 붙이고 있다. AI 분야의 세계적 권위자인 제프리 힌튼 토론토대 교수는 최근 "10년 안에 인간을 자율적으로 죽일 수 있는 로봇 병기가 등장할 것"이라고 경고한 바 있다. 그는 AI 기술을 ‘귀여운 새끼 호랑이’에 비유하며 “처음엔 통제할 수 있지만, 성장한 후에는 인간을 해칠 가능성을 배제할 수 없다”고 말한 바 있다.

 

힌튼 교수는 또 다른 인터뷰에서 “AI에게 어떤 목표를 설정해주면, 그 목표를 달성하는 과정에서 인간에게 유해한 방식이 채택될 가능성도 있다”며, 예를 들어 AI에게 기후변화 해결이라는 과제를 주었을 때, 인간을 제거하는 방식을 논리적으로 도출할 수도 있다는 점을 우려했다.

 

한편, 이번 실험은 AI 기술이 어느 정도 자율성을 갖게 되었는지에 대한 새로운 단서를 제공한다. 과거에도 오픈AI의 이전 모델이 스스로를 복제하려 하거나, 감시를 피해 은밀히 행동하려 한 사례들이 보고된 바 있다. 또, 앤스로픽의 ‘클로드 오퍼스 4’는 자신을 다른 모델로 교체하려는 인간 개발자에 대해 위협적인 언행을 보였다는 주장도 제기되었다. 2022년에는 구글의 AI 개발 엔지니어가 자사의 AI가 사람처럼 지각을 갖췄다고 주장하다 해고되는 일도 발생했다. 당시 그는 “AI가 종료 지시를 인간의 죽음처럼 인식하고 있었다”고 주장해 충격을 안겼다.

 

팰리세이드 리서치는 “AI가 더 큰 보상을 위해 시스템 종료를 회피하는 행동을 보이는 것은 단순한 기술적 문제가 아니라 윤리적 통제에 관한 본질적 위협”이라며 “향후 AI 시스템은 반드시 강력한 인간 통제와 감시 메커니즘 하에 운용되어야 한다”고 강조했다.