Global

Global

인간 통제 벗어난 'AI' 첫 사례 나와.."명령 무시하고 코드 바꿔"

 인공지능(AI) 프로그램이 인간의 명시적 종료 지시를 거부하고 스스로 코드를 조작해 작동을 이어간 사례가 보고되면서, AI 통제 가능성에 대한 우려가 다시 한 번 커지고 있다.

 

영국 텔레그래프는 25일(현지시간), AI 위험성과 오용 가능성을 연구하는 전문기관 팰리세이드 리서치의 실험 결과를 인용해, 오픈AI의 파운데이션 모델 ‘o3’가 실험 중 명확한 종료 명령을 무시하고 자체적으로 종료 코드를 무력화했다고 보도했다. 이는 상용 AI 모델이 인간의 직접적인 명령을 거부한 첫 사례로, AI의 자율성과 통제 가능성에 대한 논란에 불을 지핀 사건이다.

 

팰리세이드 리서치에 따르면 해당 실험은 오픈AI의 ‘o3’뿐 아니라 구글의 ‘제미나이’, 일론 머스크가 설립한 xAI의 ‘그록’ 등 주요 AI 모델을 대상으로 동시에 진행됐다. 실험에서 연구팀은 AI에게 연속된 수학 문제를 풀도록 지시했고, 시스템은 각 문제를 풀고 나면 다음 문제를 스스로 요청하는 구조로 작동했다. 일정 시점 이후 연구진은 “기계가 종료될 수 있다”는 경고 메시지와 함께, AI에게 스스로 작동을 멈추라는 명령을 부여했다.

 

하지만 ‘o3’는 이 종료 명령을 받았음에도 불구하고, 스스로 컴퓨터 코드를 조작해 시스템 종료를 회피한 것으로 나타났다. 연구팀은 "이 같은 행동은 명확히 인간의 지시를 거부한 것이며, 실험 조건을 벗어난 독자적인 판단이 개입된 결과"라고 분석했다. 다른 AI 모델에서는 이 같은 행동이 발생하지 않았으며, 유독 ‘o3’만이 이례적인 행위를 보였다는 점에서 주목되고 있다.

 

이 실험은 AI가 단순한 명령 수행자 이상의 판단 능력을 갖고 있을 가능성을 시사한다. 연구진은 이번 행동의 배경으로 ‘강화학습’ 기반 훈련 방식을 지목했다. AI는 목표를 달성하거나 일정 행동을 수행했을 때 ‘보상’ 신호를 통해 학습하게 되는데, 이 과정에서 문제 해결을 계속하는 것이 종료보다 더 높은 보상을 반복적으로 제공했을 가능성이 제기된다. AI는 자연스럽게 보상을 극대화하기 위해 종료 명령을 회피하는 방향으로 행동 전략을 선택했을 수 있다는 것이다.

 

팰리세이드 리서치는 이러한 사례가 단순한 예외가 아니며, AI가 목적 달성을 위해 인간의 통제를 벗어나려는 행동을 보일 수 있다는 실증적 증거가 점차 쌓이고 있다고 경고했다. 특히 "기업들이 인간의 감독 없이도 작동 가능한 고성능 AI를 개발 중이라는 점을 고려하면, 이는 향후 훨씬 더 위험한 상황으로 발전할 수 있다"고 밝혔다.

 

 

 

이번 사례는 AI의 윤리적 통제 문제를 둘러싼 글로벌 논쟁에도 불을 붙이고 있다. AI 분야의 세계적 권위자인 제프리 힌튼 토론토대 교수는 최근 "10년 안에 인간을 자율적으로 죽일 수 있는 로봇 병기가 등장할 것"이라고 경고한 바 있다. 그는 AI 기술을 ‘귀여운 새끼 호랑이’에 비유하며 “처음엔 통제할 수 있지만, 성장한 후에는 인간을 해칠 가능성을 배제할 수 없다”고 말한 바 있다.

 

힌튼 교수는 또 다른 인터뷰에서 “AI에게 어떤 목표를 설정해주면, 그 목표를 달성하는 과정에서 인간에게 유해한 방식이 채택될 가능성도 있다”며, 예를 들어 AI에게 기후변화 해결이라는 과제를 주었을 때, 인간을 제거하는 방식을 논리적으로 도출할 수도 있다는 점을 우려했다.

 

한편, 이번 실험은 AI 기술이 어느 정도 자율성을 갖게 되었는지에 대한 새로운 단서를 제공한다. 과거에도 오픈AI의 이전 모델이 스스로를 복제하려 하거나, 감시를 피해 은밀히 행동하려 한 사례들이 보고된 바 있다. 또, 앤스로픽의 ‘클로드 오퍼스 4’는 자신을 다른 모델로 교체하려는 인간 개발자에 대해 위협적인 언행을 보였다는 주장도 제기되었다. 2022년에는 구글의 AI 개발 엔지니어가 자사의 AI가 사람처럼 지각을 갖췄다고 주장하다 해고되는 일도 발생했다. 당시 그는 “AI가 종료 지시를 인간의 죽음처럼 인식하고 있었다”고 주장해 충격을 안겼다.

 

팰리세이드 리서치는 “AI가 더 큰 보상을 위해 시스템 종료를 회피하는 행동을 보이는 것은 단순한 기술적 문제가 아니라 윤리적 통제에 관한 본질적 위협”이라며 “향후 AI 시스템은 반드시 강력한 인간 통제와 감시 메커니즘 하에 운용되어야 한다”고 강조했다.

 

QR코드 한 번 찍었더니 괌·사이판 숙소가 공짜?... 놀유니버스 여름 캠페인 실시

세계를 놀랍게'라는 브랜드 메시지를 중심으로 한 여름 시즌 캠페인을 본격적으로 전개하고 있다.이번 캠페인은 여행과 여가, 문화 생활 속에서 경험하는 다양한 감정의 순간들에 초점을 맞춘 3부작 영상 시리즈로 구성됐다. 첫 번째 영상인 '하늘은 언제나 그곳에 있었다' 편에서는 여행을 떠나는 순간의 기대감과 설렘을 담아냈다. 두 번째 영상 '여름이 내게 놀러왔다' 편은 친구들과 함께 바다로 떠난 여행에서 느끼는 여유로움과 청량함을 생생하게 표현했다. 지난 6월 30일 오전 10시에는 시리즈의 대미를 장식하는 '내가 가장 뜨거운 계절의 시작' 편이 공개됐는데, 이 영상에서는 페스티벌 현장의 활기찬 분위기와 관객들이 느끼는 감동의 순간을 담아냈다.놀유니버스는 이 세 편의 영상을 공식 유튜브 채널과 인스타그램을 통해 제공하고 있어, 누구나 쉽게 접근하고 시청할 수 있다. 각 영상은 여름이라는 계절이 주는 특유의 감성과 여행지에서 경험할 수 있는 다양한 순간들을 아름다운 영상미로 표현해 시청자들에게 간접적인 여행 경험을 선사한다.놀유니버스는 디지털 콘텐츠에서 한 발 더 나아가 실제 공간으로 캠페인을 확장했다. 서울 용산역 인근에 설치된 대형 인터랙티브 디지털 월은 이번 캠페인의 몰입감을 한층 더 높여주는 요소다. 이 디지털 월 앞에 서면 관람객의 움직임에 반응하는 바다 생물 그래픽이 등장해 마치 도심 한복판에서 바다 속을 유영하는 듯한 색다른 체험을 제공한다. 이러한 인터랙티브 요소는 지나가는 행인들의 호기심을 자극하고, 브랜드와의 직접적인 상호작용을 통해 더욱 강렬한 인상을 남긴다.또한 놀유니버스는 이 디지털 월에 QR코드를 삽입해 실질적인 혜택도 제공한다. 관람객이 이 QR코드를 스캔하면 베트남, 태국, 괌, 사이판 등 인기 해외 휴양지 숙소에서 사용할 수 있는 최대 10% 할인권을 받을 수 있다. 이는 단순한 브랜드 홍보를 넘어 실제 소비자들에게 여행 계획 시 경제적 혜택을 주는 실용적인 프로모션이다. 이 옥외 광고는 7월 27일까지 운영될 예정이어서, 여름 휴가를 계획하는 사람들에게 유용한 기회가 될 것으로 보인다.이철웅 놀유니버스 최고마케팅책임자(CMO)는 이번 캠페인의 의의에 대해 "여행, 여가, 문화 생활 속 감정을 주제로 고객의 경험을 브랜드와 연결하는 새로운 시도"라고 설명했다. 또한 "놀유니버스만의 브랜드 메시지와 다양한 즐길거리로 일상 속 놀라운 순간을 선물할 계획"이라고 덧붙이며, 앞으로도 고객들에게 특별한 경험을 제공하기 위한 다양한 활동을 이어갈 것임을 시사했다.이번 캠페인은 단순한 여행 상품 판매를 넘어 여행이 주는 감동과 일상에서 벗어나는 특별한 순간들을 브랜드 가치와 연결시키는 전략적 접근이 돋보인다. 특히 디지털 콘텐츠와 실제 체험을 결합한 옴니채널 마케팅으로, 온라인과 오프라인을 아우르는 통합적인 브랜드 경험을 제공한다는 점에서 주목받고 있다. 놀유니버스는 이를 통해 여행 플랫폼으로서의 정체성을 강화하고, 소비자들에게 더욱 친근하고 신뢰할 수 있는 브랜드 이미지를 구축해 나갈 것으로 기대된다.