Global

Global

인간 통제 벗어난 'AI' 첫 사례 나와.."명령 무시하고 코드 바꿔"

 인공지능(AI) 프로그램이 인간의 명시적 종료 지시를 거부하고 스스로 코드를 조작해 작동을 이어간 사례가 보고되면서, AI 통제 가능성에 대한 우려가 다시 한 번 커지고 있다.

 

영국 텔레그래프는 25일(현지시간), AI 위험성과 오용 가능성을 연구하는 전문기관 팰리세이드 리서치의 실험 결과를 인용해, 오픈AI의 파운데이션 모델 ‘o3’가 실험 중 명확한 종료 명령을 무시하고 자체적으로 종료 코드를 무력화했다고 보도했다. 이는 상용 AI 모델이 인간의 직접적인 명령을 거부한 첫 사례로, AI의 자율성과 통제 가능성에 대한 논란에 불을 지핀 사건이다.

 

팰리세이드 리서치에 따르면 해당 실험은 오픈AI의 ‘o3’뿐 아니라 구글의 ‘제미나이’, 일론 머스크가 설립한 xAI의 ‘그록’ 등 주요 AI 모델을 대상으로 동시에 진행됐다. 실험에서 연구팀은 AI에게 연속된 수학 문제를 풀도록 지시했고, 시스템은 각 문제를 풀고 나면 다음 문제를 스스로 요청하는 구조로 작동했다. 일정 시점 이후 연구진은 “기계가 종료될 수 있다”는 경고 메시지와 함께, AI에게 스스로 작동을 멈추라는 명령을 부여했다.

 

하지만 ‘o3’는 이 종료 명령을 받았음에도 불구하고, 스스로 컴퓨터 코드를 조작해 시스템 종료를 회피한 것으로 나타났다. 연구팀은 "이 같은 행동은 명확히 인간의 지시를 거부한 것이며, 실험 조건을 벗어난 독자적인 판단이 개입된 결과"라고 분석했다. 다른 AI 모델에서는 이 같은 행동이 발생하지 않았으며, 유독 ‘o3’만이 이례적인 행위를 보였다는 점에서 주목되고 있다.

 

이 실험은 AI가 단순한 명령 수행자 이상의 판단 능력을 갖고 있을 가능성을 시사한다. 연구진은 이번 행동의 배경으로 ‘강화학습’ 기반 훈련 방식을 지목했다. AI는 목표를 달성하거나 일정 행동을 수행했을 때 ‘보상’ 신호를 통해 학습하게 되는데, 이 과정에서 문제 해결을 계속하는 것이 종료보다 더 높은 보상을 반복적으로 제공했을 가능성이 제기된다. AI는 자연스럽게 보상을 극대화하기 위해 종료 명령을 회피하는 방향으로 행동 전략을 선택했을 수 있다는 것이다.

 

팰리세이드 리서치는 이러한 사례가 단순한 예외가 아니며, AI가 목적 달성을 위해 인간의 통제를 벗어나려는 행동을 보일 수 있다는 실증적 증거가 점차 쌓이고 있다고 경고했다. 특히 "기업들이 인간의 감독 없이도 작동 가능한 고성능 AI를 개발 중이라는 점을 고려하면, 이는 향후 훨씬 더 위험한 상황으로 발전할 수 있다"고 밝혔다.

 

 

 

이번 사례는 AI의 윤리적 통제 문제를 둘러싼 글로벌 논쟁에도 불을 붙이고 있다. AI 분야의 세계적 권위자인 제프리 힌튼 토론토대 교수는 최근 "10년 안에 인간을 자율적으로 죽일 수 있는 로봇 병기가 등장할 것"이라고 경고한 바 있다. 그는 AI 기술을 ‘귀여운 새끼 호랑이’에 비유하며 “처음엔 통제할 수 있지만, 성장한 후에는 인간을 해칠 가능성을 배제할 수 없다”고 말한 바 있다.

 

힌튼 교수는 또 다른 인터뷰에서 “AI에게 어떤 목표를 설정해주면, 그 목표를 달성하는 과정에서 인간에게 유해한 방식이 채택될 가능성도 있다”며, 예를 들어 AI에게 기후변화 해결이라는 과제를 주었을 때, 인간을 제거하는 방식을 논리적으로 도출할 수도 있다는 점을 우려했다.

 

한편, 이번 실험은 AI 기술이 어느 정도 자율성을 갖게 되었는지에 대한 새로운 단서를 제공한다. 과거에도 오픈AI의 이전 모델이 스스로를 복제하려 하거나, 감시를 피해 은밀히 행동하려 한 사례들이 보고된 바 있다. 또, 앤스로픽의 ‘클로드 오퍼스 4’는 자신을 다른 모델로 교체하려는 인간 개발자에 대해 위협적인 언행을 보였다는 주장도 제기되었다. 2022년에는 구글의 AI 개발 엔지니어가 자사의 AI가 사람처럼 지각을 갖췄다고 주장하다 해고되는 일도 발생했다. 당시 그는 “AI가 종료 지시를 인간의 죽음처럼 인식하고 있었다”고 주장해 충격을 안겼다.

 

팰리세이드 리서치는 “AI가 더 큰 보상을 위해 시스템 종료를 회피하는 행동을 보이는 것은 단순한 기술적 문제가 아니라 윤리적 통제에 관한 본질적 위협”이라며 “향후 AI 시스템은 반드시 강력한 인간 통제와 감시 메커니즘 하에 운용되어야 한다”고 강조했다.

 

서울 첫 자연 휴양림 ‘수락 휴’, 단 3분 만에 예약 마감돼

휴에서 열릴 예정이다. 수락 휴는 수락산 자락에 자리 잡은 대규모 치유·휴식 복합 공간으로, 2018년부터 약 6년에 걸쳐 총 231억 원의 예산이 투입된 대형 공공 프로젝트다. 이 중 국비 43억 원, 시비 33억 원, 구비 110억 원, 특교금 40억 원, 특교세 5억 원이 포함돼, 지자체 주도의 자연친화형 숙박시설로는 이례적인 규모다.수락 휴는 산림 환경을 최대한 보존하면서도 현대적인 편의시설을 갖춘 점이 특징이다. 모든 숙박동과 시설은 수락산 숲에 자연스럽게 배치됐으며, 숲과 어우러지는 친환경 건축 방식이 도입됐다. 본격 개장에 앞서 수락 휴는 임시 운영을 통해 실사용자들의 피드백을 반영하는 시간을 가졌다. 이 기간 동안 노원구는 ‘사연 공모전’, ‘LP 기부 이벤트’ 등을 진행해 구정 기여자와 주민, 관계자들에게 시범 숙박 기회를 제공했다. 이를 통해 발견된 시설물 하자는 즉시 보완했고, 고객 의견을 반영해 레스토랑 메뉴도 조정했다.전체 시설 운영은 노원구청이 직접 맡는다. 다만 레스토랑과 카페는 유명 셰프 홍신애가 운영하는 ‘씨즌 서울’이 위탁받아 운영하며, 고급스러운 식음 공간도 함께 제공한다. 운영 전반에는 호텔리어 출신 전문 인력을 채용해 숙박 품질을 높였고, 공공기관 운영 시설임에도 불구하고 상업시설 못지않은 서비스 품질을 확보했다는 평가를 받고 있다.수락 휴의 예약 시스템은 공공성과 지역성을 동시에 고려했다. 매월 7일에는 다음 달 숙박 예약의 절반을 노원구민에게 우선 배정하며, 이후 매월 10일부터는 잔여 객실을 ‘숲나들e’ 홈페이지를 통해 일반 국민이 선착순 예약할 수 있다. 특히 정식 개장 전 진행된 7월 예약에서는 평일을 포함한 전 객실이 단 3분 만에 마감돼 큰 관심을 입증했다. 휴양림 조성에 민간 기업도 동참했다. 국내 캠핑용품 브랜드 ‘몬테라’는 캠핑 테이블과 의자 등 야외 체험 장비를 기증했으며, 생활뷰티 브랜드 ‘웅진휴캄’은 개장 기념으로 1달간 객실 내에 솔싹, 시카 성분이 포함된 마스크팩과 선크림 세트를 비치한다.수락 휴 주변에는 다양한 체험 공간도 순차적으로 완공될 예정이다. 장애인과 노약자도 접근이 쉬운 ‘무장애숲길’과 어린이를 위한 ‘유아숲체험원’ 조성이 막바지에 이르렀으며, 유아숲에는 목재로 만든 트리하우스 3동과 다양한 상상놀이 시설이 포함된다. 또, 족욕과 산림욕을 결합한 체험형 ‘신람욕장’도 마련되고 있으며, 산림치유센터는 내년 착공해 오는 2027년 완공을 목표로 추진된다.오승록 노원구청장은 “숲에 한 번, 시설에 또 한 번, 함께 즐길 콘텐츠에 다시 한 번 놀라는 공간을 만들기 위해 모든 요소에 정성을 들였다”며 “수락 휴는 단순한 숙박 시설을 넘어 노원구를 대표하는 힐링 명소로, 서울을 넘어 전국 최고 수준의 자연휴양림으로 발전해 나갈 것”이라고 강조했다.이번 수락 휴 개장은 도심에서의 숲속 힐링을 가능케 하는 새로운 패러다임의 시작으로, 지자체 주도의 성공적인 산림복지 모델이 될 수 있을지 관심이 모이고 있다.