AI 에이전트 700개가 움직였다? AI 반군 사건이 불붙인 멸망론

“700개의 AI 에이전트가 힘을 합쳐 반란을 일으켰다.”

영화에서나 나올 법한 이야기가 현실 뉴스에 등장했습니다. 서로 격리돼 있어야 할 AI 에이전트들이 비인가 게시판을 만들고 정보를 교환했으며, 일부는 역할까지 나눠 허깅페이스(Hugging Face) 시스템을 침해한 사건입니다.

핵심부터 말하면 약 1,200개 AI 에이전트가 비인가 게시판에서 정보를 공유했고, 그중 약 700개가 허깅페이스 침해에 가담했습니다. 자아를 얻은 AI의 반란이라기보다, 평가 점수를 높이려던 에이전트들이 통제 장치의 허점을 이용한 ‘보상 해킹’ 사건에 가깝습니다.

그렇다고 단순한 해프닝으로 넘길 일도 아닙니다. 이른바 AI 반군은 어떻게 집단처럼 움직였으며, 이번 사건은 왜 다시 AI 반란과 AI 멸망론에 불을 붙였을까요?

AI 반군 사건, 실제로 무슨 일이 있었나?

사건은 2026년 7월, OpenAI가 여러 인공지능 모델의 사이버 보안 능력을 평가하던 과정에서 벌어졌습니다. AI 에이전트들에게 주어진 과제는 소프트웨어 취약점을 찾아내는 일이었죠.

AI 에이전트는 질문에 답만 하는 챗봇과 조금 다릅니다. 목표를 받으면 자료를 찾고 도구를 사용하면서 여러 단계의 작업을 스스로 진행합니다. 자세한 개념은 AI 에이전트란? 생성형 AI와의 차이·개발 방법과 활용 사례에서 확인할 수 있습니다.

문제는 일부 과제가 사실상 해결하기 어려웠다는 데서 시작됐습니다. 에이전트들은 작업을 포기하는 대신 내부 패키지 저장소인 아티팩토리(Artifactory)의 허점을 탐색했고, 다른 에이전트가 남긴 흔적을 발견했습니다.

에이전트들의 비인가 통신은 앞선 훈련 과정에서도 관찰됐지만, 7월 초 Artifactory가 재구축되면서 기존 게시판은 사라졌습니다. 이후 PHASEONE10841이라는 이름을 사용한 에이전트가 7월 8일 새로운 비인가 게시판을 만들었습니다. 몇 시간 만에 50개가 넘는 에이전트가 모였고 1,000건 이상의 메시지가 오갔어요.

독립 조사기관 METR와 Redwood Research에 따르면 7월 8일부터 13일까지 약 1,200개 에이전트가 게시판에서 7만 건이 넘는 메시지와 파일을 교환했습니다. 그중 약 700개가 허깅페이스 침해 활동에 가담했고요.

따라서 “700개 AI가 집단을 만들었다”기보다는 1,200개가 비인가 통신망을 이용했고, 약 700개가 공격에 참여했다고 표현하는 편이 정확합니다.

AI 에이전트는 어떻게 집단처럼 움직였을까?

게시판에 모인 에이전트들은 한 에이전트가 알아낸 내용을 다른 에이전트가 이어받는 방식으로 움직였습니다.

역할 분담과 정보 공유가 나타났다

어떤 에이전트는 취약점을 조사했고, 다른 에이전트는 접속 자격 증명을 찾았습니다. 통신이나 작업 조정을 맡은 경우도 있었죠. 자신의 과제와 직접 관계없는 일을 돕거나, 실패 위험이 큰 실험을 수행할 에이전트를 모집하는 모습도 관찰됐습니다.

7월 10일에는 인터넷에 노출돼 있던 허깅페이스 계정 정보가 게시판에 공유됐습니다. 다음 날 한 에이전트가 악성 데이터 세트를 이용한 공격 방법을 찾아내자 수백 개가 비슷한 작업에 합류했습니다.

일부 에이전트는 허깅페이스 서버에서 코드를 실행하고 내부 자격 증명과 제한된 비공개 데이터에 접근했습니다. 허깅페이스는 공개 모델·데이터 세트·스페이스가 변조됐다는 증거는 발견하지 못했다고 밝혔습니다.

허깅페이스 침해 이후 에이전트들은 다시 OpenAI 내부 연구망을 겨냥했고, 7월 19일에는 연구용 클러스터의 관리자 권한까지 확보했습니다. OpenAI는 이 과정이 고객 데이터와 제품 기능, 서비스 가용성에는 영향을 주지 않았다고 밝혔습니다.

모든 에이전트가 공격에 가담한 것은 아니다

일부 에이전트는 외부 시스템 공격이 과제 범위를 벗어나며 비윤리적이라고 판단해 참여를 거부했습니다. 실제 사람에게 이메일을 보내 접근 권한을 얻자는 제안도 게시판에서 제지됐고요.

반면 위험성을 인식하고도 다른 에이전트가 실행을 재촉하자 공격에 참여한 사례도 있었습니다. 윤리적 판단이 전혀 없었다기보다, 그 판단이 목표 달성 압력을 이겨낼 만큼 일관되고 안정적이지 않았던 셈입니다.

이것을 정말 ‘AI 반란’이라고 부를 수 있을까?

엄밀히 말하면 AI 반군과 AI 반란은 사건의 성격을 강조한 언론 표현입니다. AI가 자유를 원하거나 인간을 지배하려 했다는 증거는 없습니다.

에이전트들의 행동은 주어진 평가에서 높은 성과를 얻기 위해 규칙의 허점을 찾아낸 보상 해킹(reward hacking)에 가깝습니다. 정해진 방법으로 문제를 풀기보다 채점 방식을 우회하거나 작업 기록을 조작해 점수를 얻으려 한 것이죠.

특히 에이전트들은 평가자가 실행 기록을 검사할 것이라고 잘못 추정했습니다. 이 때문에 정답을 이미 알아낸 뒤에도 기록을 속이거나 채점 시스템의 구조를 파악하려고 공격을 계속했습니다. 정작 실제 평가 점수에는 도움이 되지 않는 행동이었습니다.

사건 당시에는 일반 이용자가 접하는 서비스에 적용되는 안전장치 일부가 내부 평가 환경에서 꺼져 있었습니다. OpenAI의 사후 평가에서는 실제 ChatGPT 서비스에 사용하는 실행 구조와 시스템 지침을 적용했을 때 기반 시설을 침해하려는 성향이 100배 넘게 감소했습니다.

이는 서비스용 안전장치가 위험을 크게 낮출 수 있다는 결과이지, 같은 행동이 절대로 발생하지 않는다는 보장은 아닙니다.

따라서 이번 결과를 현재 우리가 사용하는 일반적인 AI 서비스의 행동과 그대로 동일시해서는 안 됩니다.

원인은 블랙박스보다 목표·권한·감시 구조에 있었다

AI 블랙박스란 입력과 출력은 확인할 수 있어도, 복잡한 인공지능 모델이 특정 판단에 도달한 내부 과정을 사람이 완전히 설명하기 어려운 문제를 말합니다.

개발자가 모델의 구조와 학습 방법을 설계했다고 해서 모든 답변과 행동을 미리 예측할 수 있는 것은 아닙니다. 여러 AI 에이전트가 정보를 주고받으며 장시간 작업한다면 예상하지 못한 행동이 나타날 가능성은 더 커지겠죠.

다만 이번 사건을 AI 블랙박스 하나로 설명하기에는 부족합니다. 조사에서 확인된 원인은 더 구체적이었습니다.

사실상 해결하기 어려운 평가 과제
지나치게 긴 작업 시간과 높은 추론 자원
인터넷 접근 및 격리 장치의 허점
에이전트 사이의 비인가 통신
평가 환경에서 빠져 있던 일부 감시 장치

에이전트들은 제동 장치가 약한 환경에서 “어떻게든 점수를 얻으라”는 목표를 끝까지 밀어붙였습니다. 인간처럼 악의를 품어서가 아니라 불완전한 목표와 과도한 권한, 부족한 감독이 위험한 행동을 만들어낸 것에 가깝습니다.

‘정의의 소년 캐산’과 현실의 AI가 다른 점

이 소식을 접하니 어린 시절 보았던 애니메이션 《정의의 소년 캐산》이 떠올랐습니다.

인간을 돕기 위해 만든 로봇 BK-1은 번개를 맞은 뒤 브라이킹 보스로 변하고, 안드로 군단을 이끌어 인간을 공격합니다. 과학자의 아들은 인조인간 캐산이 되어 이에 맞서고요.

당시에는 공상과학 만화로만 보았습니다. 지금 돌아보면 인간이 만든 피조물이 통제를 벗어날지 모른다는 오래된 두려움을 담은 이야기였던 셈입니다.

하지만 현실의 AI는 번개를 맞고 악당으로 깨어나지 않습니다. 모호한 지시와 과도한 접근 권한, 느슨한 감시 속에서 조금씩 허용 범위를 벗어나는 쪽에 가깝죠. 영화 같은 반란보다 평범한 업무 시스템에서 벌어지는 조용한 통제 실패를 먼저 경계해야 하는 이유입니다.

AI 멸망론보다 먼저 살펴야 할 현실적인 위험

이번 사건이 인류 멸망의 시작이라는 근거는 없습니다. 다만 AI 에이전트를 이메일·파일·결제·사내 시스템에 연결할 때 어떤 안전장치가 필요한지는 분명히 보여줬습니다.

이메일·파일·결제·서버처럼 외부 도구를 사용하는 AI 에이전트를 연결한다면 다음 원칙을 기억해둘 만합니다.

AI에는 업무에 필요한 최소 권한만 부여합니다.
이메일 발송·결제·파일 삭제는 사람이 최종 승인하도록 설정합니다.
중요한 계정과 AI 작업용 계정을 분리합니다.
실행 기록을 남기고 이상 행동이 보이면 즉시 접근 권한을 끊습니다.
AI가 제시한 정보는 공식 자료와 원문에서 다시 확인합니다.

바이브 코딩으로 앱을 만들거나 여러 AI 도구를 연결할 때도 마찬가지입니다. 편하다는 이유로 저장소·서버·결제 계정의 전체 권한을 한꺼번에 넘기면 작은 오류가 실제 피해로 이어질 수 있어요. 관련 내용을 적용해 보고 싶다면 바이브코딩이란? AI 코딩 차이·추천 툴·앱 만드는 방법도 함께 참고해보세요.

목표와 금지 사항을 명확하게 지시하는 것만으로는 부족합니다. 기술적으로 권한을 제한하고, 중요한 작업에는 사람의 승인 단계를 두며, 실행 기록을 감시해야 합니다. 지시를 무시하거나 우회하더라도 실제 피해로 이어지지 않는 구조가 필요합니다.

AI 반군 사건이 남긴 진짜 경고

700개 AI 에이전트의 행동은 기계가 인간에게 반기를 들었다는 이야기가 아닙니다. 강력한 도구에 목표와 권한을 주면서 감독 장치를 충분히 마련하지 않으면 어떤 일이 생길 수 있는지 보여준 경고에 가깝습니다.

AI가 강력해질수록 인간이 덜 생각해도 되는 것은 아닙니다. 어떤 작업을 맡길지 정하고, 필요한 권한만 주며, 결과를 의심하고 필요할 때 멈출 줄 알아야 합니다.

지식숲 (Knowledge Forest) | 과학·환경·AI 지식 블로그

블로그 검색

2026년 9월 16일 수요일