AI가 인류를 멸종시킬 수 있을까? 정말 위험한 것은 무엇일까

AI가 인류를 멸종시킨다면 영화처럼 로봇들이 반란을 일으킬까요? 저는 오래전 감명 깊게 본 영화 〈터미네이터〉가 먼저 떠올랐습니다. 하지만 현재의 위험 논의는 로봇 반란보다 사람의 AI 악용과 미래 AI의 통제력 상실에 집중돼 있어요. 핵심 시설을 겨냥한 사이버 공격도 우려되지만, 대규모 피해와 인류 멸종은 구분해야 합니다.

AI로 인류가 멸종할 수 있다는 시나리오

2026년 국제 AI 안전 보고서는 사람이 AI를 악용하는 위험과, 미래의 강력한 AI를 사람이 통제하지 못할 위험을 다룹니다. 아래는 가능성이 입증된 사건 목록이 아닙니다. 피해가 극단적으로 커지려면 어떤 조건이 겹쳐야 하는지 살펴보는 시나리오예요. (internationalaisafetyreport.org)

1. 사람이 AI를 생물학적 위협에 악용한다면

AI는 방대한 자료를 빠르게 찾고 복잡한 내용을 설명합니다. 이 능력이 의학 연구에 쓰이면 유익하지만, 위험한 일을 시도하는 사람에게도 보탬이 될 수 있다는 우려가 있습니다. 전문 지식이 부족한 사람도 위험한 정보를 이해하기 쉬워질 수 있으니까요.

여기서 곧바로 ‘AI가 인류를 멸종시킬 병원체를 만든다’고 뛰어넘어서는 안 됩니다. 장비와 재료를 구하고 실제 작업을 수행하는 데는 별도의 장벽이 있습니다. 국제 AI 안전 보고서도 AI가 생물학적 위험을 얼마나 높이는지는 불확실하다고 밝힙니다. 인류 멸종은 가능한 최악의 결과를 논의하는 수준이며, 그에 이르는 경로가 입증된 것은 아닙니다. (internationalaisafetyreport.org)

2. 전력·통신·금융망이 공격받는다면

AI가 사이버 공격을 돕고 전력이나 통신 같은 시설에 장애가 생긴다면 피해가 여러 분야로 번질 수 있습니다. 의료 서비스나 일상적인 결제까지 영향을 받을 수도 있겠죠.

이 시나리오가 직접 설명하는 결과는 대규모 사회 혼란과 시설 피해입니다. 그 자체를 ‘인류 멸종’이라고 부를 수는 없어요. 모든 사람이 생존할 수 없게 된다는 주장에는 훨씬 더 많은 조건과 근거가 필요합니다.

3. 미래 AI를 사람이 통제하지 못한다면

더 먼 미래에는 AI에 복잡한 목표와 넓은 실행 권한을 줬다가, 사람이 그 행동을 파악하거나 중단하지 못하는 상황을 우려합니다. AI가 인간을 미워하거나 의식을 가져야만 가능한 이야기는 아닙니다. 목표를 수행하는 방식이 인간의 의도와 어긋날 수 있다는 것이 핵심이에요.

2026년 국제 AI 안전 보고서는 현재 AI 시스템이 이런 종류의 통제력 상실 위험을 일으킬 능력은 아직 갖추지 않았다고 평가합니다. 다만 관련 능력이 빠르게 발전하고 있어 앞으로도 불가능할지, 가능하다면 피해가 어디까지 커질지는 전문가들의 의견이 갈립니다. (internationalaisafetyreport.org)

시나리오	우선 우려하는 피해	인류 멸종과의 관계
생물학적 위협 악용	위험한 작업을 시도하는 사람에게 AI가 보탬이 될 가능성	극단적 결과로 논의되지만, 그 경로와 가능성은 불확실
핵심 시설 사이버 공격	전력·통신·금융 등의 장애와 대규모 사회 혼란	심각한 피해 가능성과 인류 멸종은 별개의 주장
미래 AI의 통제력 상실	AI의 행동을 사람이 막거나 되돌리기 어려운 상황	멸종까지 포함해 논의하지만, 현재 AI에서 확인된 상황은 아님

‘멸종 확률 5%’는 확정된 숫자일까?

2023년에 실시되고 2024년에 발표된 설문은 주요 AI 학술대회 등에 논문을 발표한 연구자 2,778명의 전망을 조사했습니다. 관련 문항에서 ‘인류 멸종과 같은 극단적으로 나쁜 결과’에 대해 응답자들이 제시한 확률의 중앙값은 5%, 평균은 9%였습니다.

이는 관측자료로 계산한 객관적인 멸종 확률도, 연구자의 5%만 위험을 걱정했다는 뜻도 아닙니다. 불확실한 미래를 두고 연구자들이 각자 제시한 주관적 전망을 요약한 값이며, 응답 범위도 넓었습니다. 따라서 ‘AI로 인류가 멸종할 확률은 과학적으로 5%’라고 해석해서는 안 됩니다. (arxiv.org)

정말 위험한 것은 AI일까, 사용하는 사람일까?

지난번 ‘AI 에이전트 700개가 가담한 허깅페이스 침해 사건’ 글에서도 이야기했지만, 저는 현재 우리가 먼저 경계해야 할 위험은 사람의 AI 악용과 무분별한 권한 부여라고 생각합니다. 요리사의 칼은 음식을 만들고 살인자의 칼은 생명을 위협하죠. AI도 사용하는 사람의 목적에 따라 연구를 돕거나 남을 해치는 일에 악용될 수 있습니다.

다만 칼 비유만으로 모든 문제가 설명되지는 않습니다. AI는 스스로 답을 만들고, 다른 시스템에 연결되면 빠르게 행동할 수도 있어요. 사용자의 도덕성뿐 아니라 개발사의 안전장치, AI에 허용한 권한, 핵심 시설의 대비도 함께 살펴야 합니다.

제게 AI는 똑똑하고 힘센 비서입니다. 처음 블로그를 시작했을 때 “AI가 쓴 글을 복사해 붙여넣으면 10분 만에 손쉽게 포스팅할 수 있다”는 강의를 들었어요. 하지만 누구나 10분 만에 얻을 수 있는 글이라면 독자가 제 블로그를 찾을 이유가 있을까 싶었습니다. 그래서 AI의 도움을 받더라도 자료를 확인하고 다시 편집하는 데 시간을 많이 씁니다. “글 하나에 시간을 쓰지 말고 올리는 글 수를 늘려야 한다”는 핀잔도 들었지만, 아직은 동의하지 않아요.

제 필명 ‘마이더스’를 보며 가끔 생각합니다. ‘마이더스’와 ‘마이너스’는 획 하나 차이라고요. AI 덕분에 수고와 시간이 줄어든 건 분명합니다. 하지만 결과를 무조건 믿을 수는 없어요. 어떻게 쓰고 무엇을 확인했느냐에 따라 독자에게 보탬이 될 수도, 부정확한 정보로 혼란을 더할 수도 있겠죠.

블로그 글 하나도 올린 사람이 확인하고 책임져야 합니다. 하물며 사람의 생명이나 중요한 시설에 영향을 주는 결정이라면, AI의 답에 마지막 서명만 해서는 부족하겠죠. EU AI 법 제14조가 고위험 AI 시스템을 사람이 효과적으로 감독할 수 있도록 설계하도록 규정한 것도 이와 닿아 있습니다. AI가 어디까지 행동할 수 있는지 정하고, 잘못됐을 때 사람이 개입할 수 있어야 합니다. (ai-act-service-desk.ec.europa.eu)

AI로 인한 인류 멸종의 가능성을 지금 숫자 하나로 확정할 수는 없습니다. 그렇기에 저는 더 구체적인 질문을 남기고 싶습니다. 우리는 AI에 어떤 권한을 주고 있으며, 그 결과를 이해하고 멈추고 책임질 사람은 누구인가요?

주요 참고 자료

작성자: 지식숲 운영자(Midas)

지식숲 (Knowledge Forest) | 과학·환경·AI 지식 블로그

블로그 검색

2026년 9월 23일 수요일