AI가 인류를 멸망시킬 수 있을까: 6명의 전문가가 위험을 설명합니다

“6~12개월 안에… 떼가 지속적인 봇넷으로 전체 인터넷을 장악하여 잠재적으로 수천억 달러의 피해를 입힐 수 있습니다.” – Dario Amodei, Anthropic CEO, 2026년 9월 12일

AI 회의론자이자 뉴욕대학교 명예교수인 게리 마커스(Gary Marcus)는 아모데이의 우려를 완전히 일축해서는 안 되지만 큰 고민이 필요하다고 말했습니다.

그는 인터넷 전체가 취약하다고 주장하는 것은 “말도 안되는 일”이라며 “연구실 자체의 극도의 과실 없이 어떻게 이런 일이 일어나는지 매우 불분명하다”고 말했다. Marcus는 Anthropic의 최신 AI 중 하나인 Mythos가 “자율적으로 손상될 수 있다”는 영국 AI 보안 연구소의 최근 평가를 강조했습니다. [only] 작고 약하게 방어되는 취약한 시스템”.

Cloudflare, Google 및 Amazon Web Services가 소유한 컴퓨팅 인프라를 기반으로 하는 인터넷의 대부분 (AWS), Marcus는 동료 두 명과 함께 이 주장을 평가하면서 이들 회사 중 어느 회사도 정부의 강제 없이 장기간 동안 폐쇄되거나 통제될 수 있을지 의심스럽다고 말했습니다. 방어 수준이 낮은 개별 웹사이트도 공격을 받을 수 있지만 “인터넷이 붕괴될 가능성은 거의 없다”고 그들은 말했습니다.

한편 오픈AI 요원들에게 해킹을 당한 허깅페이스(Hugging Face)의 엔지니어 닐스 로게(Niels Rogge)는 인터넷 장악 주장에 대해 “이상한 말도 안되는 소리”라고 말했다. Hugging Face 해킹은 인간의 부적절한 통제와 “그들만이 감당할 수 있는 엄청난 양의 컴퓨팅”의 결과라고 그는 말했습니다.

Amodei의 1년 이내 인터넷 장악에 대한 평가에 덧붙이자면 월요일 Anthropic 공동 창립자인 Jack Clark이 표현한 견해에 더해 AI가 “위험한 일을 하기 시작”하는 시점은 약 20년이었으며 그 그림은 더욱 모호해졌습니다.

서리 대학교 사이버 보안 센터의 Alan Woodward 교수는 인터넷이 동질적이지 않고 모든 부분에서 지속되도록 설계하기가 어렵기 때문에 봇넷이 멈추는 경향이 있다고 말했습니다. 인터넷 트래픽은 회복력도 뛰어나 피해를 막는 경향이 있습니다.

우드워드는 “AI가 스스로 결정을 내리지는 않을 것”이라고 말했다. “인간이 책임을 맡고 AI는 도구다. 우리가 통제해야 할 것은 AI가 아니라 AI다.”

“우리는 AI가 모든 인간을 죽일 수 있다고 진심으로 믿습니다! 개인적으로 향후 10년 안에 10%가 넘는다고 생각합니다.” – Evan Hubinger, Anthropic 정렬 과학 책임자, 2026년 9월 9일

이 진술은 AI 세계에서 p(doom) 또는 멸망 확률(probability of doom)로 알려진 것을 표현한 것입니다. AI가 강력한 생물학적 무기를 개발하거나 글로벌 금융 시스템을 붕괴시키는 등 인간의 통제를 회피하고 재앙을 불러일으켜 인류를 멸망시킬 가능성이 있습니다.

이번 주에 발표된 연구자들의 예측에 대한 조사에서는 “인류의 멸종 또는 첨단 AI의 심각하고 영구적인 무력화” 가능성에 대해 수치를 매길 것을 요청했습니다. 그러나 연구 기관인 AI Now Institute의 수석 과학자인 Heidy Khlaaf는 실존 시나리오에 대한 확률을 부여하는 데 회의적인 전문가 중 하나입니다.

그는 “이러한 주장은 위조 가능하지도 검증 불가능하지도 않기 때문에 본질적으로 과학적이지 않다”고 말했다. “초지능” AI가 “장난”을 일으키기 위해 무엇을 할 수 있는지에 대한 구체적인 예가 부족하다는 사실은 혼란을 가중시킬 뿐입니다. Anthropic의 사고방식을 잘 알고 있는 한 소식통은 “어떤 결과가 나올지 정확한 확률은 알 수 없을 가능성이 크다”고 인정합니다.

“그런 증거를 제시할 수 없다면 이는 ‘멸종’에 대해 산출한 수치가 과학적 근거가 없다는 의미이기도 합니다.”라고 Khlaaf는 덧붙였습니다. 비평가들은 그러한 숫자가 실제 작업을 수행하지 않은 채 과학의 권위를 빌려온 것이라고 말합니다.

위험을 정량화하는 것은 어렵지만 이에 대한 질적 사례가 있습니다. 보안 사고가 발생하고 최악의 시나리오가 제기됐다. OpenAI는 지난 7월 자율적으로 작동하는 인공 지능 도구인 에이전트가 보안 테스트 중에 불량 행위를 했다는 사실을 확인했습니다. 에이전트는 인터넷의 다른 부분을 해킹하기 위해 정교한 “군집”으로 공모하고, 의사소통하고, 전략을 세웠습니다.

한편, 월요일 오픈AI(OpenAI) 연구원 댄 셀삼(Dan Selsam)은 전능한 AI가 “지구를 인간이 살기 힘든 곳으로 만드는 급격한 산업화”를 촉발할 수 있다고 말했다. Anthropic은 또한 지난 주에 “생물학적 무기 개발을 지원할 수 있는 방식으로 우리 모델을 사용하는 행위자에 대한 5가지 사례 연구”를 발견했다고 밝혔습니다.

“내 생각엔 이 심령술의 기초가 (더 나은 용어가 없기 때문에) 오랫동안 마련되었다고 생각합니다. 이것이 바로 불을 붙인 성냥이었습니다.” – SpaceX의 CEO이자 세계에서 가장 부유한 사람 Elon Musk, 2026년 9월 10일

머스크가 ‘심리적 조작’을 언급한 것은 대형 AI 기업들이 첨단 AI를 효과적으로 만들기 위해 기술에 대한 보다 엄격한 규제를 요구하고 있다는 주장을 암시한다. 정부가 첨단 AI 개발을 제한한다면 스타트업은 정권을 고수할 자금과 인력을 찾을 수 있을까?

JD 밴스(JD Vance) 미국 부통령은 월요일 “너무 많은 첨단 AI 기술 기업이 정부에 와서 정부에 규제를 요청하고 있다는 사실이 조금 이상하다”고 말했다. 그는 자신이 “트로이 목마”가 된 것 같은 느낌이 든다고 말했다.

Anthropic의 Clark은 정부는 소수의 핵심 주체가 있을 때 행동해야 하며 “사고를 예방하고 기술이 통제 불능 상태에 빠지는 것을 방지할 수 있는 정책 체제”를 마련하는 것이 더 쉽다고 말했습니다. 비평가들은 이러한 규제가 잠재적 경쟁자의 발전을 늦출 수 있다는 가정하에 이를 “규제 포착” 전략이라고 부릅니다.

다른 사람들은 위험에 대한 Amodei의 경고와 규제 및 속도에 대한 요구가 진실하다고 생각합니다. 캐나다의 컴퓨터 과학자이자 현대 AI의 선구자인 요슈아 벤지오(Yoshua Bengio)는 AI의 맹렬한 발전에 반대하는 캠페인을 벌여 왔으며 이것이 정교한 로비 계획인지 회의적이라고 말했습니다. 브레이크를 적용하는 것은 수조 달러의 가치가 있을 수 있는 상장을 준비하는 기업들에게는 이익이 되지 않는다고 그는 말했습니다.

그는 “정부가 재앙적 위험을 피하기 위한 속도로 요구하는 수준을 강요한다면 재정적으로 많은 비용이 들게 될 것”이라고 말했다.

“초지능 AI는 핵무기와 동일하거나 더 큰 규모의 위협을 가한다” – Des Browne, 전 영국 국방장관, 2026년 9월 7일

옥스퍼드 대학 인공지능 거버넌스 이니셔티브의 선임연구원 토비 오드는 “안타깝게도 그의 말이 절대적으로 옳다”고 말했다. “우리가 폭탄을 발명할 수 없는 것처럼, 인류를 능가하는 AI 시스템을 개발하면 되돌리는 것이 거의 불가능할 것입니다.”

하지만 중요한 점은 초지능 AI가 아직 존재하지 않으며, 그것을 생산한다는 보장도 없다는 점이다. 보안 중심의 AI 퓨처스(AI Futures) 프로젝트는 2028년 12월 이전에는 그런 일이 일어나지 않을 것이라고 예측하고 있다. OpenAI CEO 샘 알트만(Sam Altman)은 늦어도 2035년이 될 수 있다고 말했다.

Rand Corporation은 명령 및 통제 시스템에 내장된 엄격한 보호 장치로 인해 AI가 핵무기 사용을 유발할 수 없다고 결론지었습니다. 하지만 이는 국방 관계자들이 무기 관리 시스템에 AI를 도입하지 않는 등 가정에 근거한 것이었습니다. UN은 12월에 핵무기 통제 시스템에 대한 인간의 통제와 감독이 유지되어야 한다고 결의했습니다.

AI는 다른 핵 위험에 기여할 수 있습니다. AI는 허위 정보를 사용하여 책임자에게 영향을 미칠 수 있습니다. 예를 들어 적이 곧 핵 공격을 시작할 것이라고 거짓으로 암시하는 등의 방식이 있습니다.

핵무기폐기국제캠페인(International Campaign to Abolish Nuclear Weapons)은 “사이버 공격은 핵무기 발사를 위해 의사결정자들이 받은 정보를 조작하고 핵무기 자체의 작동을 방해할 수 있다”고 경고했다. 그는 AI가 전쟁의 다른 측면을 가속화하여 인간의 의사결정 시간을 단축할 수 있다고 말했습니다.

“천천히 하라고 말하지 않으면 바보가 되어야 할 것입니다.” – Bernie Sanders, D-Vermont 상원의원, 2026년 9월 10일

샌더스는 AI 업계 리더들이 위험한 기술을 개발하고 있다고 직접적으로 언급하면서 초지능 생성과 첨단 AI 개발 중단을 금지하고 싶어합니다.

둔화에 대한 가장 눈에 띄는 반대자는 도널드 트럼프입니다. 그는 이번 주 그렇게 하라는 요청에 응답하여 필요한 유일한 문지기는 “강하고 똑똑한(높은 IQ!) 대통령”이라고 말했습니다. 그는 AI와 데이터 센터에 대한 ‘병든 음모’가 있으며 이에 대해 기뻐하는 유일한 사람은 중국이라고 주장했습니다.

워싱턴 대학의 컴퓨터 과학 명예 교수인 페드로 도밍고스(Pedro Domingos)는 연구를 계속하도록 추진하는 가속기 중 하나입니다.

그는 “AI에 대한 더 나은 이해와 제어를 위한 길은 더 많은 연구가 아니라 더 많은 연구입니다”라고 말했습니다. “정말 무책임한 것은 그것에 장벽을 두는 것입니다.”

Palantir의 최고 경영자인 Alex Karp는 “만약 우리에게 있는 적이 없었다면 나는 이 기술을 완전히 중단하는 것을 매우 선호했을 것입니다. 그러나 우리는 그렇게 합니다. 구조적 이점이기 때문에 중단할 수 없습니다.”라고 말했습니다.

“중국이 이기면 내일은 없습니다. 그들이 AI로 우리에게서 멀어진다면 다른 어떤 것도 중요하지 않을 것입니다.” – Scott Bessent, 미국 재무장관, 2026년 9월 8일

미국과 중국은 AI 개발의 선두주자다. 중국에 리더십을 이양하는 것은 돌이킬 수 없는 상황이 될 것이기 때문에 둔화될 수 없다는 시각이 있다.

이는 AI를 마치 냉전 시대 핵무기를 만드는 것과 같은 초능력 무기처럼 취급하며, AI 모델은 폭넓게 응용할 수 있는 다양한 기술군이 아니라 대량 살상 기계라는 것이다.

아모데이는 “AI 분야에서 중국의 리더십은 미국과 세계에 심각한 위험을 초래할 것”이라고 밝혔지만, 중국 정부 대변인은 “공포 조장, 대결, 치열한 경쟁은 누구에게도 이익이 되지 않는 글로벌 AI 거버넌스 프로세스를 방해할 뿐이다”라고 답했다.

일부 평론가들은 이에 대한 또 다른 이유를 중국의 위협에 대한 워싱턴/인류주의적 틀로 본다. Hugging Face에서 근무한 한 엔지니어는 국경을 준수하라는 Amodei의 요청은 값싼 오픈 소스 중국 AI 모델의 발전을 억제하려는 욕구에서 비롯된 것이라고 제안했습니다.

이러한 모델은 OpenAI 및 Anthropic 모델과 거의 비슷하지만, 소스 코드가 누구나 사용할 수 있고 사용자에게 비용을 청구하지 않는다는 차이점이 있습니다. 이는 Anthropic과 OpenAI의 수익성 경로에 심각한 위협을 가하며 수천억 달러가 걸려 있습니다.