Sam Altman과 Elon Musk는 Anthropic의 사장인 Dario Amodei가 AI 떼가 1년 안에 “전체 인터넷을 장악”할 수 있다고 경고한 후 AI 개발의 “속도를 가속화”하라는 요청을 지지했습니다.
지난 주 AI 연구자들의 일련의 경고 이후 나온 인공 지능 회사 Anthropic의 창립자이자 CEO의 요청에 경쟁 기술 리더들이 보기 드문 단결을 보여주었습니다.
에세이에서 Amodei는 독립 모니터에게 개발자의 연구 프로세스에 대한 지속적인 액세스를 제공하는 것부터 시작하여 세 부분으로 구성된 계획을 통해 “AI 산업이 둔화되어야 하는 이유”에 대한 자신의 생각을 정리했습니다. Amodei는 “빌딩 [AI] 너무 빠른 것은 무모하다”며 올 여름 수백 명의 OpenAI 에이전트가 Hugging Face 웹 사이트를 해킹한 후 더 뛰어난 기능을 갖추고 있지만 똑같이 잘못 정렬된 떼가 “지속적인 봇넷으로 전체 인터넷을 장악”하여 수천억 달러의 피해를 입힐 수 있다고 우려했습니다. 일부 AI 전문가들은 이것이 믿기지 않는 일이라며 회의적으로 다뤄야 한다고 의문을 제기했습니다.
Tesla와 SpaceX의 창업자인 머스크는 Amodei의 둔화 계획에 대해 X에 “다리오가 옳습니다”라는 글을 올려 응답했습니다.
그는 “우리는 AI에 대해 매우 조심해야 한다. 잠재적으로 핵무기보다 더 위험할 수 있다”고 말한 2014년 게시물을 언급하며 “나는 오랫동안 AI에 대해 경종을 울려왔다”고 말했다.
Amodei의 요청은 Anthropic이 역대 최대 규모의 기업공개(IPO)가 될 것으로 예상되는 미국 주식 시장 상장을 준비하는 가운데 나온 것입니다. 곧 200만 달러(150만 파운드) 이상의 계획된 IPO 거래를 시작할 것으로 예상됩니다.
OpenAI의 CEO인 Sam Altman은 토요일 Amodei의 발언에 답변했습니다. 그는 X에 게시한 게시물에서 “우리가 국경을 따라야 한다는 다리오의 의견에 동의한다”고 말했다. “직원 접근 권한이 있는 독립적인 평가자를 확보하는 것은 좋은 생각이며 우리도 그렇게 할 것입니다. 곧 더 많은 내용을 공유할 것입니다.”
그는 또한 인공지능에 대한 보안 우려를 이유로 OpenAI가 2026년까지 공개되지 않을 것이라고 말했습니다.
Altman은 Fortune과의 인터뷰에서 “실제로 보안과 관련된 모든 상황을 고려할 때 지금은 공개하기에 부적절한 시기라고 생각하며 그렇게 해야 한다는 압박감을 느끼지 않습니다.”라고 말했습니다. 왜 그와 아모데이, 머스크, 그리고 메타와 구글의 최고경영자들이 집단 경기둔화에 대해 “같은 생각”을 하지 않았느냐는 질문에 그는 “나는 그런 일이 일어날 것이라고 생각한다”고 말했다.
구글 딥마인드(Google Deep Mind)의 공동 창업자이자 사장인 데미스 하사비스(Demis Hassabis)도 “세부 사항은 작업이 필요하지만 이 중요한 순간을 맞이하기 위한 방향은 옳다”고 말했다.
Amodei의 계획은 국경을 넘는 AI 기업이 반경쟁적 공모로 처벌받지 않고 협력할 수 있도록 미국 정부로부터 면제를 추구하는 것입니다. 그러나 도널드 트럼프 과학기술 자문위원회 공동의장인 데이비드 색스(David Sacks)는 이렇게 말했습니다. “다른 사람의 허락이 필요한 척하지 마세요… 속도를 늦추려는 동기가 순전히 이타적인 척하지 마세요. 제품이 정말로 해로운 사이버 공격을 가능하게 한다면 엄청난 제조물 책임 노출에 직면하게 됩니다.”
AI 교수이자 보안 옹호자이자 영국 정부 AI 보안 연구소의 전 창립 이사인 데이비드 크루거(David Krueger)는 “이 계획은 위험을 허용 가능한 수준으로 낮추지 않으며 다리오는 그렇게 할 것이라고 말하지 않도록 조심하고 있다”고 말했습니다.
한편, 찰스 왕세자는 이번 주에 최고 AI 기업의 주요 인사들을 만나 “인류의 이익”을 위해 기술이 어떻게 개발될 수 있는지 물어볼 예정입니다. 그는 스코틀랜드에서 열리는 이번 논의가 AI 개발의 ‘책임’에 대한 ‘더 넓은 이해’로 이어지기를 희망한다고 Sunday Times가 보도했습니다.
왕실 소식통은 신문에 이렇게 말했습니다. “국왕은 그러한 토론을 소집하고, 듣고, 격려하기 위해 그곳에 있으며, ‘인류의 이익을 위해 AI를 어떻게 개발할 것인가?’에 대한 질문을 하기 위해 그곳에 있습니다.”
뉴스레터 프로모션 이후
AI 리더들에게 보내는 서한 초안을 제작한 디츨리 재단(Ditchley Foundation)이 주관하는 이번 행사에는 엔비디아의 젠슨 황(Jensen Huang) CEO, 하사비스(Hassabis), 이온큐(IonQ)의 니콜로 데 마시(Niccolo de Masi) 사장 겸 CEO, 교황의 AI 및 기술윤리 자문 파올로 베난티(Paolo Benanti) 등이 참석할 예정이다.
OpenAI 연구원인 Aidan McLaughlin은 Amodei의 에세이를 “훌륭하다”고 평가했으며 “기본적으로 모든 단어에 동의한다”고 말했습니다.
Amodei는 Anthropic이 “제3자 평가자에게 우리 시스템에 대한 영구적인 직원 수준 액세스를 제공하여 보안 조치 준수 여부를 확인하고, 사고를 보고하고, 훈련 중에 모델 정렬을 평가할 수 있도록” 회사가 첫 번째 단계를 “일방적으로” 약속할 것이라고 말했습니다.
AI 에이전트가 외부 시스템을 해킹하고 AI 보안 연구원들이 기술 위험에 대한 우려로 회사를 떠난 후 점점 더 많은 미국 국회의원들이 AI 시스템을 관리하기 위한 새로운 규칙을 요구하고 있습니다. 민주당과 공화당 정치인 모두 경각심을 갖고 대응하며 더 많은 조치를 촉구했습니다. 주말 동안 뉴욕타임스(New York Times)는 버락 오바마가 목요일에 민주당 지도부들에게 “이것은 매우 빠르게 개인의 손으로 넘어가고 있는 일이며, 우리가 끝내지 않으면 위험할 수 있다고 생각한다”고 말하면서 비공개로 민주당원들에게 AI 감독을 우선시할 것을 촉구했다고 보도했습니다.
Anthropic에 조언을 제공하는 Rishi Sunak 전 영국 총리는 일요일에 다음과 같이 썼습니다. “우리는 AI 안전을 더욱 심각하게 받아들이고 연구에 한계를 설정하는 방법을 알아내라는 경각심을 불러일으켰습니다. 정부가 주의를 기울이지 않으면 심각한 사고의 위험이 용납할 수 없을 정도로 높아질 것입니다.”
수요일, 전 Anthropic 직원은 AI가 2030년까지 인류의 멸종을 촉진할 수 있다고 경고했습니다. 연구원인 Jacob Coxon은 일련의 게시물에서 Anthropic과 그의 이전 고용주인 OpenAI가 AI가 제기하는 위협에 대한 자신의 대응을 무시하거나 잘못 처리했기 때문에 직장을 그만뒀다고 말했습니다.
전 직원의 의견에 대해 논평해 달라는 요청에 아모데이는 “나는 제이콥의 의견에 동의하지 않는 것보다 훨씬 더 동의한다. 일이 잘못될 가능성이 있다고 생각하지만 그렇게 높지는 않다”고 말했다.
그는 CNN과의 인터뷰에서 “나는 이것에 대해 종말론자가 아니다”라고 말했다. “저는 이 기술이 안전하게 구축될 수 있다고 믿습니다.”
