Anthropic CEO Dario Amodei는 최근 AI 업계에 모델의 기능을 발전시키는 속도를 늦추라고 촉구하면서 잠재적인 위험을 관리하는 데 더 많은 시간을 확보하는 것을 목표로 하는 세 부분으로 구성된 계획을 설명했습니다.
그의 성명은 Anthropic과 OpenAI에서 일했던 27세의 인공지능 연구원인 Jacob Coxon이 수요일에 사임하고 AI가 2030년까지 인류의 멸종을 촉진할 수 있다고 경고한 후에 나온 것입니다.
SpaceX와 Tesla의 CEO인 Elon Musk부터 OpenAI의 CEO인 Sam Altman, Google DeepMind의 공동 창립자이자 사장이자 Alphabet의 수석 과학자인 Demis Hassabis에 이르기까지 많은 사람들이 AI 모델 기능 개선 속도를 늦추라는 Amodei의 발언에 동의했습니다.
주요 질문에 대한 빠른 답변
•5 질문
Dario Amodei는 AI 시스템에 대한 통제력 상실, 오용 위험 및 심각한 경제적 혼란에 대한 우려로 인해 AI 개발 속도를 늦추는 것을 옹호합니다. 그는 AI 기술을 발전시키면서 안전성을 확보하기 위한 균형 잡힌 접근이 필요하다고 강조한다.
Amodei는 독립적인 제3자 평가자에게 AI 시스템에 대한 지속적인 액세스를 제공하고 운영 우수성에 중점을 두고 테스트 및 평가 프로세스를 개선하여 안전을 보장하는 것을 포함하는 세 부분으로 구성된 계획을 설명합니다.
아모데이는 AI 기술의 급속한 발전이 AI 시스템에 대한 통제력 상실, 사이버 공격, 생물테러 가능성 등 인류의 안전을 위협할 수 있는 재앙적 위험을 초래할 수 있다고 경고했다.
제이콥 콕슨(Jacob Coxon)은 AI 산업이 스스로 발전하는 초지능(superintelligence)으로 나아가고 있다는 우려로 앤트로픽(Anthropic)에서 사임했다. 이는 인류 멸종으로 이어질 수 있다고 주장했고, 아모데이(Amodei)는 이를 주목할만한 심각한 위협으로 인정했다.
에세이에서 Amodei는 인간의 삶을 크게 개선하는 동시에 심각한 위험을 초래할 수 있는 AI 잠재력의 이중 특성에 대해 논의하며 기술 진보와 함께 안전을 우선시하는 신중한 접근 방식을 주장합니다.
다리오 아모데이(Dario Amodei)가 누구인지, AI 산업의 둔화에 대해 그가 말한 내용은 다음과 같습니다.
다리오 아모데이 순자산
Dario Amodei는 AI 시스템 구축을 전문으로 하는 공익 기업인 Anthropic의 공동 창립자이자 CEO입니다.
온라인 프로필에 따르면 Dario는 이전에 OpenAI의 연구 부사장으로 재직하면서 GPT-2 및 GPT-3와 같은 대규모 언어 모델 개발을 이끌었습니다.
그는 또한 인간 피드백을 통한 강화 학습의 공동 발명자이기도 합니다. OpenAI에 합류하기 전에는 Google Brain에서 수석 연구원으로 근무했습니다.
Dario는 프린스턴 대학교에서 Hertz 연구원으로 생물물리학 박사 학위를 취득했으며 스탠포드 대학교 의과대학에서 박사후 연구원으로 재직했습니다.
순응하는 포브스Dario Amodei의 실시간 순자산은 155억 달러입니다. 한편 블룸버그는 그의 순자산을 79억8000만 달러로 평가했다. 그는 현재 포브스 목록에서 세계 지도자 중 193위에 랭크되어 있습니다.
그의 재산은 AI 스타트업의 가치를 9,650억 달러로 평가한 대규모 자금 조달 라운드에 이어 Anthropic의 공동 창립자이자 CEO로서 거의 1%의 지분에서 비롯됩니다. 블룸버그 보고되었습니다.
다리오 아모데이(Dario Amodei): 그가 뉴스에 등장하는 이유는 무엇이며, 어떤 말을 하였나요?
전 인류학자 제이콥 콕슨(Jacob Coxon)은 지난주 최첨단 연구실이 자기 개선 초지능을 향해 무모하게 경쟁하고 있다고 말하면서 논란을 촉발했습니다.
“…10년 안에 우리 모두를 죽일 수 있다”고 그는 X에 올린 바이러스성 게시물에 썼는데, 이 게시물은 1억 2500만 회 이상의 조회수를 기록했습니다.
Anthropic CEO Dario Amodei는 Coxon의 발언에 무게를 두었습니다. Coxon이 이전에 제안한 것처럼 AI가 모든 인간을 죽일 수 있다고 생각하는지 묻는 질문에 Amodei는 다음과 같이 말했습니다. “재미있습니다. 나는 Jacob의 의견에 동의하지 않는 것보다 훨씬 더 동의합니다.”
“그가 떠날 때 ‘나는 Anthropic이 가장 책임감 있는 선수라고 생각합니다. Anthropic이 이러한 문제를 가장 잘 알고 있다고 생각합니다.’라고 말했기 때문에 흥미로운 사임입니다. 우리에게 전화하지 마세요. 그는 업계 전체의 역학이 너무 빠르게 움직이고 있다고 말했습니다.”라고 Anthropic CEO는 말했습니다. CNN 인터뷰에서.
아모데이는 자신의 관점을 확장해 “이제 이미 말했듯이 무조건적인 확률이라고 말하곤 했는데, 쉽게 말하면 일이 잘못될 가능성이 있다고 생각하지만 그렇게 크지는 않다”고 덧붙였다.
X에 대한 이전 게시물에서 Amodei는 “We Must Pace the Frontier”라는 제목의 에세이 링크를 공유했습니다. 여기서 그는 Anthropic이 “제3자 평가자에게 우리 시스템에 대한 영구적인 직원 수준 액세스 권한을 부여하여 보안 조치 준수 여부를 확인하고, 사고를 보고하고, 교육 중에 모델 정렬을 평가할 수 있도록” 하는 방법을 설명했습니다.
그는 X에 “우리는 선두에 서야 한다. 나는 AI 산업이 왜 둔화되어야 하는지에 대한 세 부분의 계획과 함께 새로운 에세이를 썼다”고 썼다.
Sam Altman에서 Elon Musk까지: 누가 뭐라고 말했나요?
OpenAI의 수석 샘 알트만(Sam Altman)은 Amodei의 의견에 동의하고 “직원과 같은 접근 권한을 가진 독립적인 검토자” 제안을 채택하겠다고 약속했습니다.
Altman은 “나는 우리가 개척에 속도를 내야 한다는 Dario의 의견에 동의합니다. 이는 최근 몇 주 동안 OpenAI에서 논의한 주요 주제였습니다.”라고 말했습니다.
“직원과 같은 액세스 권한을 가진 독립적인 리뷰어에게 전념하는 것은 좋은 아이디어이며 우리도 똑같이 할 것입니다. 곧 더 많은 내용을 공유할 것입니다.”라고 그는 덧붙였습니다.
xAI Corp를 운영하는 Elon Musk는 X에 대해 “Dario가 옳습니다”라고 말했습니다.
Anthropic의 고문 역할을 하고 있는 Rishi Sunak 전 영국 총리도 Amodei의 주장에 반응하며 X에 다음과 같이 말했습니다. “Dario가 오늘 안전을 유지할 수 있도록 국경 개발 속도를 늦추라고 요구한 것이 옳습니다. 업계 전반에 걸쳐 이에 대한 합의가 구축되기 시작하는 것이 좋습니다. 연구소 자체에서 속도 제한을 요구할 때 정부는 경청해야 합니다.”
한편, 버몬트주의 미국 상원의원인 버니 샌더스는 X에게 다음과 같이 말했습니다. “Dario Amodei, Elon Musk 및 Sam Altman은 이제 인공 지능 개발을 늦추고 ‘국경을 넘어’야 한다는 데 동의합니다. 이것은 시작이지만 충분하지 않습니다. 절벽을 향해 달릴 때 가속 페달을 밟기만 하지 마십시오. 당신은 브레이크를 밟았습니다.”
“인류의 미래가 위태로워지면 고급 AI 개발을 일시 중지하고 인공 초지능(인간보다 더 똑똑하고 통제할 수 없을 정도로 독립적으로 작동할 수 있는 AI)에 대한 금지가 필요합니다. 다가오는 AI 정상회담에서 트럼프와 시진핑은 너무 늦기 전에 AI를 중단하고 초지능을 금지하는 조약을 협상해야 합니다.”라고 국회의원은 덧붙였습니다.
