OpenAI는 Altman, Musk 및 Amodei가 AI가 너무 빠르게 움직이고 있다고 경고함에 따라 올해 IPO를 배제합니다.

OpenAI CEO 샘 알트만(Sam Altman)은 AI 안전에 대한 우려가 커지고 있다는 이유로 올해 자신의 회사가 상장되지 않을 것이라고 말했습니다.

토요일 발표된 Fortune과의 인터뷰에서 Altman은 이제 IPO가 “잘못된 조언”이 될 것이라고 말했습니다. 이번 결정은 역사상 가장 기대되는 IPO 중 하나를 적어도 2027년까지 미루고 있으며, 점점 더 강력해지는 AI에 대한 우려가 커지면서 업계의 사업 계획이 재편되기 시작했다는 가장 분명한 신호를 제공합니다.

OpenAI CFO인 Sara Friar는 지난달 직원들에게 “우리 사업이 계속 기울어진다면” 회사가 2027년 또는 그보다 더 빨리 상장될 것이라고 말했습니다.

Altman의 발언은 같은 날 Anthropic CEO Dario Amodei가 AI 회사에게 가장 진보된 모델을 개선하는 속도를 늦추도록 촉구하는 에세이를 발표한 날 나왔습니다. Altman과 Elon Musk는 소셜 미디어 게시물을 통해 이 제안을 재빨리 지지했는데, 이는 세 명의 격렬한 라이벌 사이의 이례적인 합의를 보여주는 것입니다.

Amodei는 자신의 에세이에서 “AI 분야에서 미국의 상업적 이점이나 리더십을 희생”하지 않고 개발 속도를 완화하는 것을 목표로 하는 3단계 계획을 제안했습니다. Anthropic은 역사적인 IPO가 될 것으로 예상되는 일을 적극적으로 준비하고 있지만 데뷔 계획은 공식적으로 밝히지 않았습니다.

Altman, Amodei 및 Musk의 갑작스러운 제휴는 AI에 대한 관심이 얼마나 빨리 주변부에서 산업의 중심으로 이동했으며 이제 AI의 엄청난 상업적 야망과 충돌하기 시작했는지를 보여줍니다.

이 에세이는 AI 기업이 모델의 기능을 얼마나 빨리 향상시킬 수 있는지를 촉구했습니다. 이러한 움직임은 공동 감속을 요구하는 연구자들의 목소리가 커지고 있는 가운데 나온 것입니다.

Amodei는 “AI 분야에서 미국의 상업적 이점이나 리더십을 희생하지 않고” 개발 속도를 완화하는 데 도움이 될 3단계 계획을 제안했지만 일부 단계는 다른 단계보다 달성하기가 더 쉬울 수 있음을 인정했습니다.

워싱턴에서는 양당 국회의원들이 인간의 직접적인 통제 없이 일련의 사이버 공격이 이루어진 후 새로운 AI 보호 장치를 요구하고 기술 리더들에게 증언을 요구하는 압력이 가중되고 있습니다.

수도 외에도 주 및 지방 공무원들은 AI 데이터 센터와 에너지, 물, 지역 사회에 대한 수요에 대한 분노가 커지는 문제와 씨름하고 있습니다. 중간선거가 다가오면서 AI는 양당의 핵심 이슈로 떠오르고 있다.

AI 역량에 대한 우려

Anthropic은 계획의 첫 번째 단계에 “일방적으로” 전념했다고 Amodei는 말했습니다. Amodei는 제3자 평가자에게 회사에 대한 직원 수준의 액세스를 제공하여 안전 관행을 확인하고 사고를 보고하도록 하는 것입니다. 두 번째 단계는 민주주의 국가의 AI 기업이 공통 안전 표준을 조정하고 설정하도록 장려하고, 세 번째 단계는 민주 정부와 권위주의 정부 간의 조정을 요구합니다.

Amodei는 “분명히 말하면 속도 조정은 패턴 형성이나 기술적 진보를 멈추는 것이 아니라 기업이 패턴을 정렬하고 보호하기 위해 적절한 시간을 갖고 제3자 검토자가 이를 확인하도록 하는 것”이라고 썼습니다.

이 에세이는 한 인류학자가 이번 주 회사에서 직장을 그만뒀다고 발표해 소셜 미디어 폭풍을 촉발한 후에 나왔습니다. 앤트로픽(Anthropic)의 주요 라이벌인 오픈AI(OpenAI)에서 연구원으로도 일했던 제이콥 콕슨(Jacob Coxon)은 앤트로픽(Anthropic)과 오픈AI(OpenAI)가 “우리 목숨을 걸고 도박을 하고 있다”는 우려로 사임했다고 말했다. 그는 AI를 만드는 사람들은 “10년 안에 AI가 우리 모두를 죽일 수 있다고 솔직히 믿고 있다”고 말했습니다.

극단적이기는 하지만, AI가 인류의 멸종이나 기타 재앙적인 사건을 일으킬 가능성에 대한 우려는 AI 연구계에서 새로운 것이 아닙니다. 예를 들어, 2023년 OpenAI의 Amodei와 Altman을 포함한 저명한 AI 연구자 및 경영진은 “인공 지능으로 인한 멸종 위험을 완화하는 것은 전염병 및 핵전쟁과 같은 다른 사회적 규모의 위험과 함께 글로벌 우선 순위가 되어야 한다”는 성명서에 서명했습니다.

Amodei는 토요일 AI 개발을 중단하거나 늦추는 것이 2023년부터 옹호되었지만 당시에는 그렇게 하는 것이 “말이 안 된다”고 말했습니다. 그는 해당 모델이 당시 현실 세계에서 작동할 만큼 강력하지 않았으며 아직 “기만, 조작, 사기 또는 심각한 사이버 공격”도 할 수 없다고 말했습니다.

Amodei는 “나는 인공지능이 인간 삶의 질을 크게 향상시킬 수 있다고 계속 믿고 있다. 이러한 이점을 얻고자 하는 나의 열망은 방해받지 않는다”고 썼다. “그러나 이점은 우리가 기술을 올바르게 구축한 경우에만 실현될 수 있으며, 얻은 시간을 잘 활용하는 한 이를 올바르게 구현하기 위해 특별히 신중한 주의를 기울일 가치가 있습니다.”

자발적 감속 지원

Amodei의 에세이는 토요일 Altman을 포함한 많은 연구자들과 업계 임원들로부터 칭찬을 받았습니다. X에 대한 게시물에서 그는 업계가 고급 AI 기능 개발에 속도를 내야 한다는 Amodei의 의견에 동의한다고 말했습니다. Altman은 이 주제가 최근 몇 주 동안 OpenAI에서 논의된 “주요 주제”였다고 말했습니다.

Altman은 “직원과 같은 접근 권한을 가진 독립적인 검토자를 확보하겠다는 약속은 훌륭한 아이디어이며 우리도 그렇게 할 것”이라고 말했습니다. “곧 더 많은 내용을 공유하겠습니다.”

이달 초 OpenAI 과학자 Jakub Pachocki는 이달 초 블로그 게시물을 게시하고 “더 오랫동안 책임감 있게 최대 속도로 확장을 계속할 수 있을 만큼 정렬 및 모니터링을 해결한 AI 회사는 없다”고 경고했습니다. AI 산업에서 정렬이란 시스템이 인간의 가치와 의도에 따라 작동하도록 AI 개발자가 수행하는 작업을 의미합니다.

Pachocki는 “공통 안전 바가 설치될 때까지 자발적인 감속이 일반화될 것으로 기대하고 희망한다”고 말했습니다.

머스크는 또한 토요일 X에 “다리오가 옳다”는 글을 올리며 경기 둔화에 대한 지지를 표명했습니다.

경쟁 AI 스타트업인 xAI가 자신의 로켓 회사에 인수된 머스크 스페이스X 올해 초 그는 Anthropic의 성악 평론가였습니다. 그는 이전에 회사가 “서구 문명을 싫어한다”고 “회사 이름과 반대되는 운명에 처해 있다”고 말했습니다. 그러나 지난 5월 Anthropic이 SpaceX와의 대규모 컴퓨팅 계약을 발표한 이후 Musk는 자신의 입장을 크게 바꾸었습니다.

머스크는 당시 이렇게 썼다. “내가 만난 사람들은 모두 매우 유능했고 옳은 일을 하는 데 정말로 관심을 갖고 있었습니다.” “아무도 내 사악한 탐지기를 켜지 않았습니다.”

아모데이는 토요일에 인공지능이 여전히 “인간 삶의 질을 극적으로 향상시킬 수 있다”고 믿지만 위험은 심각하게 받아들여야 한다고 썼다.

“모델이 임계 수준에 도달하기 전에 경기 둔화로 인해 1~2년 정도 더 여유를 갖고 그 시간을 사용하여 정렬을 진행한다면 심각한 문제가 발생할 위험을 크게 줄일 수 있다고 생각합니다.”라고 그는 말했습니다.

시계: 인류 AI 연구원은 기업이 ‘우리 삶을 가지고 노는 것’이라고 말합니다.