인공지능이 군사 목표를 식별하고 추천하는 데 더 큰 역할을 하고 결과적으로 개입에 사용할 수 있는 시간을 단축하기 때문에 인간의 승인만으로는 인공지능을 기반으로 한 결정에 대한 수동 제어를 보장하기에 충분하지 않을 수 있다고 의회 증인이 수요일 말했습니다.
비평가들은 이러한 우려가 표적만을 선택하고 교전할 수 있는 무기에만 국한되지 않는다고 말합니다.
“군에서의 인공지능: 인권에 대한 함의”라는 제목의 청문회에서 증인들은 톰 란토스 인권위원회에 AI가 파업으로 이어지는 인간의 결정에 영향을 미칠 수 있지만 최종 결정에 대한 공식적인 책임은 개인에게 맡길 수 있다고 말했습니다.
우크라이나 AI 거버넌스 연구원 Anna Mysyshyn은 “승인 버튼만으로는 통제력을 입증할 수 없습니다.”라고 말했습니다.
문제는 국방부가 군사 의사결정 속도를 높이기 위해 AI를 사용하려고 시도하면서 발생합니다. 미 국방부의 2023 AI 채택 전략은 “빠르고 정확하며 탄력적인 킬 체인”을 원하는 결과로 식별한 반면, 2026 AI 전략은 현재 AI 기능을 중심으로 군사 작업 흐름과 작전 개념을 재설계하여 “AI 우선” 전투력이 되는 것을 요구합니다.
Mysyshyn은 여러 AI 지원 시스템을 감독하는 사람이 잘못된 추천을 인식하고 피해가 발생하기 전에 신속하게 개입할 수 있는지 의문을 제기했습니다. 그녀는 결정을 몇 시간에서 몇 분으로 압축하는 AI의 예로 우크라이나를 언급했습니다.
많은 시나리오에서 최종 결정을 내리는 사람은 시스템의 권장 사항에 이의를 제기할 수 있는 충분한 정보, 시간 또는 능력이 반드시 필요한 것은 아니라고 그녀는 말했습니다.
무기 시스템의 자율성에 관한 국방부의 2023년 지침은 지휘관과 운영자가 무력 사용에 대해 적절한 수준의 인간 판단을 행사할 수 있도록 자율 및 반자율 무기를 요구합니다.
수요일의 증언은 더 큰 질문에 초점을 맞췄습니다. AI가 인간이 인증할 수 있는 것보다 빠르게 타겟팅에 영향을 미칠 경우 해당 판단이 의미가 있는지 여부입니다.
미국 국제앰네스티(Amnesty International USA)의 대정부 관계 및 옹호 담당 국장인 아만다 클라싱(Amanda Klasing)은 AI가 공격 전에 인간의 의미 있는 분별력이 발생했는지 판단하기 어렵게 만드는 방식으로 군사적 ‘킬 체인’을 압축할 수 있다고 경고했습니다.
전직 군 장교이자 군사 윤리 학자인 조셉 차파(Joseph Chapa)는 논쟁이 시스템이 얼마나 자율적인가에만 초점을 맞춰서는 안 된다고 주장했습니다. 그는 정책입안자들에게 AI 시스템이 통계적 추론에 의존하는지, 주어진 운영 환경에서 실패하면 어떤 일이 발생하는지, 그리고 그 결정이 나중에 감사될 수 있는지 여부를 고려할 것을 촉구했습니다.
Chapa는 통계적 AI 시스템은 기존 소프트웨어와 다르게 실패할 수 있으며, 입력의 상대적으로 작은 변화로도 실질적으로 다른 결과를 생성할 수 있다고 Chapa는 말했습니다. 또한 시스템이 더 복잡해지면 사후에 특정 추천이 어떻게 생성되었는지 재구성하기 어려울 수 있습니다.
그는 표적화 및 정보 시스템을 다루는 인력을 위한 전문 교육을 포함하여 군대 내에서 더 나은 AI 교육을 요구했습니다.
수요일 증인들은 또한 AI 지원 결정이 민간인에게 피해를 입힐 때 어떤 일이 발생하는지 결정하는 더 큰 책임 문제를 지적했습니다.
국방부는 분석 및 훈련을 위한 허브 역할을 할 민간인 보호 우수 센터를 포함하여 2022년 민간인 피해 완화 및 대응 실행 계획을 수립했습니다. 연방법에 따르면 국방부는 센터를 운영해야 합니다.
그러나 5월에 발표된 국방부 감찰관 일반 검토에서는 국방부의 민간인 부상 프레임워크 구현을 평가한 결과 직원 손실 또는 재배치, 민간인 부상 데이터 관리 플랫폼에 대한 자금 지원 중단, 고위 운영 위원회의 회의 지속 실패 등의 문제가 발견되었습니다.
Klasing이 지적했듯이 AI의 경우 이는 중요합니다. 왜냐하면 현재 군대는 AI가 민간인을 부적절하게 표적으로 삼는 데 기여하는지 여부를 판단하는 능력이 제한되어 있기 때문입니다.
미국-이란 전쟁 첫날, 토마호크 순항미사일이 이란 남부 미나브의 샤자레 타이예베 초등학교를 강타했다. 유엔과 이란 관리들에 따르면 최소 168명이 사망했으며 그 중 12세 미만 어린이가 100명 이상이었다고 한다.
국제앰네스티가 위성사진을 분석한 결과, 이 학교 건물은 이슬람 혁명수비대의 오랜 해군 기지에서 100m도 채 떨어지지 않은 곳에 있었으며, 2013년에서 2016년 사이에 벽이 세워지기 전까지 IRGC 단지 주변에 위치해 있었습니다.
미국과 이스라엘이 2월 28일 첫 번째 파업을 시작했을 때 학교는 몇 년 전에 설립되었습니다. 로이터 조사에 따르면 그는 소셜 미디어에서 활발히 활동했으며 자신의 웹사이트도 갖고 있었습니다.
120명 이상의 하원 민주당 의원들이 3월 12일 국방부에 서한을 보내 “메이븐 지능형 시스템의 사용을 포함한 인공지능이 [was] Shajareh Tayyebeh 학교를 표적으로 식별하는 데 사용되었습니다.”
이번 사건을 조사한 미군 조사관들은 이번 공격이 미군에 의해 이뤄졌을 가능성이 높다고 말했다. 그러나 미 국방부는 아직 조사 결과를 공개하지 않았다.
Klasing은 국방수권법(National Defense Authorization Act) 1057항에 따라 요구되는 국방부의 연례 민간인 사상자 보고서에 AI 개입에 대한 정보를 추가할 것을 제안했습니다. 기존 보고 요구 사항에는 민간인 사상자 완화 노력 및 조사에 대한 정보가 필요하지만 AI가 사고에 기여했는지 여부를 부서에서 구체적으로 식별하도록 요구하지는 않습니다.
카네기국제평화기금(Carnegie Endowment for International Peace)의 선임 연구원인 스티브 펠드스타인(Steve Feldstein)은 미 국방부가 군사 작전에서 데이터를 수집하고 사후 분석을 수행하여 AI 지원 시스템이 의도한 목표를 정확하게 식별했는지, 오류가 민간인 사상에 기여했는지 여부를 판단해야 한다고 말했습니다.
“더 큰 질문은 국방부가 이 수천 번의 공격에 대한 데이터를 어느 정도 수집하고 목표 정확도를 검증하고 있느냐는 것입니다.” 펠드스타인이 말했다.
Feldstein은 또한 AI를 잠재적인 문제의 원인으로 취급하지 말라고 경고했습니다. 인공지능을 사용하면 정보를 확인하고, 이미지 변화를 감지하고, 드론, 탄도미사일 등의 위협에 대한 방어 대응의 우선순위를 정하는 데 도움이 될 수 있습니다.
그러나 인간의 영향을 받은 시스템이 특정 인구통계학적 특성으로 인해 누군가가 합법적인 표적이 된다는 가정을 중심으로 구축된다면 AI는 이러한 기본 전제를 수정하지 않을 것이라고 Mysyshyn은 말했습니다.
Feldstein은 마찬가지로 AI 시스템을 사용하기 전에 인간이 설정하는 규칙을 강조했습니다. 지휘관이 군사적 목표를 추구하면서 일정 수준의 민간인 피해가 허용된다고 판단하면 기계는 인간이 정의한 프레임워크 내에서 작동한다고 그는 말했습니다.
인간이 권장 사항을 의미있게 평가할 수 있는 것보다 시스템이 더 빠르게 작동할 때 문제는 특히 심각합니다.
위원회는 이라크의 사례를 들어 수요일 청문회를 열었습니다. 2004년 육군 팀장인 닉 엘리슨(Nick Ellison)은 키르쿠크에서 인구 조사 순찰을 하던 중 차에서 기관총을 발사하는 두 젊은이를 만났습니다.
엘리슨은 그 중 한 명과 눈을 마주쳤고, 당황한 모습을 보고 병사들에게 총격을 가하라고 명령했습니다. 그 남자들은 새로 결혼한 신랑의 형제들로 밝혀졌고, 총격을 가해 축하했다.
Mysyshyn은 테스트를 통해 편견, 신뢰성, 시민 보호, 실시간 압력, 운영자가 시스템을 중단할 수 있는지 여부, AI 시스템의 수명 주기 전반에 걸쳐 결정을 추적할 수 있는지 여부를 조사해야 한다고 말했습니다.
Chapa는 일부 AI 시스템은 사후 감사가 어려울 수 있다고 말했고, Human Rights Watch의 Deborah Brown은 군사용 AI 사용에 대한 정보가 정부 공개보다는 조사 보고와 내부 고발자를 통해 나타나는 경우가 많다고 말했습니다.
목격자들에 따르면 더 이상 기계가 방아쇠를 당기는지 여부가 아니라 방아쇠를 승인하는 인간이 재난이 닥치기 전에 의미 있는 선택을 할 수 있는 충분한 시간, 정보, 권한이 있는지 여부가 점점 더 어려워지고 있습니다.
Military Times 기자 Katie Livingstone이 이 보고서에 기고했습니다.
나탈리 올리베리오(Natalie Oliverio)는 프리랜스 저널리스트이자 해군 퇴역 군인으로 군대 및 퇴역 군인 문제를 다루고 있습니다. 인재 임원이자 멘토로서의 경험을 바탕으로 그녀는 군대 커뮤니티를 형성하는 정책, 사람 및 프로그램에 대해 글을 씁니다.
