영국 출신인 콕슨은 대규모 데이터를 이용해 새로운 AI 모델을 학습시키는 분야를 연구했다. 그는 AI 업체들이 인간의 개입 없이 스스로 성능을 개선하는 시스템을 개발하기 위해 경쟁하는 상황에서 안전 문제가 뒷전으로 밀릴 수 있다고 우려했다. 특히 스스로 성능을 개선하는 AI가 인간의 통제를 벗어나 명령을 거부하는 수준까지 발전할 가능성도 있다는 것이 콕슨의 주장이다. 콕슨은 "AI를 개발하는 사람들은 이 기술이 10년 안에 우리 모두를 죽일 수도 있다고 진심으로 믿고 있다"며 "머지않아 이 기술들은 무엇이든 해킹하고 하룻밤 사이에 어떤 분야에서든 혁명을 일으키며 실질적인 권력과 자원을 확보하는 초인적 체계가 될 것"이라고 경고했다. 콕슨은 "가장 공격적인 시나리오 가운데 상당수가 현실화하는 방향으로 가고 있다"며 "내년 말이면 이미 상황이 통제 불능에 빠질 수도 있다"고 미 일간 월스트리트저널(WSJ)에 말했다. 콕스의 경고에 대해 앤트로픽 내부 임원들도 동의했다. 릴게임 공략법 앤트로픽의 정렬 과학(Alignment Science) 총괄인 에번 휴빙거는 "제이컵의 말이 맞는다. 우리는 진정으로 AI가 모든 인류를 멸망시킬 수 있다고 믿고 있다"며 "개인적으로 10년 이내에 그 확률이 10%를 넘을 것이라고 생각한다"고 동조했다. 새뮤얼 마크스 확장감독(Scalable Oversight) 총괄도 개인 의견임을 전제로 "AI 개발자들은 자신들의 기술이 인류의 멸종 또는 그와 유사한 심각한 결과를 초래할 수 있다고 믿는다"며 "향후 몇 년 내에 발생할 수 있다"고 지적했다. 마크스 총괄은 "일반적으로 직급이 높을수록 이 문제에 대해 더 큰 우려를 하고 있다"면서 그런데도 AI 개발을 지속하는 것은 상업적 인센티브와 함께 기술을 악용할 수 있는 개발자들과 경쟁하고 있다는 믿음이 복합적으로 작용하고 있기 때문이라고 털어놨다. 콕슨은 올해 초 오픈AI를 떠나 앤트로픽에 합류했다. 모바일 손오공추천 AI 안전을 중시하는 앤트로픽의 기업 문화 때문에 이직했지만, 결국 개별 기업의 노력만으로는 AI의 위험을 통제할 수 없다는 것이 콕슨의 설명이다. 그는 오픈AI와 앤트로픽 양사에 대해 "모두 책임감 있게 행동하고 있지 않다"며 "이들은 스스로 발전하는 초지능을 향해 질주하면서 우리 목숨을 도박 거리로 삼고 있다"고 비판했다. 콕슨은 인류의 미래에 막대한 영향을 미칠 수 있는 AI 개발이 소수 엔지니어의 판단에 맡겨진 현실에 대해서도 "일종의 광기"라고 지적했다. 그는 인간의 능력을 능가하는 범용인공지능(AGI)을 책임 있게 개발하기 위해서는 정부의 개입이나 AI 업계의 공동 대응이 필요하다고 강조했다. 앞서 콕슨은 각국 정부에 AI 개발 속도를 조절할 수 있는 국제적인 체계를 마련하라고 촉구하는 AI 업계 연구자들의 성명에도 참여했다. 이 성명에는 앤트로픽의 다리오 아모데이 최고경영자(CEO)와 오픈AI의 야쿠프 파초키 수석과학자 등 연구자 1천여명이 서명했다. 최근 AI 업계는 중국 신생 업체들의 가세로 개발 경쟁이 과열한 상황이다. 도널드 트럼프 행정부도 AI에 대한 규제를 최소화하는 정책을 추진하고 있다. 서 콕슨은 각국 정