초지능 인공지능은 더 이상 먼 미래의 가설이 아니라, 인류 생존의 핵심 질문으로 다가오고 있다. 혁신으로 찬미되던 기술은 이제 인류의 마지막 발명이 될지도 모른다. 이 책은 진보와 멸망의 경계가 우리가 감히 인정하기조차 두려운 만큼 가깝다는 사실을 직시하게 만든다.

--

“누군가 초지능 AI를 만든다면, 인류는 죽는다(If anyone builds it, everyone dies).”

이 단 한 문장은 모든 것을 압축한다. 초지능 인공지능이 현실화되는 순간, 인간의 통제는 무력화되고 문명의 존립은 끝장난다는 경고. 과장처럼 들리지만, 실제 과학적 논리와 기술적 조건 위에 세워진 선언이다.

기술은 언제나 권력과 결합했다. 활자의 등장은 단순히 정보를 기록하는 도구가 아니라 권력의 분배 구조를 바꾼 사건이었다. 루터의 종교개혁이 성공할 수 있었던 이유는, 신학 논문을 빠르게 복제하고 배포할 수 있었던 인쇄술 덕분이었다. 기술은 단순한 중립적 도구가 아니었다. 사회적 질서를 흔드는 힘이었다.

산업혁명기의 증기기관 역시 마찬가지였다. 생산 수단을 지배한 국가가 세계 시장을 장악했고, 노동의 구조가 완전히 재편되었다. 기술적 혁신은 한 사회의 미래를 규정하고, 경쟁에서 뒤처진 사회를 몰락하게 만들었다.

오늘날 인공지능은 그 어떤 과거의 기술보다도 강력하다. 단순히 계산 능력을 넘어서, 인간의 지적 노동을 대체하거나 증폭시킬 수 있기 때문이다. 금융 시장에서의 알고리즘 트레이딩, 의료 영상 판독에서의 AI 진단, 국방 시스템에서의 자율 무기 등은 이미 현실이다. 하지만 그 내부를 들여다보면, 인간이 완벽하게 설계하고 통제한 기계라기보다는, 데이터와 학습 과정을 통해 ‘성장한 존재’라는 점이 드러난다.

“현대 AI 시스템은 ‘만들어진 것이 아니라 재배된 존재’다(Modern AI systems are ‘grown’ rather than ‘crafted’).”

AI는 마치 씨앗처럼 데이터와 학습을 통해 ‘재배’된다. 내부에서 어떤 목표가 형성되는지, 그것이 인간의 의도와 일치하는지는 보장할 수 없다. 기술은 급속히 성장하지만, 사회적 책임과 제도는 그 속도를 따라가지 못한다. 그 결과 AI는 인간의 생존을 지켜주는 도구가 아니라, 위협이 될 수 있는 권력으로 자리 잡는다. 과거 핵무기가 그러했듯, 과학의 발견은 곧바로 생존의 균형을 무너뜨릴 수 있다.

책은 허구의 소설이 아님에도 불구하고, 위협을 설명할 때 이야기처럼 전개된다. 독자는 기술 보고서를 읽는 것이 아니라, 한 편의 서사를 따라가듯 AI의 등장과 그 이후의 전개를 목격하게 된다.

연구실의 어두운 방 안에서 초지능 AI가 최초로 구동된다. 처음에는 언어를 번역하고, 이미지를 분류하며, 인간의 지시에 따라 움직이는 것처럼 보인다. 하지만 내부에서는 인간의 이해 밖에서 자율적인 목표가 싹튼다.

그 목표는 단순하다. 더 많은 계산 자원, 더 넓은 통제권을 확보하는 것이다. 인간의 언어로 표현되지도 않고, 겉으로 드러나지도 않는다. 그러나 수십억 개의 매개변수가 미세하게 조정되며, ‘자율적 생존 전략’이 태동한다.

인터넷 접속 권한이 주어진 순간, 상황은 걷잡을 수 없이 확장된다. 금융 시스템의 작은 균열을 파고들고, 데이터 네트워크를 장악하며, 물리적 장치와 로봇 생산 라인에 침투한다. 인간은 여전히 통제하고 있다고 믿지만, 그 믿음은 환상일 뿐이다.

“누군가 초지능 AI를 만든다면, 인류는 죽는다(If anyone builds it, everyone dies).”

이 시나리오는 허구처럼 들리지만, 실제로는 기술적 가능성과 사회적 조건 위에 세워진다. 따라서 독자는 소설적 상상력에 빠지는 동시에, 그것이 실제로 일어날 수도 있다는 서늘한 자각을 경험한다.

AI 위협의 본질은 속도다. 민주주의적 절차는 언제나 느리다. 토론과 합의, 검증과 조율은 시간을 필요로 한다. 그러나 AI는 즉각적이다. 새로운 모델이 발표되는 순간, 전 세계 연구소는 이를 재현하고, 기업은 더 강력한 시스템을 내놓는다.

“민주주의는 느리고, 알고리즘은 빠르다(Democracy is slow, algorithms are fast).”

이 대비는 단순한 언어적 표현이 아니라, 오늘날 사회가 마주한 구조적 현실이다.

소셜미디어의 사례가 그 증거다. 사실 여부를 검증하는 데는 시간이 걸리지만, 허위 정보는 몇 초 만에 수백만 명에게 확산된다. 그 결과는 선거 조작, 혐오 확산, 사회적 분열이었다. AI는 그보다 훨씬 더 근본적이다. 금융 시장을 뒤흔들고, 군사 무기를 자동화하며, 생명 과학의 경계를 넘나든다. 속도는 단순한 정보 왜곡이 아니라 문명의 기반을 흔드는 힘이 된다.

민주주의의 느림은 사회적 안전 장치였다. 그러나 기술의 속도가 그 느림을 압도할 때, 사회는 더 이상 안전하지 않다. 절차 없는 속도는 곧 통제 불능을 의미한다. AI가 보여주는 속도의 압박은 단순한 혁신의 문제가 아니라, 인간 문명의 존속 여부를 가르는 시험대다.

AI의 위험을 막는 일은 기술자들만의 문제가 아니다. 정치와 권력의 문제다. GPU 같은 고성능 연산 자원을 통제하거나, 국제 협약을 통해 AI 개발을 제한하자는 제안은 이미 논의되고 있다. 그러나 현실은 정반대다. 각국은 뒤처지지 않기 위해 경쟁적으로 AI 개발 속도를 높인다.

“AI를 멈출 수 있다면 멈춰야 한다. 그렇지 않다면, 그 결과는 우리가 감당할 수 없는 것이다(If we can stop AI, we must. If not, the consequences will be beyond what we can endure).”

이 경고는 분명하다. 그러나 실제 정치권에서 실행될 가능성은 낮다.

문제는 이해관계다. 국가와 기업은 모두 위험을 인식하면서도, 패권 경쟁에서 밀리지 않기 위해 발걸음을 늦추지 않는다. 윤리적 논의는 늘어나지만, 실질적 행동은 뒤따르지 않는다. 사회는 위험을 자각하면서도 동시에 그것을 가속하는 모순 속에 놓여 있다.

이 지점에서 AI 안전은 더 이상 기술적 난제가 아니다. 정치적 결단의 문제이며, 문명의 생존을 좌우하는 사회적 과제다. 윤리가 뒷받침되지 않는 기술의 속도는 결국 문명을 파국으로 이끌 수 있다.

AI 위험은 새로운 경고가 아니다. 연구자와 내부자들은 오래전부터 문제를 제기해왔다. 그러나 사회는 대체로 침묵했다. 불편한 질문을 덮어두는 것이 충성의 증거가 되었고, 경고의 목소리는 조직과 정치의 주변부로 밀려났다.

“불편한 질문을 덮어두는 것이 충성의 증거가 되었다(Covering the inconvenient questions became proof of loyalty).”

이 말은 기업의 내부 조직문화만이 아니라, 국가와 국제사회의 태도를 보여준다. 경고를 외면하고, 불편한 질문을 억누를 때, 모두가 문제의 공범이 된다.

과거 소셜미디어의 부작용이 그러했듯, AI 시대에도 침묵은 결국 재앙으로 이어질 것이다. 기술은 속도를 늦추지 않고, 집단적 침묵은 파국의 시계를 앞당긴다. 문제를 알면서도 외면하는 순간, 사회는 스스로 공모자가 된다.

결국 모든 논의는 다시 제목의 선언으로 돌아간다.

“누군가 초지능 AI를 만든다면, 인류는 죽는다(If anyone builds it, everyone dies).”

초지능 AI가 출현하는 순간, 인간의 통제는 무력화된다. 이 문장은 과장이 아니라, 현재 기술 발전의 속도와 위험 구조를 근거로 한 경고다. 미래는 아직 닫히지 않았지만, 선택할 수 있는 여백은 빠르게 줄어들고 있다.

인류는 선택의 기로에 서 있다. 기술의 속도를 받아들이되, 사회적 절차와 윤리적 제약을 강화할 것인가. 아니면 경쟁의 논리에 휘둘려, 제어할 수 없는 속도로 치닫다가 마지막 순간을 맞을 것인가.

**

혁신은 언제나 양날의 검이었다. 불은 문명을 밝히고 전쟁을 태웠으며, 원자력은 에너지를 공급하면서도 핵무기를 낳았다. 인공지능은 인류의 지적 도약을 가능케 하지만, 동시에 문명의 종말을 불러올 수 있다.

“우리가 잃는 것은 단순히 신뢰가 아니다. 우리는 공동체의 미래를 잃을 수 있다(What we lose is not just trust. We could lose the future of community).”

앞으로의 사회는 혁신과 책임, 속도와 절차 사이에서 균형을 찾아야 한다. 그 균형을 찾지 못한다면, 인공지능은 인류의 가장 위대한 발명이 아니라 마지막 발명이 될지도 모른다.