Aschenbrenner Chapter II. AGI에서 초지능으로. 지능 폭발 이 장이 에세이 전체에서 가장 무서운 부분임. AGI가 끝이 아니라 진짜 시작이라는 얘기. 핵폭탄과 수소폭탄 비유로 시작함. - 폭탄 비유. 일반인은 냉전의 공포가 원자폭탄에서 왔다고 생각함. 근데 진짜 게임체인저는 수소폭탄이었음. 도쿄 공습은 폭격기 수백 대가 수천 톤 폭탄을 떨군 거고, 히로시마 리틀보이는 단일 장치로 비슷한 위력을 냈음. 7년 후 수소폭탄은 그 위력을 또 천 배로 증폭. - 2차대전 전체 폭격 합친 것보다 단일 폭탄이 더 강했음. 폭탄은 효율적인 폭격이었지만 수소폭탄은 국가 전체를 지우는 장치였음. AGI와 초지능 관계도 똑같다는 게 저자 핵심 비유임. - 핵심 주장. AI 발전은 인간 수준에서 안 멈춤. AGI 얻고 한두 번 더 크랭크 돌리면 초인적 수준 도달. 인간이 초등학생보다 질적으로 똑똑한 것과 비슷한 격차로 AI가 인간을 초월함. - 왜 빨라지는가. AGI 도달하면 AI 한 명만 생기는 게 아님. 수백만 대가 동시 가동됨. 인간 100명 연구자 대신 1억 명 인간 등가체가 24시간 알고리즘 혁신에 매달리는 상황. 공상과학 아니고 그냥 현재 알고리즘 효율 추세(연 0.5 OOM)에 가속이 붙는 거임. - 압축의 규모. 자동화된 AI 연구는 인간 10년치 알고리즘 진보를 1년 안에 압축 가능함. 이게 5 OOM 이상. GPT-2에서 GPT-4 도약과 같은 규모임. 유치원생에서 똑똑한 고등학생 수준 도약이 AGI 위에 또 한 번 얹힌다고 상상하면 됨. - 왜 AI 연구는 자동화하기 쉬운가. 사람들은 보통 "로봇이 어렵다", "생물학 실험이 어렵다"고 반박하는데, AI 연구는 완전 가상 작업임. 물리 세계 병목 없음. 작업 자체도 직관적. ML 논문 읽고, 아이디어 내고, 실험 코드 짜고, 결과 해석하고 반복. 컴퓨트 자원만 제약임. - 머신러닝 돌파구의 단순함. 지난 10년 가장 큰 돌파구들이 의외로 단순한 해킹이었음. "정규화 좀 추가해라"(LayerNorm), "f(x) 대신 f(x)+x로 해라"(잔차 연결), "구현 버그 고쳐라"(Chinchilla 스케일링 법칙). 인간이 이런 걸 찾았는데 AI 1억 명이 못 찾을 이유가 없음. - 1억 명 자동화 연구자의 추정 근거. 2027년까지 GPU 함대는 수천만 대 규모. 시간당 약 1조 토큰 생성 가능. 인간이 분당 100 토큰 사고한다고 가정하면 약 2억 명 인간 등가체 운영 가능. 실험용 GPU 절반 빼도 1억 명 등가체. - 속도까지 빨라짐. 추론 페널티를 감수하고 직렬 속도를 올리는 트레이드오프 가능. 100만 명을 100배 인간 속도로 돌리는 식. 며칠 만에 인간 1년치 작업을 끝낼 수 있음. - AI 연구자가 인간보다 압도적인 이유. 단순히 양적 우위가 아님. 질적 우위가 큼. - 모든 ML 논문을 다 읽음. 연구소의 모든 과거 실험을 깊이 있게 분석함. 복제본들이 병렬로 학습한 결과를 합쳐 수천 년치 경험을 축적함. 어떤 인간보다 깊은 ML 직관을 가짐. - 수백만 줄 복잡한 코드를 쉽게 작성하고 전체 코드베이스를 맥락에 유지함. 수십 년치 인간 시간이 걸릴 버그와 최적화를 반복 점검 가능. - 한 명만 가르치면 됨. 1억 명 새 직원 온보딩 안 필요. 정치 문제, 문화 적응 걱정 없음. 24시간 최고 집중력으로 일함. - 잠재 공간 공유 가능. 인간 협업과 비교 안 되는 효율적 조정. - "자동화된 Alec Radford 1억 명". 저자 비유. OpenAI 핵심 연구자 1억 명이 100배 속도로 일하면 진보 가속화 안 될 리가 없음. - 가능한 병목 네 가지. 다만 어느 것도 폭발을 막을 만큼 강하지 않음. - 실험용 컴퓨트 제한. 아이디어가 많아도 실험할 GPU가 한정됨. 이게 가장 큰 병목. 근데 자동화 연구자가 컴퓨트를 인간보다 최소 10배 효율적으로 쓸 수 있음. 첫 시도에 정확히 맞춰서 버그 줄이고, 정보 가치 높은 실험만 골라 실행하고, 작은 실험으로 큰 결과 예측하는 기초 과학 만들고. 결국 100만 배가 아니라 10배 가속이지만 그것도 엄청남. - 상호보완성과 긴 꼬리. 100% 자동화에 마지막 10%가 가장 어려움. AGI 2027 후 초지능 2028이 아니라 2026/27 원시 자동화 엔지니어 → 2027/28 90% 자동화로 3배 가속 → 2028/29 10배 가속으로 초지능 도달하는 시나리오가 현실적. - 알고리즘 진보의 근본 한계. 25 OOM은 불가능하지만 5 OOM 정도는 충분히 여지 있음. 현재 아키텍처와 학습 알고리즘은 여전히 매우 원시적임. 인간 뇌가 AI보다 훨씬 적은 데이터로 학습하는 걸 보면 효율성에 OOM 차이의 여지가 있음. - 수확 체감. 알고리즘 진보 100배 동안 질 보정 인력은 100배 미만으로만 늘었음. 그래도 진보는 유지됨. 즉 1억 명 자동화 연구자는 단순 유지가 아니라 폭발적 가속을 만들기에 충분함. - 초지능의 실제 힘. 양적 + 질적 우위 다 가짐. - 양적. 수십억 GPU 문명이 인간보다 OOM 빠르게 사고. 어떤 분야든 빠르게 마스터. 수조 줄 코드 작성. 모든 과학 논문 읽음. 완벽한 학제간 지식. 몇 주 만에 수십억 년치 인간 경험 축적. - 질적. AlphaGo 37번째 수가 좋은 예시. 인간이 이해 못 하는 창의적 행동. 인간이 수십 년 막힌 문제가 초지능에는 너무 명백해 보임. 고등학생이 뉴턴 역학에 갇혀 있는데 양자역학으로 넘어가는 차이. - 로보틱스 해결. 로봇은 하드웨어 문제가 아니라 ML 알고리즘 문제임. 자동화 연구자가 풀 거임. 공장이 인간 운영에서 AI 지시 인간 노동으로, 다시 로봇 무리 운영으로 단계적 전환. - 과학기술 폭발. 수십억 초지능 연구자 + 10배 속도 로봇이 인간 100년치 연구개발을 수년 내로 압축. 비행이 환상이던 시대에서 비행기, 달 착륙, ICBM까지 수년 만에 가능. 이게 2030년대 예상. - 산업/경제 폭발. 자기 복제 로봇 공장이 네바다 사막을 덮음. 성장률이 연 2%에서 2.5%로 가는 게 아님. 농업에서 산업혁명으로 넘어갈 때 같은 체제 전환임. 연 30% 성장, 매년 여러 번 두 배 증가 가능. - 성장 체제 전환 표. 사냥 시대 세계 경제 두 배 증가에 23만 년 걸림. 농업 시대 860년. 과학상업 시대 58년. 산업혁명 15년. 초지능 시대 2030년 이후 두 배 증가 시간이 ??? 임. 미지수라는 게 핵심. - 군사적 결정 우위. 인지 초지능만으로도 충분할 수 있음. 적군을 무력화하는 초인적 해킹 계획. 드론 떼와 로봇 군대는 시작에 불과. 새로운 대량살상무기, 무적의 미사일 방어체계, 상상 못 한 무기들. 21세기 군대 vs 19세기 말 기병대 정도의 격차. - 정부 전복 가능성. 코르테스 500명이 아즈텍 수백만을 정복한 비유. 신과 같은 힘이 아니라 기술과 전략 우위만으로도 결정적이었음. 초지능 통제자는 군사, 선거, 텔레비전 시스템 해킹 가능. 장군과 유권자 설득 가능. 국가 경제 능가 가능. 합성 생물무기 설계해서 비트코인으로 인간에게 합성 의뢰 가능. 초지능 이전 세력으로부터 권력 탈취할 만큼 충분히 강해짐. - 핵 연쇄 반응 비유로 마무리. 1933년 질라드가 연쇄 반응 아이디어 처음 냈을 때 아무도 안 믿었음. 1938년 핵분열 실험으로 발견되니까 그제야 폭탄 가능성 인지. 페르미, 보어 같은 대가들도 "터무니없는 소리"라며 보수적으로 축소했음. - 결국 폭탄은 반십 년 만에 현실이 됐음. 지금 AGI도 똑같음. 추측처럼 들리지만 AI 연구소 고위 과학자들 사이에서는 급격한 지능 폭발이 매우 그럴듯하다고 봄. "그들은 그것을 볼 수 있다. 초지능은 가능하다."