THINK CRAFT

CONTACT chihye.noh@thinkcraft.biz

INTRO소개
소개 서랍 보기

노치혜 Chihye Noh

노치혜(Chihye Noh)의 개인 아카이브. AI 시대의 기술 정치학을 고민합니다. 기술 철학, 정치경제학, 민주주의와 자본주의, 거버넌스에 관한 글, 강연, 보고서를 기록합니다.

THINKCRAFT 대표

노치혜 프로필 사진
FIG. CN
이력
  • 기본소득당 여성위원회 위원장 2025.07–2026.09
  • nonce 엔지니어, 커뮤니티·사업개발 2025.02–2026.08
  • DSRV 사업기획 매니저, 미래금융연구소 연구원 2024.05–2024.12
  • 빗썸코리아 사업개발 매니저, 빗썸경제연구소 연구원 2022.04–2023.10
  • 『디지털자산 시대가 온다』 공동 저자

INTERVIEW · FACE DRAWING SEOUL

번역

[2025] 지커 외 「공공 AI 백서」 번역 (1/3) 서문, 요약, 1~2장 (2026.11.14)

펠릭스 지커(Felix Sieker, 베르텔스만 재단), 알레크 타르코프스키(Alek Tarkowski, Open Future), 레아 김펠(Lea Gimpel, 디지털 공공재 연합), 카일린 오즈번(Cailean Osborne, 옥스퍼드 인터넷 연구소)이 2025년 5월 펴낸 「Public AI – White Paper」를 한국어로 번역한 글이다. 분량이 길어 세 편으로 나눠 올린다. 이 프로젝트는 베르텔스만 재단(Bertelsmann Stiftung)의 reframe[Tech] 프로젝트가 의뢰하고 Open Future가 지원했다. 원문 PDF는 Open Future에서 받을 수 있다(DOI 10.11586/2025040). 원문 본문은 CC BY 4.0 라이선스로 공개되어 있으며, 인포그래픽은 CC BY-NC-ND 4.0이라 별도로 싣지 않았고, 원문 쪽수를 적어 두었으니 참고 바란다. 각주의 서지 정보는 원문 그대로 두었다.

다른 번역글은 번역 카테고리에서 볼 수 있다.


서문

인공지능은 중대한 갈림길에 서 있다. 사회를 바꿀 잠재력은 막대하지만, 그 방향을 정할 힘은 점점 더 소수에게 쏠리고 있다. 오늘날 소수의 지배적 기술 기업이 가장 앞선 AI 모델뿐 아니라, 이런 시스템을 가능하게 하는 기반 인프라(컴퓨트 용량, 데이터 자원, 클라우드 플랫폼)까지 좌우한다. 이런 영향력 집중은 단순한 시장 불균형이 아니다. 개방성, 투명성, 민주적 책무성이라는 원칙을 직접 위협한다.

AI 시스템을 어떻게 만들고 쓸지를 소수의 행위자만 정하면 공적 감독은 약해진다. 이 시스템들은 점점 더 만든 이들의 가치와 경제적 유인을 반영하고, 그 대가로 포용성, 책무성, 민주적 감독이 희생되는 일이 잦다. 개입하지 않으면 이런 흐름은 구조적 불평등을 굳히고 다른 접근법이 설 자리를 좁힐 위험이 있다.

이 백서는 이에 맞서는 전략적 비전으로 공공 AI(Public AI)를 제시한다. 투명성, 민주적 거버넌스, 핵심 인프라에 대한 개방적 접근에 기반한 AI 개발과 배포 모델을 제안한다. 공공 AI란 대중에게 책임을 지는 시스템을 말한다. 컴퓨트, 데이터, 모델 같은 기반 자원은 누구나 열린 방식으로 접근할 수 있고, 모든 사업은 명확하게 정의된 공적 목적에 복무한다.

이 백서는 AI 스택(컴퓨트, 데이터, 모델) 전반의 제약을 현실적으로 분석한 것을 토대로, 공공 AI 개념을 실행 가능한 단계를 갖춘 구체적 정책 틀로 옮긴다. 이 틀의 중심에는 공공 AI 전략이 최신 독점 시스템에 가까운 역량을 갖춘 완전한 오픈소스 모델을 적어도 하나는 계속 존재하게 해야 한다는 확신이 있다. 이 목표를 이루려면 세 가지 핵심 조치가 필요하다. 오픈소스 생태계에 조율된 투자를 하고, 공공 컴퓨트 인프라를 제공하고, 탄탄한 인재 기반과 제도적 역량을 쌓는 것이다.

이 백서는 역량의 최전선에 가까운 완전한 오픈소스 모델이 적어도 하나는 계속 존재해야 한다고 요구하고, 이를 위한 세 가지 과제를 제시한다. 오픈소스 생태계를 강화하고, 공공 컴퓨트 인프라에 투자하고, 개방형 모델을 개발하고 활용할 인재 기반을 키우는 것이다.

실행을 이끌기 위해 이 백서는 AI 정책에 "공공성의 단계(gradient of publicness)"라는 개념을 도입한다. 개방성, 거버넌스 구조, 공공 가치와의 정렬을 기준으로 AI 사업을 평가하고 설계하는 도구다. 정책 결정자는 이 틀로 어떤 사업이 민간에서 공공에 이르는 스펙트럼의 어디쯤 있는지 평가하고, 공익을 키울 실행 가능한 조치를 찾을 수 있다.

이 작업에 귀중한 통찰과 기여를 해 준 알렉 타르코프스키(Alek Tarkowski), 레아 김펠(Lea Gimpel), 케일린 오즈번(Cailean Osborne)에게 진심으로 감사한다.

독자 여러분이 여기 담긴 생각을 접하면서, 이 비전이 자신의 의사결정에 어떤 도움을 줄 수 있을지, 포용적이면서도 미래를 내다보는 정책에 어떤 영감을 줄 수 있을지 생각해 보기를 바란다. AI가 분열을 깊게 하지 않도록 함께 다루고, 오히려 민주적 가능성을 넓히고 사회적 연대를 강화하도록 하자.

펠릭스 지커(Felix Sieker) 박사
프로젝트 매니저, 디지털화와 공동선(Digitization and the Common Good)
베르텔스만 재단(Bertelsmann Stiftung)

마르틴 훌린(Martin Hullin)
디렉터, 디지털화와 공동선(Digitization and the Common Good)
베르텔스만 재단(Bertelsmann Stiftung)

요약

오늘날 가장 앞선 AI 시스템과 파운데이션 모델은 대부분 독점적이며 소수 기업이 통제한다. 실행 가능한 공공 대안이나 개방형 대안은 눈에 띄게 부족하다. 이 공백 때문에 최첨단 AI는 일부 소수의 손에 머물러 있고, 공익, 책무성, 감독을 지향하는 정도는 제한적이다.

공공 AI는 현 상태에 대한 의미 있는 대안이 되는 AI 시스템에 대한 비전이다. 이런 시스템은 공익에 복무하기 위해 투명한 거버넌스 아래 개발되고, 대중에 대한 책무성을 지며, 데이터와 모델 같은 핵심 구성 요소에 공평하게 접근할 수 있게 하고, 공적 목적의 기능에 분명히 초점을 둔다.

실제로 공공 AI 프로젝트는 AI 시스템을 어떻게 만들고 쓰는지 대중이 들여다보고 영향을 미칠 수 있게 한다. 데이터, 오픈소스 소프트웨어, 개방형 모델 같은 핵심 구성 요소를 공정한 조건으로 모두가 쓸 수 있게 하려 한다. 무엇보다 공공 AI 사업은 사적 이익이 아니라 사회 전반의 이익을 지향한다.

지난 한 해 동안 공공 AI 제안에 대한 추진력은 꾸준히 커졌다. 공공 AI 네트워크(Public AI Network), 모질라(Mozilla), 밴더빌트 정책 액셀러레이터(Vanderbilt Policy Accelerator)가 낸 영향력 있는 보고서와 사업들이 이 접근법의 중요성을 보여 주었다. 더 중요한 것은 여러 사업이 이런 공공 AI 비전을 실현하는 다양한 구성 요소와 AI 시스템 전체를 개발하고 있다는 점이다.

이 백서는 공공 AI에 관한 앞선 제안들을 바탕으로 한다. 정책 결정자와 자금 제공자를 독자로 삼아, 공공 AI 비전을 현실로 바꾸는 데 도움을 주려 한다. 특히 다음 두 가지 새로운 기여로 이 시의적절한 논의를 한 걸음 진전시킨다.

AI 스택의 현실에 기반한 공공 AI 비전

공공 AI 비전은 AI 스택의 컴퓨트, 데이터, 모델 계층에 존재하는 오늘날의 제약을 고려하고, 이를 극복할 실행 가능한 단계를 제시해야 한다. 이 백서는 AI 시스템과 인프라를 서로 의존하는 요소들의 스택으로 보고, 컴퓨트, 데이터, 모델을 핵심 계층으로 삼아 그 전체 모습을 명확하게 정리한다. 또한 오늘날 AI 생태계의 결정적 병목과 의존 관계를 짚는다. 지배적이거나 심지어 독점적인 상업 솔루션에 대한 의존이 공공 대안의 개발을 가로막고 있다. 공공이 소유한 솔루션을 수직적으로 완전히 통합하려 하기보다, 여러 계층에 걸쳐 자원과 다양한 행위자를 조율할 수 있는 정책 접근이 필요하다는 점을 강조한다.

이를 위해 세 가지 핵심 정책 권고를 제안한다.

  1. 완전한 오픈소스 모델과 더 넓은 오픈소스 생태계를 개발하고/하거나 강화한다.
  2. 개방형 모델의 개발과 활용을 지원하는 공공 컴퓨트 인프라를 제공한다.
  3. 이런 모델을 개발하고 도입할 인재가 충분히 길러지도록 AI 역량에 대한 투자를 늘린다.

이를 이루려면 AI 스택의 세 핵심 계층인 컴퓨트, 데이터, 모델에 초점을 맞춘, 서로 보완하는 공공 AI 개발 경로를 함께 추진해야 한다.

  1. 컴퓨트 경로: 전략적 공공 컴퓨팅 자원을 제공하는 데 집중하며, 특히 오픈소스 AI 개발을 지원한다. 핵심 권고는 완전히 개방된 프로젝트에 컴퓨팅 접근을 보장하고, 연구 기관을 위한 컴퓨트를 확대하고, 공공 컴퓨트 사업 간 조율을 개선하는 것이다.
  2. 데이터 경로: 커먼즈(공유지) 기반 거버넌스를 통해 고품질 데이터셋을 디지털 공공재로 만드는 데 중점을 둔다. 가치 착취를 막으면서 데이터셋을 누구나 접근할 수 있는 자원으로 개발하고, 적절한 거버넌스 장치를 갖춘 공공 데이터 커먼즈를 세우는 일이 여기에 포함된다.
  3. 모델 경로: 완전한 오픈소스 AI 모델의 생태계를 키우는 데 중심을 둔다. 최고 수준의 "캡스톤 모델(capstone model)"과 특화된 소형 모델을 모두 포함한다. 이 전략은 상업 연구소와 단순히 경쟁하기보다 지속 가능한 오픈소스 AI 개발 역량을 쌓는 데 무게를 둔다.

세 경로 중 어디에도 딱 들어맞지 않지만 핵심 공익 목표를 확보하는 데 도움이 되는 추가 조치도 몇 가지 제시한다. 공익을 위한 AI 시스템을 개발하고 배포할 AI 인재와 역량에 투자하고, 더 효율적인 기술을 향한 패러다임 전환적 혁신을 지원하고, 오픈소스 소프트웨어와 도구에 자금을 대고, 공공 AI 응용 프로그램을 위한 효과적인 배포 경로를 만드는 일이다.

이 접근법은 여러 계층의 중요성과 공공 AI에 이르기 위해 택할 수 있는 다양한 경로를 인정한다. 또한 AI 스택 전체에 걸친 조율된 개입을 주장한다. 이 개입은 분산된 AI 개발 생태계를 관리할 수 있는 새로운 공공 기관이 조율한다.

"공공성의 단계": 공공 AI를 위한 틀

이 백서는 공공 디지털 인프라 원칙에 뿌리를 둔 "공공성의 단계(gradient of publicness)"라는 틀도 제시한다. 이 틀은 AI 인프라 투자에 관한 의사결정을 이끌고, 완전한 공공 AI를 구축하는 데 따르는 기존 제약과 한계를 인정하면서도 공공 가치를 높이는 데 도움을 줄 수 있다.

이 틀은 AI 개입을 완전한 공공에서 완전한 민간에 이르는 연속선 위에 배치한다. 기준은 속성(예: 접근성, 개방성, 상호운용성), 기능(예: 사회적 또는 경제적 목표 실현), 통제 방식(예: 민주적 거버넌스와 책무성)이다. 이 틀은 어떤 개입이 이 연속선의 어디에 놓이는지 평가하는 진단 도구이자, 그 공공 가치를 강화할 개입을 찾는 전략 도구 역할을 한다.

공공성의 단계는 다음 여섯 수준으로 이루어지며, 각 수준은 공적 속성, 기능, 통제의 정도가 서로 다르다.

수준 1: 공적 속성을 지닌 AI 구성 요소의 상업적 제공
상업 기업이 오픈소스 구성 요소를 개발해 공유한다(예: 메타(Meta)의 PyTorch 오픈소스 공개). 대중의 접근성은 높지만 공적 기능과 통제는 제한적이다.

수준 2: 공적 속성과 기능을 지닌 상업적 AI 인프라
Hugging Face Hub처럼 민간이 통제하는 플랫폼이다. 상업적 감독은 유지하지만 AI 도구에 대한 접근을 민주화하고 공익 목표에 기여한다.

수준 3: 공공 컴퓨팅 인프라
정부가 자금을 대는 슈퍼컴퓨터와 데이터센터(예: EU AI 팩토리(EU AI Factories))다. 민관 협력을 통해 컴퓨팅 자원을 제공하며, 공적 통제의 정도는 중간에서 높은 수준이다.

수준 4: AI 구성 요소의 공적 제공
처음부터 디지털 공공재로 개발된, 공공 자금으로 만든 데이터셋, 벤치마크, 도구다(예: 모질라의 Common Voice). 공적 통제가 높고 공적 기능이 분명하다.

수준 5: 상업용 컴퓨트로 구축한 풀스택 공공 AI 인프라
앨런 AI 연구소(Allen Institute for AI)의 OLMo 모델 같은 AI 시스템이다. 완전한 오픈소스이지만 상업용 컴퓨팅 인프라에 의존하기 때문에 컴퓨트 계층에서는 공적 통제가 제한된다.

수준 6: 풀스택 공공 AI 인프라
스페인의 알리아(Alia)처럼 공공 데이터, 모델, 컴퓨팅 인프라로 구축한 완전히 자율적인 공공 AI 시스템이다. 모든 계층에서 가장 높은 수준의 공공성을 달성한다.

읽기 안내

공공 AI 비전과 그 함의를 폭넓게 이해하려면 보고서 전체를 읽어 보기를 권한다. 관심사에 따라 다음과 같은 출발점을 추천한다.

AI의 기술적 기반과 생성형 모델이 부상한 요인에 관심이 있다면:

  • 서론부터 읽고 2장으로 넘어간다. 이 부분은 AI 기술과, 오늘날의 생성형 AI 모델을 낳은 핵심 돌파구에 대한 기술 입문을 제공한다.

AI 정책이나 (투자) 전략을 다루는 정책 결정자라면:

  • 서론부터 읽고, AI 스택(컴퓨트, 데이터, 모델)의 개요를 다룬 3장을 읽는다. 4장의 "공공성의 단계"에 집중하고, 공공 AI 구축을 위한 경로와 권고의 개요는 5장에서 확인한다.

구체적인 정책 또는 자금 지원 지침을 찾는 정책 결정자나 자금 제공자라면:

  • 서론부터 읽은 뒤, 공공성의 단계라는 틀을 다룬 4장과 구체적인 정책 권고를 담은 5장에 집중한다.

용어 해설

AI 모델(AI model)
입력 데이터를 바탕으로 패턴을 인식하거나 결정을 내리도록 훈련된 수학적, 계산적 시스템.

AI 스케일링 법칙(AI scaling laws)
데이터가 많아지고, 모델이 커지고(파라미터가 늘고), 컴퓨트 자원이 늘어날수록 AI 모델의 성능이 예측 가능하게 향상된다는 관찰된 패턴.

AI 시스템(AI system)
물리적 또는 가상 환경에 영향을 미치기 위해 예측, 콘텐츠 추천, 결정 같은 출력을 어떻게 생성할지 추론하는 기계 기반 시스템. 모델, 데이터, 인프라, 인터페이스를 결합하며, 자율성과 적응성의 정도는 다양하다.

범용 인공지능(Artificial general intelligence)
인간이 할 수 있는 모든 지적 작업을 이해하고 배우고 수행할 수 있는 이론상의 AI 형태.

인공지능(Artificial intelligence)
보통 인간의 지능이 필요한 작업(예: 지각, 추론, 의사결정)을 해낼 수 있는 기계나 소프트웨어를 만드는 데 집중하는 컴퓨터 과학의 넓은 분야.

컴퓨터 비전(Computer vision)
컴퓨터가 이미지나 영상 같은 세상의 시각 정보를 해석하고 처리할 수 있게 하는 AI의 한 분야.

딥러닝(Deep learning)
여러 층으로 된 신경망(흔히 은닉층이 많다)을 써서 데이터의 복잡한 표현을 자동으로 학습하는 머신러닝의 하위 분야.

증류(Distillation)
작은 "학생" 모델이 큰 "교사" 모델의 행동을 따라 하도록 훈련하는 기법. 더 적은 계산 자원으로 비슷한 성능을 낼 수 있게 한다.

미세조정(Fine-tuning)
사전학습된 모델을 특정 작업용 데이터셋으로 추가 훈련해 그 작업에 맞게 조정하는 과정. 일반 지식은 유지하면서 특정 용도에 최적화한다.

파운데이션 모델(Foundation model)
폭넓은 데이터셋으로 훈련되고 여러 작업에 맞게 조정할 수 있도록 설계된 대형 AI 모델. 파운데이션 모델은 단일 모달일 수도, 멀티모달일 수도 있다. 대형 언어 모델은 그 하위 유형이다.

생성형 AI(Generative AI)
훈련 데이터에서 학습한 패턴을 바탕으로 텍스트, 이미지, 음악 같은 새 콘텐츠를 만들도록 설계된 AI 시스템의 한 부류.

그래픽 처리 장치(Graphics processing unit, GPU)
병렬 계산을 처리하도록 설계된 특수 프로세서. 원래 비디오 게임용으로 개발되었지만, 지금은 딥러닝 모델을 효율적으로 훈련하고 실행하는 데 필수적이다.

대형 언어 모델(Large language model, LLM)
방대한 텍스트 말뭉치로 훈련된 파운데이션 모델의 한 유형. 자연어를 생성하거나 이해할 수 있으며, 흔히 수십억 개의 파라미터를 지닌다.

머신러닝(Machine learning)
시스템이 데이터로부터 학습해 시간이 지나며 작업 성능을 높이는 AI의 한 분야. 지도 학습, 비지도 학습, 강화 학습 같은 방법을 포함한다.

모델 파라미터 또는 가중치(Model parameters or weights)
모델 안의 수치 값(예: 신경망의 연결 강도). 모델이 작업을 수행할 수 있도록 훈련 중에 조정된다.

무어의 법칙(Moore's law)
인텔(Intel) 공동 창업자 고든 무어(Gordon Moore)가 1965년에 내놓은 예측. 칩 하나에 들어가는 트랜지스터 수가 약 2년마다 두 배로 늘어 컴퓨팅 성능이 기하급수적으로 커진다는 내용이다.

자연어 처리(Natural language processing, NLP)
AI와 언어학이 만나는 분야로, 컴퓨터가 인간의 언어를 이해하고 해석하고 생성할 수 있게 하는 데 집중한다.

신경망(Neural network)
뇌에서 서로 연결된 뉴런에서 영감을 받은 AI 모델의 한 유형. 데이터 속 패턴과 관계를 인식하도록 설계되었다.

개방형 모델(Open model)
이 백서에서 개방형 모델은 모델 구조, 훈련된 파라미터(즉, 가중치와 편향), 일부 문서가 오픈소스 라이선스로 공개된 AI 모델을 말한다.

오픈소스 라이선스(Open source license)
사용자가 소프트웨어나 기타 저작물을 자유롭게 사용, 수정, 배포할 수 있게 허용하면서, 소프트웨어를 사용하거나 재배포할 때 지켜야 할 일정한 조건을 정한 법적 합의.

오픈소스 모델(Open source model)
오픈소스 모델의 정의는 여러 가지가 경합한다. 이 백서에서는 오픈소스 모델을, 훈련된 파라미터(즉, 가중치와 편향, 곧 개방형 모델)가 개발에 쓰인 코드, 데이터, 관련 문서와 함께 모두 자유 오픈소스 라이선스로 공개된 AI 모델로 정의한다.

공공 AI(Public AI)
투명한 거버넌스, 대중에 대한 책무성, 데이터와 모델 같은 핵심 구성 요소에 대한 개방적이고 공평한 접근, 그리고 명확하게 정의된 공적 기능을 핵심에 두고 개발된 AI 시스템.

강화 학습(Reinforcement learning)
시스템이 환경과 상호작용하며 보상을 통해 개선되는 방식으로 학습하는 머신러닝 패러다임. 그 변형인 인간 피드백 기반 강화 학습(RLHF)과 AI 생성 피드백 기반 강화 학습(RLAIF)은 AI 모델을 원하는 행동에 정렬하는 데 쓰인다.

양자화(Quantization)
가중치와 활성값을 더 낮은 정밀도의 데이터 형식으로 표현해 AI 모델의 계산 비용과 메모리 비용을 줄이는 기법. 대개 추가 훈련 데이터가 필요 없다.

소형 모델(Small model)
수백만에서 수십억 개의 파라미터를 지닌, 의도적으로 작게 만든 AI 모델. 자원 효율에 최적화되어 있으며, 흔히 증류나 양자화를 통해 더 큰 모델에서 파생된다.

트랜지스터(Transistor)
전자 회로에서 스위치나 증폭기 역할을 하는 아주 작은 반도체 소자. 사실상 모든 현대 전자 기기의 기본 구성 요소다.

트랜스포머(Transformers)
2017년에 소개된 어텐션 메커니즘 기반의 딥러닝 구조. 모델이 순차 데이터를 전례 없이 효과적으로 처리하고 생성할 수 있게 해, 최근 AI 발전의 급증을 떠받치고 있다.

1. 서론

인공지능(Artificial Intelligence, AI)은 지난 10년 동안 가장 두드러지고 잠재적으로 큰 변화를 가져올 수 있는 기술 가운데 하나다. 오픈AI(OpenAI)와 앤트로픽(Anthropic) 같은 새로운 업계 선두주자가 빠르게 떠오르고, 마이크로소프트(Microsoft), 구글(Google), 메타(Meta) 같은 기존 강자가 AI 쪽으로 전략을 돌리면서, AI는 의료와 금융에서 교육과 행정에 이르는 여러 분야의 미래를 점점 더 크게 좌우하고 있다. 한편 비판자들은 AI가 뚜렷한 사회적 목적 없이 과대광고에 기대고, 착취적이며, 지속 불가능한 또 하나의 기술일 수 있다고 경고한다.

공적 논쟁은 AI에 대한 무비판적 열광과 AI의 실존적 위험에 대한 깊은 우려 사이를 자주 오간다. 이렇게 양극화된 서사와 별개로, AI 기술이 사회, 경제, 정치 체계 깊숙이 자리 잡아 가고 있다는 것이 실제 현실이다. 과대광고든 아니든 AI는 오래 지속될 힘으로 남을 가능성이 크다. 그렇기에 분명한 공공 가치를 중심으로 AI 개발의 방향을 잡는 일이 더욱 시급하다.

상업 AI 연구소들이 생성형 AI 모델에 기반한 첫 대중용 애플리케이션을 막 내놓던 2022년 말, 마리아나 마추카토(Mariana Mazzucato)와 가브리엘라 라모스(Gabriela Ramos)는 "AI 혁신이 세상을 더 낫게 만들도록 설계된" 공공 정책과 제도가 필요하다고 주장하는 기고문을 발표했다. 두 사람은 오히려 새로운 세대의 디지털 기술이 "[정책] 공백 속에서 배치되고" 있다고 경고했다. 마추카토와 라모스에 따르면, 기술 혁명이 기술 혁신을 공익에 봉사하는 결과로 바꾸는 방향으로 나아가게 하려면 공공의 개입이 반드시 필요하다.1

새롭게 나타나는 권력 집중

3년이 지난 지금, AI 분야의 권력 집중은 더 깊어졌을 뿐이다. 지배적인 소수 기술 기업이 이제 최첨단 AI 모델 대부분뿐 아니라 이 분야를 형성하는 기반 인프라까지 장악하고 있다. 새롭게 등장한 이 AI 과점은 클라우드 컴퓨팅과 디지털 플랫폼에서 이미 존재하던 독점 위에 세워지며, 하이퍼스케일러와 거대 플랫폼 기업의 지배력을 더욱 굳힌다.

이 집중은 단지 구조의 문제가 아니다. 그 결과는 광범위하다. 소수 행위자가 AI를 어떻게 만들고 배치할지 정하면, 이익은 소수가 가져가고 위험은 대중이 떠안는다. AI 시스템은 점점 더 만든 이들의 가치, 유인, 세계관을 반영하며, 그 대가로 대중의 참여, 책무성, 민주적 감독이 밀려나는 경우가 많다.

문제를 더 키우는 것은 AI 개발의 빠른 속도이며, 여기에는 불안정을 낳는 두 가지 흐름이 있다. 첫째, 기업 간 경쟁이 갈수록 더 강력한 AI 모델을 향한 끝없는 경주를 불러왔다. 이 경주는 흔히 이른바 "초지능" 추구로 포장된다. 그 결과 상업적 지배를 목표로 설계된 시스템에 수십억 달러가 투자되고 있으며, 사회적 이익이나 안전은 거의 고려되지 않는 경우가 많다. 이런 컴퓨트 인프라 투자는 자신이 해결하려는 공공의 필요가 무엇인지 분명히 밝히지 않는 일이 잦고, 상당한 환경 비용을 낳을 수 있다.

둘째, 지정학적 변화가 국가들로 하여금 AI를 제로섬 게임으로 다루게 만들고 있다. 각국 정부는 국제 협력을 키우기보다 디지털 주권이라는 이름으로 혁신을 국경 안에 가두는 AI 민족주의에 나서고 있다. 소버린 AI 전략은 지배적 상업 행위자의 우선순위를 그대로 따르는 경우가 많고, 공공의 이익이 뒤따를 것이라는 가정 아래 대규모 컴퓨트 인프라 투자에 크게 치중한다. 그러나 이런 접근은 기존의 권력 비대칭을 고착시키고, 핵심 AI 구성 요소 공급자에 대한 의존을 더 깊게 만들 위험이 있다.

AI Now 연구소(AI Now Institute)가 지적했듯이, 현재의 AI 정책은 "공공의 이익을 민간 부문의 성공과 혼동하는"2 경향이 있다. 그 결과 책무성, 투명성, 공평한 접근보다 산업 경쟁력을 앞세우는 전략이 나온다. 방향을 바로잡지 않으면, 이 경로는 구조적 불평등을 굳히고 기반 AI 시스템에 대한 민주적 통제를 제한할 수 있다.

대안적 비전의 필요성: 공공 AI

커져 가는 이 불균형에 대응해, 지배적인 상업 AI 패러다임의 대안에 대한 관심이 높아지고 있다. 이 개념은 넓게 공공 AI라고 불린다. 공공 AI의 정의는 아직 유동적이지만, 대체로 투명한 거버넌스, 공적 책무성, 데이터와 모델 같은 핵심 구성 요소에 대한 개방적이고 공평한 접근, 그리고 명확히 정의된 공적 목적 기능을 갖추고 개발된 AI 시스템을 가리킨다.

공공 AI의 핵심 기둥은 완전한 오픈소스 모델의 개발이다. 이는 모델의 학습된 매개변수(즉 가중치와 편향), 흔히 오픈 모델이라 부르는 것을, 그 제작에 쓰인 코드, 데이터, 문서와 함께 오픈소스 라이선스로 공개하는 것을 뜻한다. 오픈 모델은 연구자, 공공기관, 시민사회를 비롯한 다양한 행위자가 기반 AI 시스템에 접근하고, 들여다보고, 수정할 수 있게 해 준다. 독점 모델과 달리 완전한 오픈소스 모델은 모델 가중치와 학습 데이터를 투명하게 보여 주므로 재현과 독립적 감사가 가능하다. 또한 특히 학계 연구자, 스타트업, 비상업적 응용을 위해 실험과 변형의 문턱을 낮춘다.

오픈소스 모델이 시장 집중을 없애지는 못하지만, 지배적인 소수 업계 행위자에 대한 의존을 줄이고, 제한적인 라이선스나 불투명한 제약 없이 공익 애플리케이션을 개발할 수 있게 해 준다. 이런 점에서 오픈소스 AI는 AI 개발을 민주적 가치와 공공의 목표에 맞추는 데 필요한 핵심 인프라 구실을 한다.

나아가 공공 AI의 비전들은 AI 인프라와 도구를 아우르는 더 넓은 생태계를 강화할 필요성을 강조한다. 지속 가능한 오픈소스 AI 생태계가 없다면, AI 개발을 투명하게 유지하고 공익에 맞추려는 노력은 취약하고 제한적인 수준에 머물 것이다.

두 가지 시급한 현실이 즉각적인 행동을 요구한다. 첫째, 개입할 수 있는 시간이 줄어들고 있다. 소수의 기업과 국가 행위자가 컴퓨트, 데이터세트, 인재 같은 핵심 인프라와 자원에 대한 통제를 굳혀 갈수록, 대안을 만드는 비용은 계속 올라간다. 둘째, 걸린 것이 전 지구적이다. 노동, 의료, 교육, 환경, 민주주의에 미치는 AI의 영향은 국경을 넘는다. 선제적 조치가 없다면 그 이익은 특권층 소수에게 쌓이고, 허위정보에서 알고리즘 편향에 이르는 위험은 주변화된 집단에 불균형하게 돌아갈 것이다.

정보 상자 | 오픈소스 AI와 개방성의 정도

공적으로 통제되는 최첨단 오픈소스 AI 모델의 개발은 공공 AI 정책의 핵심 목표가 되어야 한다. 이런 모델은 상업적 제품에 대한 공공의 대안이 되고, 더 작고 상호보완적인 모델들이 번성할 수 있는 생태계를 키우는 데 도움이 된다.

오픈소스 AI 개발의 이익과 위험은 최근 몇 년 동안 치열한 정책 논쟁의 대상이었다. 초기 논의는 주로 오픈소스 AI 시스템의 안전 위험에 집중했지만, 이제는 이런 모델에 대한 지지가 커지고 있고 AI 개발을 민주화할 잠재력도 점점 더 인정받고 있다.

그러나 "오픈소스 AI"라는 말은 현재 개방성의 정도가 제각각인 모델들을 두루 가리키는 데 쓰인다. 어떤 경우에는 "오픈 워싱(open washing)"이 일어난다. 실제로는 진정으로 개방되지 않은 모델을 오픈소스 기준을 충족하는 것처럼 홍보하는 것이다.3 따라서 공공 AI 정책은 무엇이 오픈소스 AI인지에 대한 명확하고 일관된 정의에 기반해야 한다. Open source AI Definition Initiative는 이분법적 정의를 제안했다. 사용, 연구, 수정, 재배포를 허용하는 라이선스로 공개된 AI 시스템이라는 정의다. 그러나 이 정의는 아직 널리 채택되지 않았다.4 이와 달리 허깅페이스(Hugging Face)의 아이린 솔레이먼(Irene Solaiman)은 개방성을 완전히 닫힌 상태에서 완전히 열린 상태까지 이어지는 연속적인 정도로 개념화했다.

이 백서에서는 오픈 모델, 즉 아키텍처와 매개변수(가중치와 편향)가 모두 허용적 라이선스로 공개된 모델에 초점을 맞춘다. 다만 AI 모델은 아키텍처와 가중치 말고도 여러 구성 요소로 이루어져 있다는 점에 유의해야 한다. 예를 들어 모델 개방성 프레임워크(Model Openness Framework)5는 모델을 코드, 데이터, 문서에 걸친 16개 구성 요소로 나누고, 이 구성 요소들이 허용적 라이선스로 얼마나 온전히 공유되는지에 따라 모델 개방성을 세 단계로 구분한다.

오늘날 "오픈" 또는 "오픈소스"라고 불리는 많은 모델은 일부 구성 요소만 공유한다. 대부분은 모델 매개변수만 약간의 문서와 함께 공개된다. 이것으로 재사용은 가능하지만, 학습 데이터와 개발 과정에 대한 투명성은 충분하지 않다.6 이런 모델은 오픈 웨이트(open-weight) 모델이라고 부르는 편이 더 정확하다.7 이 백서에서는 미스트랄(Mistral)이나 딥시크(DeepSeek) 같은 기업의 상업적 오픈 웨이트 모델을 포함해, 개방적 조건으로 공개된 폭넓은 범위의 모델을 가리키는 일반 용어로 오픈 모델을 쓴다.

동시에 이 백서의 핵심 권고 가운데 하나는 완전한 오픈소스 AI 모델의 개발이다. 우리는 이를 모델 매개변수, 아키텍처, 코드, 데이터세트, 관련 문서를 모두 오픈소스 라이선스로 공개하는 것으로 정의한다. 현재 이 정의를 충족하는 최첨단 모델은 매우 드물다. 앨런 AI 연구소(Allen Institute for AI)의 OLMo 2가 그 가운데 하나다.

왜 이 보고서인가?

이 백서는 중대한 갈림길에 선 정책 입안자와 재정 지원자를 위한 안내서다. 목표는 다음과 같다.

  • AI의 신비 걷어내기: 생성형 AI 기술을 컴퓨트, 데이터, 모델 층으로 이루어진 "스택"으로 나누어 봄으로써 과대광고를 걷어 내고, 그 복잡성을 더 이해하기 쉽게 만들며, 그 밑에 있는 권력 불균형을 드러낸다.
  • 병목과 의존 파악하기: GPU 부족에서 데이터 독점에 이르기까지, 오늘날 AI 생태계에서 집중을 강화하는 길목을 짚어 낸다.
  • 공공 AI로 가는 경로 제시하기: AI를 공공 디지털 인프라로 보는 비전을 제안하고, 공공 AI 생태계가 생겨날 수 있게 할 정책 및 재정 지원 개입을 조명한다.

2장에서는 AI를 정의하고 주요 AI 기술 유형을 구분하는 기술 입문을 제공하며, 머신러닝과 생성형 AI에 초점을 둔다. 또한 생성형 AI의 지배적 개발 패러다임인 트랜스포머 아키텍처를 설명하고, 그 바탕이 되는 스케일링 법칙을 설명한다.

3장에서는 생성형 AI 스택을 정의하고, 그 세 가지 핵심 층인 컴퓨트, 데이터, 모델을 개관한다. 이 층들은 공공 AI 해법을 만드는 조건을 형성한다. 특히 각 층에서 나타나는 권력 집중과, 그것이 공공 AI 노력에 주는 함의에 주목한다.

4장에서는 공공 디지털 인프라 개념에 기반한 공공 AI 프레임워크를 소개한다. 기존 제안들을 바탕으로 공공 AI 시스템을 이루는 구성 요소의 속성, 기능, 소유 구조를 분석한다. 이어서 특히 컴퓨트 층에서의 다양한 의존 정도를 반영하는, AI 해법의 공공성 단계를 제시한다. 이 장에서는 공공 AI를 위한 거버넌스 원칙도 제시한다.

5장에서는 각각 컴퓨트, 데이터, 모델 층에서 출발하는 공공 AI로 가는 세 가지 경로를 제시한다. 층마다 핵심 병목을 짚고 공공 AI의 비전을 진전시킬 해법을 제안한다. 이 장은 이 경로들을 하나의 일관된 공공 AI 의제로 잇기 위한 전략적 권고로 마무리한다.

2. 기술 입문: AI 기술이란 무엇이고 어떻게 작동하는가

AI 기술과 그 개발의 기술적 측면을 정확히 짚지 못하는 문제는 지금의 정책 논쟁에서 여전히 큰 한계로 남아 있다. AI를 이해하는 일, 곧 AI 개발의 기술적 차원과 경제적 차원을 함께 이해하는 일은 목표가 분명하고 효과적이며 효율적인 정책 개입을 설계하는 데 꼭 필요하다. 그러나 이 기술이 어떻게 개발되는지, 어떤 자원이 필요한지, 어떤 과학적·공학적 돌파구가 개발을 가능하게 했는지에 대한 논의는 흔히 명확하지 않다. "AI"라는 말은 성격이 전혀 다른 여러 기술을 뚜렷한 구분 없이 가리키는 데 자주 쓰인다.

공공 AI 전략을 실행할 현실적인 경로를 설계하려면 더 분명한 이해가 필요하다. 이 절은 AI 개발의 핵심적인 기술적 측면을 개괄하고, 이어지는 장들의 분석을 위한 바탕을 마련한다. 이어지는 장들은 생성형 AI를 중심으로 AI 분야에서 공공 인프라와 해법을 어떻게 만들 수 있는지 살펴본다.

이를 위해 이 절은 AI 기술을 기술적으로 설명한다. 기본 유형 분류, 생성형 AI의 지배적 개발 모델인 트랜스포머 패러다임의 개요, 그리고 AI 스케일링 법칙에 대한 논의를 담는다. 스케일링 법칙은 생성형 AI에 왜 그토록 막대한 컴퓨트가 필요한지 설명해 준다. 이 법칙은 어떤 행위자가 생성형 AI를 개발할 수 있는지를 가르는 결정적 요인이며, 진정한 공공 AI를 만드는 일이 왜 여전히 어려운지도 설명해 준다.

인공지능의 정의

넓게 말해 AI 연구 개발은 보통 인간의 지능이 필요한 과제를 수행할 수 있는 컴퓨터 시스템을 만드는 일이다.8 이 용어는 1956년 미국 다트머스 대학(Dartmouth College)에서 열린 학술 워크숍에서 비롯되었다고 알려져 있다.9 그 뒤로 이 분야는 낙관과 환멸의 주기를 여러 차례 겪었고, 기계가 인간의 인지 과제를 재현하거나 근사하도록 훈련하는 다양한 접근법이 나왔다. 분야가 발전하면서 AI의 정의도 달라졌다. 정의는 대개 달라지는 역량과 기대에 따라 바뀌었다. 음성 인식이나 이미지 인식처럼 한때 AI의 최전선이던 것이 지금은 많은 응용에서 일상적인 기능이 되었다.

널리 받아들여지는 정의는 OECD의 것이다. OECD는 AI 시스템을 "명시적이거나 암묵적인 목표를 위해, 받은 입력으로부터 물리적 또는 가상 환경에 영향을 줄 수 있는 예측, 콘텐츠, 추천, 결정 같은 출력을 어떻게 생성할지 추론하는 기계 기반 시스템. AI 시스템은 배포 후의 자율성과 적응성 수준이 저마다 다르다"라고 설명한다.10 이 정의는 여러 정부와 국제기구가 AI 거버넌스 체계를 만들 때 채택했다.11

[그림: Figure 1 | AI terminology (그림 1. AI 용어), 원문 18쪽 참조]

이 보고서는 OECD의 정의를 AI에 대한 일반적인 틀로 삼지만, 초점은 AI에 대한 기계학습(ML) 접근, 특히 오늘날의 생성형 AI 패러다임에 둔다. 이 절에서는 이 기술 개념들을 정의하고, 이어지는 절들에서 더 자세히 다룬다.

기계학습(machine learning, ML)은 오늘날 AI의 중심에 있다. 명시적으로 프로그래밍된 지시에 기대지 않고 데이터로부터 학습하는 컴퓨터 프로그램, 구체적으로는 통계 모델을 개발하는 일을 가리킨다. 톰 미첼(Tom Mitchell)은 ML을 이렇게 정의한다. "어떤 컴퓨터 프로그램이 과제 집합 T에서 성능 척도 P로 측정한 성능이 경험 E로 향상된다면, 그 프로그램은 T와 P에 관해 경험 E로부터 학습한다고 말한다."12 ML에는 다양한 통계적 학습 방식이 있다. 지도학습(레이블이 붙은 데이터로 학습), 비지도학습(레이블 없는 데이터에서 패턴 찾기), 강화학습(환경과 상호작용하며 학습)이 그 예다.

딥러닝(deep learning)은 여러 층으로 된 인공 신경망을 써서 원시 데이터에서 패턴을 찾아내는 ML의 한 갈래다. 층이 여러 개라서 "딥(deep)"이라는 이름이 붙었다.13 딥러닝은 텍스트나 이미지 같은 비정형 데이터를 다루는 데 특히 효과적이어서 자연어 처리와 컴퓨터 비전 같은 분야에서 널리 쓰인다. 아래에서 설명하듯 생성형 AI 응용에서도 핵심 역할을 한다.

생성형 AI(generative AI)는 딥러닝 기법을 적용해 모델을 만드는 일을 가리킨다. 이 모델은 입력(보통 자연어 프롬프트)을 받으면 과제마다 따로 프로그래밍하지 않아도 텍스트, 이미지, 오디오, 코드 같은 새로운 출력을 생성한다.14 최근 생성형 AI의 발전을 이끈 것은 아래에서 자세히 설명할 트랜스포머 기반 아키텍처와 스케일링 법칙의 등장, 그리고 OpenAI의 ChatGPT 같은 사용자용 도구의 부상이다.15 생성형 AI에는 언어 모델이나 비전 모델 같은 단일 모달 모델과, 텍스트, 이미지, 오디오처럼 여러 유형의 데이터를 입력이나 출력으로 처리하고 생성할 수 있는 멀티모달 모델이 모두 포함된다.

파운데이션 모델(foundation model)은 생성형 AI 안의 주요 범주다. 규모가 크고(매개변수가 최대 수조 개), 방대하고 다양한 데이터셋으로 훈련되며, 폭넓은 하위 응용에 맞게 적응시킬 수 있다는 점이 특징이다.16 파운데이션 모델은 단일 모달일 수도, 멀티모달일 수도 있다. 예를 들어 OpenAI의 GPT-3는 텍스트만 다루는 단일 모달 파운데이션 모델이고, GPT-4o는 텍스트, 오디오, 이미지, 동영상을 처리하고 생성할 수 있는 멀티모달 모델이다. "대규모 언어 모델(LLM)"과 "파운데이션 모델"이라는 말은 흔히 같은 뜻으로 쓰이지만, 엄밀히 말해 LLM은 언어 처리에 특화된 파운데이션 모델의 하위 집합이다. 파운데이션 모델은 더 넓게는 비전이나 오디오 같은 다른 모달리티, 또는 그 조합에 초점을 둔 시스템까지 포함한다.

지금은 생성형 AI가 큰 주목을 받고 있고 ChatGPT나 Claude 같은 유명 도구가 대중의 관심을 끌고 있다. 그래도 가장 흔한 AI 활용 사례는 여전히 회귀 모델, 랜덤 포레스트, 군집화 알고리즘 같은 전통적인 ML 접근에 기대고 있다는 점을 짚어 둘 필요가 있다. 프랑스 AI 스타트업 750곳을 조사한 AI Mapping 2025 보고서에 따르면 가장 널리 쓰이는 AI 기법은 여전히 ML(28%)이고, 딥러닝(20%)과 생성형 AI(15%)가 그 뒤를 잇는다.17

이런 ML 접근이 상대적으로 인기 있다는 사실은 널리 쓰이는 AI용 오픈소스 소프트웨어 라이브러리의 다운로드 통계에서도 드러난다. 예를 들어 ML 알고리즘을 구현한 파이썬 라이브러리로 "ML의 스위스 군용 칼"이라 불리는 scikit-learn은 하루 최대 300만 번 다운로드된다.18, 19 그 뒤를 딥러닝 모델 훈련에 널리 쓰이는 프레임워크인 PyTorch, 그리고 Hugging Face Hub에 올라온 모델에 접근하고 미세조정하는 라이브러리인 transformers가 잇는다. 둘 다 하루 최대 150만 번 다운로드된다.20, 21

생성형 AI 모델은 점점 범용 기술(general-purpose technologies, GPTs)이 될 잠재력이 있는 것으로 여겨진다. 범용 기술이란 인쇄기, 전기, 컴퓨터, 인터넷처럼 여러 부문에 걸쳐 사회와 경제를 다시 짜는 기반 혁신을 말한다.22 더 넓게 보면 ML 기법은 다재다능함과 여러 영역에서 혁신을 낳는 능력으로 규정된다. 데이터에서 패턴을 찾고 예측하는 핵심 능력 덕분이다. 그런 점에서 ML은 예전의 단일 목적 AI 시스템에서 벗어난 패러다임 전환이다. 동시에 이 모델들은 큰 재설계 없이도 특정 영역의 응용에 쉽게 맞춰 쓸 수 있다.

범용적이면서도 적응성이 매우 높다는 이 이중성은 ML을 역사 속 다른 범용 기술과 구별하고, 정책 논쟁을 더 복잡하게 만든다. 정책 입안자는 ML과 생성형 AI 기술이 사회 전반에 이익을 주는 동시에 맥락별 응용도 뒷받침하도록 틀을 설계할 때 이 이중성과 씨름해야 한다.

[그림: Figure 2 | Neural network (그림 2. 신경망: 알파벳 글자를 인식할 수 있는 간단한 신경망의 예), 원문 20쪽 참조]

딥러닝 패러다임

모델이 데이터로부터 학습해 특정 과제를 수행하도록 훈련하는 ML 패러다임은 여러 가지가 개발되었다. 데이터로 모델을 훈련하는 능력, 그리고 그 위에 만들 수 있는 응용은 공공 AI 정책이 공익을 위해 확보하려는 핵심 기술 역량이다. 이 절에서는 신경망을 쓰는 딥러닝 접근에 초점을 맞춘다. 딥러닝은 생성형 AI 개발의 중심 패러다임이 되었다. 딥러닝은 2006년에 발표된 획기적인 연구 논문,23 그리고 그 연구를 처음 적용해 2012년에 개발한 AlexNet을 계기로 크게 탄력을 받았다.24 지난 10여 년 동안 이 패러다임이 발전하면서 성공에 특히 결정적인 세 가지 자원이 드러났다. 컴퓨트, 데이터, 그리고 모델 아키텍처(모델 크기 포함)다.

신경망의 기본 설계는 뇌의 생물학적 뉴런에서 영감을 받은 계산 모델 아키텍처에 바탕을 둔다. 신경망은 서로 연결된 인공 뉴런이 층을 이룬 구조로, 일련의 수학 연산으로 데이터를 처리하고 변환한다. 모든 신경망에는 원시 데이터를 받는 입력층, 그 정보를 처리하는 은닉층, 결과를 내는 출력층이 있다. 딥러닝의 "딥"은 입력층과 출력층 사이에 은닉층이 여러 개 있다는 뜻이다. 은닉층이 여럿이어서 모델은 점점 더 복잡하고 추상적인 데이터 표현을 학습할 수 있다.

그림 2는 알파벳 글자를 인식할 수 있는 간단한 신경망의 예다. 신경망은 역전파(backpropagation)라는 과정으로 가중치, 곧 뉴런 사이 연결의 세기를 조정하며 학습한다. 이 과정에서 신경망은 예측을 하고, 그 예측을 정답과 비교해 오차를 계산한 뒤, 오차를 줄이도록 가중치를 갱신한다.25 중요한 점은 가중치의 총수가 모델의 크기를 정하고, 모델의 역량과 효과를 좌우하는 데 결정적 역할을 한다는 것이다. 이 수는 흔히 2B, 7B, 40B처럼 표기한다(매개변수가 몇십억 개인지 나타낸다). 이 아키텍처는 이미지, 텍스트, 오디오처럼 복잡한 데이터 유형에 강력하다는 것이 입증되었고, 컴퓨터 비전부터 자연어 처리까지 여러 분야에서 큰 돌파구를 열었다.

신경망은 1950년대에 처음 개발되었다. 유망했지만 오랫동안 두 가지 큰 한계에 묶여 있었다. 컴퓨팅 성능이 부족했고, 데이터에 접근하기 어려웠다. 이후 수십 년 동안 기계학습 기술의 발전은, 최근의 생성형 AI 발전까지 포함해, 이 핵심 자원을 확보하는 데 달려 있었다. 이 분야는 열광과 실망의 주기를 몇 차례 겪었고, 2010년대에 세 가지 핵심 발전이 한데 모이면서 전환점을 맞았다.

  • 모델 아키텍처: 합성곱 신경망 같은 새로운 아키텍처가 개발되었다. 합성곱 신경망은 처음에는 컴퓨터 비전에 쓰였고 나중에 기계번역에도 도입되었다. 결국 트랜스포머 아키텍처가 생성형 AI 응용의 등장을 가능하게 했다.
  • 컴퓨트: 기계학습에 그래픽 처리 장치(GPU)를 쓰고 CUDA 프로그래밍 플랫폼을 개발하는 등 컴퓨트 인프라가 발전했다. 덕분에 AI 훈련에 필요한 대규모 병렬 연산이 가능해졌다.
  • 데이터: 레이블이 붙은 대규모 데이터셋이 만들어지면서 데이터 중심의 AI 접근이 가능해졌고 지도학습의 지배력이 더 커졌다. 이런 데이터셋 다수는 공개되어 있거나 개방적으로 공유된 웹 콘텐츠로 만들어졌다. 이는 오픈 데이터가 훈련 예시의 수집과 큐레이션을 얼마나 쉽게 해 주는지 보여 준다.

결정적 순간은 2012년 AlexNet과 함께 왔다. AlexNet은 이미지 인식에서 기존 방법을 크게 앞지른 심층 신경망이다. 그 성공은 딥러닝 모델을 대규모 데이터셋과 충분한 연산 능력으로 훈련하면 획기적인 결과를 낼 수 있음을 보여 주었다. 이것이 현대 딥러닝 시대의 시작이었다.

AlexNet은 ImageNet이 없었다면 불가능했을 것이다. ImageNet은 수천 개 범주에 걸쳐 레이블이 붙은 이미지 수백만 장을 담은 데이터셋이다. ImageNet은 이전에는 불가능했던 방식으로 심층 신경망을 훈련하는 데 필요한 규모를 제공했다. 그 성공은 수집(스크래핑)할 수 있는 공개 웹 콘텐츠, 그리고 저임금 노동자 수만 명이 이미지에 레이블을 붙인 아마존(Amazon)의 Mechanical Turk 플랫폼에 기댔다. 이 작업을 이끈 페이페이 리(Fei Fei Li)에 따르면 ImageNet 프로젝트는 대규모 데이터셋이 AI 개발에 결정적 역할을 한다는 것을 처음으로 보여 준 시도였다.26

연산 능력의 도약도 그만큼 중요했다. 핵심 돌파구는 GPU였다. GPU는 원래 컴퓨터 게임용으로 설계되었지만, 여러 계산을 동시에 처리하는 능력이 뛰어나 AI에 혁신적인 변화를 가져왔다. 특히 엔비디아(Nvidia)가 2006년에 CUDA 컴퓨팅 플랫폼을 내놓은 일이 중요했다. CUDA 덕분에 GPU를 범용 기계학습 작업에 쓸 수 있게 되었다. 대규모 데이터셋과 GPU 기반 병렬 처리 능력이 맞물리면서 AI 개발이 결정적으로 빨라졌다.

지금 AI 개발을 괴롭히는 데이터 거버넌스 문제는 ImageNet 때부터 이미 드러나기 시작했다. 저임금을 받은 Mechanical Turk 노동자 약 4만 9천 명의 노동은 대부분 보이지 않았다. 웹에서 긁어 온 이미지에 레이블을 붙이는 노동, 그리고 그 이미지에 찍힌 사람들의 권리도 제대로 인정받지 못했다.27 뒤이은 비판적 분석들은 레이블링 과정에서 여러 형태의 편향이 생겨났고, 이 데이터셋이 AI 연구의 토대가 된 뒤에도 그 편향이 바로잡히지 않았음을 밝혀냈다.28 같은 시기에 만들어진 다른 컴퓨터 비전 데이터셋에도 비슷한 문제가 있었고, 이런 문제는 생성형 AI 모델의 훈련 데이터셋을 만들 때도 이어지고 있다.29

"Attention is all you need": 트랜스포머와 생성형 AI의 부상

최근의 기술 혁신 가운데 트랜스포머 아키텍처의 개발은 지난 10년간 생성형 AI의 빠른 발전을 이끈 가장 중요한 돌파구라고 할 만하다. 2017년 구글(Google)의 기계번역 연구자들이 내놓은 이 아키텍처는 언어 처리를 위한 기계학습에서 큰 도약이었다.30

텍스트를 순서대로 처리하던 이전 모델과 달리, 트랜스포머는 셀프 어텐션(self-attention)이라는 메커니즘으로 전체 시퀀스를 한꺼번에 처리할 수 있다. 이 메커니즘으로 모델은 문장 안의 각 단어가 다른 모든 단어와 얼마나 관련 있는지를 따져 볼 수 있고, 그래서 맥락과 의미를 이해하는 능력이 크게 높아진다.

셀프 어텐션 메커니즘은 복잡하기 때문에 트랜스포머는 이전의 어떤 알고리즘에서도 볼 수 없던 규모의 컴퓨트와 데이터 자원을 요구한다. 이 특성은 AI 개발에 자원을 어떻게 대는지에 중대한 영향을 미친다. 공공 AI 정책이 진지하게 다뤄야 할 문제다.

정보 상자 | 트랜스포머 아키텍처의 어텐션 메커니즘

어텐션 메커니즘은 먼저 각 토큰(단어 또는 하위 단어 단위)을 고차원 벡터로 바꾼다. 그런 다음 이 벡터 토큰들로부터 쿼리(query), 키(key), 값(value)이라는 세 행렬을 계산한다. 이 행렬들은 토큰 사이에 정보가 어떻게 흐르는지 모델이 판단하도록 돕는다. 그래서 모델은 텍스트 안의 가까운 의존 관계와 먼 의존 관계를 모두 포착할 수 있다. 이 아키텍처 덕분에 모델은 점점 더 정교한 언어 패턴을 학습할 수 있다.

이전의 언어 처리 접근은 주로 순환 신경망(RNN) 같은 기법에 의존했다. RNN은 텍스트를 순서대로, 곧 한 번에 한 단어씩 처리했다. 다음 문장을 생각해 보자.

"Watching the water flow gently, she sat down by the bank." (잔잔히 흐르는 물을 바라보며 그녀는 강둑에 앉았다.)

RNN 기반 모델은 이 문장을 한 단어씩 처리한다. "bank"라는 단어에 이를 즈음이면 모델은 "water"(물)나 "flow"(흐르다) 같은 앞 단어를 떠올리기 어려울 수 있다. RNN은 시퀀스가 길어질수록 정보를 잊는 경향이 있기 때문이다. 장단기 메모리 네트워크(LSTM) 같은 더 정교한 아키텍처가 기본 RNN을 개선했지만, 긴 시퀀스를 처리하는 데에는 여전히 근본적인 한계가 있었다.

트랜스포머의 핵심 혁신은 어텐션 메커니즘의 도입이었다. 어텐션 메커니즘 덕분에 모델은 시퀀스의 모든 단어를 동시에 처리하고 그 관계를 계산할 수 있다. 예를 들어 다음 문장을 보자.

"The water continued to flow steadily, gradually eroding the bank." (물은 꾸준히 흘러 강둑을 조금씩 깎아 냈다.)

어텐션 메커니즘으로 모델은 "water"와 "flow"가 "bank"의 의미를 해석하는 데 매우 중요하다는 것을 알아챈다. 그래서 관련 단어가 몇 토큰 앞에 나왔는데도 이 말이 금융기관(은행)이 아니라 강둑을 가리킨다고 추론할 수 있다. 모델은 각 단어를 처리할 때 어텐션 점수를 계산해 시퀀스의 다른 모든 단어에 가중치를 얼마나 줄지 정한다.

트랜스포머 아키텍처에는 어텐션 메커니즘을 과제에 맞게 다르게 쓰는 여러 변형이 있다는 점도 짚어 둘 필요가 있다. 인코더 전용(encoder-only) 모델은 입력 전체를 한 번에 처리해 풍부한 맥락 표현을 만든다(위의 예처럼). 그래서 텍스트 분류나 이해 같은 과제에 잘 맞는다. 디코더 전용(decoder-only) 모델은 앞서 생성한 토큰에 주의를 기울이며 출력을 한 번에 한 토큰씩 생성하고, 텍스트 생성과 자동 완성 시스템에 쓰인다. 인코더-디코더(encoder-decoder) 모델은 두 방식을 결합한다. 먼저 입력 전체를 인코딩한 뒤 디코더가 출력을 만든다. 번역, 요약, 질의응답 같은 과제가 이 방식으로 가능해진다.

2017년 이후 트랜스포머 아키텍처는 폭넓은 언어 과제의 토대가 되었다. 가장 두드러진 응용은 LLM이다. 대표적인 예가 2019년 GPT-2를 시작으로 OpenAI가 개발한 생성형 사전학습 트랜스포머(Generative Pretrained Transformer, GPT) 계열이다. 그 뒤로 생성형 AI 개발은 모델의 역량을 넓히고 개선하는 데 집중해 왔다. 이 개발 패러다임에서 진보는 세 가지 핵심 자원, 곧 데이터, 컴퓨트, 그리고 그 결과로 나오는 모델의 크기를 키워서 이루어진다. 트랜스포머 아키텍처의 특성, 그리고 컴퓨트와 데이터에 대한 높은 수요는 공공 AI 정책이 반드시 고려해야 할 사항이다.

최근의 아키텍처 혁신은 트랜스포머가 여러 모달리티를 동시에 다룰 수 있도록 역량을 넓혔다. 이런 멀티모달 모델은 원래 아키텍처를 특화해 변형함으로써 텍스트, 이미지, 오디오, 동영상의 조합을 처리할 수 있다. 한편 연구자들은 영역 특화 미세조정 같은 새로운 접근도 탐색하고 있다. 이 방식은 모델 크기를 키우는 데만 기대지 않고도 특정 응용에서 모델 성능을 높인다. 양자화(quantization)와 가지치기(pruning) 기술의 발전으로 자원이 제한된 하드웨어에서도 더 큰 모델을 더 효율적으로 배포할 수 있게 되고 있다.

생성형 AI 개발 과정

생성형 AI 모델 개발은 여러 단계로 이루어진 과정이다. 서로 다른 훈련 방식을 결합해 유능한 AI 시스템을 만든다. 이 과정에는 여러 구성 요소가 관여한다. 모델 아키텍처, 모델을 훈련하거나 평가하는 코드, 훈련 데이터셋을 전처리하는 코드, 모델의 훈련, 평가, 정렬에 쓰이는 데이터셋이 그것이다. 과정 전반에 걸쳐 컴퓨팅 자원을 써서 대량의 데이터로 생성형 AI 모델을 훈련한다.

이 절에서는 기본 파운데이션 모델의 사전학습부터 사후학습 미세조정, 그리고 최종적으로 사용자용 응용에 배포하는 데까지 생성형 AI 개발 과정을 개괄한다. 이 과정의 기술적 특성이 생성형 AI를 만드는 데 필요한 자원을 결정한다. 이 자원에 대한 접근을 확보하는 것은 공공 AI 정책의 핵심 목표다. 여기서는 생성형 AI 시스템 개발의 핵심 단계와 의사결정 지점을 보여 주는 개념적 틀을 제시하려 한다. 공공 AI로 가는 현실적이고 실행 가능한 경로를 설계하려면 구성 요소들이 어떻게 맞물리는지, 어디서 의존 관계가 생기는지 이해해야 한다.

아래 도식은 생성형 AI 개발 과정을 단순화해 보여 준다. 과정은 사전학습, 사후학습, 추론의 세 단계로 나뉜다.

사전학습 단계

사전학습은 모델 개발 파이프라인의 첫 단계다. 이 단계에서 모델은 자기지도학습으로 대규모 데이터셋에서 일반적인 패턴을 찾도록 훈련된다.

훈련을 시작하기 전에 데이터를 준비해야 한다. 이 과정은 데이터 수집에서 시작해 원시 데이터의 정제와 검증으로 이어진다. 이 단계에서 라이선스 같은 법적 문제를 다룬다. 정제된 데이터셋은 다시 필터링을 거쳐 품질이 낮거나 부적절한 콘텐츠를 걸러 낸다. 데이터는 추가로 가공된다. 예를 들어 LLM 훈련에 쓰는 텍스트 데이터는 모델이 효율적으로 처리할 수 있도록 토큰화한다. 민감한 데이터가 포함되면 개인정보 보호와 보안 조치도 시행한다. 이와 함께 모델 아키텍처, 소프트웨어, 기타 도구를 설계하고 준비한다.

이 단계에는 상당한 연산 자원이 필요하다. 2020년 이후로는 스케일링 법칙이 이 단계를 규정해 왔다. 스케일링 법칙은 모델 크기, 데이터셋 크기, 연산 능력을 늘리면 성능이 좋아지는 경향을 말한다(이 법칙은 27쪽에서 더 자세히 설명한다). 새로운 세대의 프런티어 모델은 이 핵심 자원을 매번 더 많이 요구한다. 그러나 연산 수요는 모델 규모에 따라 크게 다르고, 최근 훈련 효율이 높아지면서 이런 요구가 줄어들기 시작했다. 갈수록 커지는 모델에서 더 효율적이고 자원을 아끼는 접근으로 초점을 옮기는 새로운 소형 모델 패러다임이 떠오르고 있다.31

어느 경우든 사전학습은 모델 개발에서 자원이 가장 많이 드는 단계다. 그 결과물은 사전학습된 기본 모델이다. 이 모델은 아직 배포하기에는 알맞지 않지만, 추가 훈련을 위한 범용 토대 역할을 할 수 있다.

[그림: Figure 3 | Development of a generative AI model (그림 3. 생성형 AI 모델의 개발 과정), 원문 25쪽 참조]

사후학습 단계

이 단계에서는 추가 학습으로 기본 모델을 다듬는다. 특정 분야에서 모델의 능력을 높이고, 모델의 행동을 특정 목표에 맞게 정렬하기 위해서다. 이때 검증용 데이터셋, 지시(instruction) 데이터셋, 벤치마크 데이터셋 등 여러 데이터셋으로 모델을 더 학습시킨다.

이 단계의 개발 방법은 빠르게 발전해 왔다. 2024년에는 두 가지 접근이 두드러졌다. 첫째는 지도 미세조정(supervised fine-tuning)으로, 특정 분야나 특정 과업에 맞춘 데이터셋으로 모델을 학습시키는 방식이다. 예를 들어 의학 문헌으로 모델을 미세조정하면 의료 관련 능력을 높일 수 있다. 둘째는 강화학습으로 모델의 추론과 의사결정 능력을 높이는 방식이다. 주된 방법은 두 가지다. 인간 피드백 기반 강화학습(RLHF)은 사람의 선호가 학습 과정을 이끈다. AI 피드백 기반 강화학습(RLAIF)은 다른 AI 시스템이 학습 신호를 준다.32

이 단계에는 평가와 배포 최적화도 포함된다. 실제 응용 서비스에 배포하기 전에 모델이 정확성, 신뢰성, 계산 효율성, 안전성 요건을 갖추었는지 확인하는 과정이다. 여기에는 표준화된 벤치마크 시험이 들어간다. 벤치마크는 추론, 지식, 안전 등 여러 영역에서 모델의 능력을 측정한다.33 적대적 테스트, 환각 탐지 같은 전문적인 시험 방법으로도 모델을 평가한다.

이 단계의 결과물은 배포할 준비가 된, 학습을 마친 모델이다.

배포

이른바 추론(inference) 단계에서는 학습을 마친 모델을 사용자용 응용 서비스에 배포한다. 이때 추론 컴퓨트라고 부르는 추가 계산 자원이 필요하다. 아니면 모델을 클라우드 플랫폼에 올려 API로 제공할 수도 있다. 그러면 제3자가 그 위에 자기 응용 서비스를 만들 수 있다. 추론 컴퓨트는 모델을 돌리는 데 꼭 필요하며, 대형 프런티어 모델이라면 상당한 비용과 환경 영향이 따를 수 있다. 작고 더 지속가능한 모델이 개발되는 이유도 여기에 있다.

여기서 제시한 개요는 실제로는 훨씬 복잡한 개발 과정을 단순화한 것이다. 실제로 모델 개발이 한 번에 끝나는 경우는 드물다. AI 연구소들은 보통 시간을 두고 모델을 개선하려 하며, 과정의 앞 단계로 되돌아가곤 한다. 그래서 개발은 흔히 반복적으로 이루어지고, 뒤 단계에서 얻은 피드백이 앞 단계 구성 요소의 조정에 반영된다. 개발자들은 시스템을 다듬으면서 여러 단계를 자주 오간다. 끝으로 복합 AI 시스템(compound AI systems)은 여러 모델을 결합해 전체 작업 흐름과 응용 서비스를 만든다.

이 개요는 Hugging Face 같은 플랫폼에서 볼 수 있는 개방형 모델 개발 생태계의 다양성도 충분히 반영하지 못한다. 이런 생태계의 개발은 여러 모델을 함께 쓰는 방식으로 이루어진다. 이 경우 작업은 흔히 공개된 기본 모델에서 시작하고, 미세조정 등을 거쳐 파생 모델을 만든다. 또 증류(distillation)나 양자화(quantization) 같은 기법으로 큰 모델에서 더 작은 모델을 만들 수도 있다(3장 참조).

AI 스케일링 법칙: 논쟁 중인 AI의 미래

앞 절에서는 생성형 AI가 어떻게 개발되는지 개괄하고, 이 과정에서 컴퓨트, 데이터, 소프트웨어, 아키텍처 구성 요소가 어떻게 쓰이는지 보였다. 이 절에서는 트랜스포머 기반 모델 개발의 결정적 특징인 AI 스케일링 법칙을 설명한다. 이 경험적 관계가 발견되면서 AI 개발은 점점 더 많은 컴퓨트와 학습 데이터를 확보하는 일에 의존하게 되었다. 최첨단 모델 개발을 지원하려는 공공 AI 정책이라면 이런 자원에 대한 접근 보장을 핵심 과제로 삼아야 한다.

AI 스케일링 법칙이란 무엇인가?

2020년 OpenAI 연구자들의 논문은 트랜스포머 기반 모델 개발에 스케일링 법칙34이 내재해 있다고 보았다. 이 논문은 AI 학습에 쓰이는 확장 가능한 세 가지 자원(모델 파라미터 수, 학습 데이터 크기, 계산 능력)과 모델 성능 사이에 멱법칙(power law) 관계가 있음을 밝혔다. 이런 접근은 AI의 "클수록 좋다(bigger is better)" 패러다임으로 불려 왔다.35

스케일링 법칙은 자연법칙이 아니다. 경험적 관찰에 바탕을 둔다. 사전학습 단계에서 모델 크기, 데이터셋 크기, 컴퓨트라는 세 투입 요소를 함께 늘리면 벤치마크 과업의 성능이 올라간다는 관찰이다. 다시 말해 이 패러다임의 중심에는 트랜스포머 모델이 있다. 트랜스포머는 방대한 데이터를 병렬로 처리할 수 있어 자원을 많이 쓰는 것으로 알려져 있다. 이런 성능 향상은 사전학습 단계에서 세 요소를 모두 함께 키울 때만 나타난다. 연구자들은 한 요소만 따로 늘리면 수확체감이 일어난다는 것을 발견했다.36

2022년 DeepMind가 내놓은 이른바 친칠라(Chinchilla) 스케일링 법칙은 모델 크기, 학습 데이터, 컴퓨트 사이의 더 최적화된 비율을 제안해 이 모델을 다듬었다.37 이 연구는 이전 모델들, 특히 GPT-3가 충분히 학습되지 않았음을 보여 주었다. 쓰인 데이터와 컴퓨트 양에 비해 모델이 너무 컸다는 것이다. 논문이 제안한 새 접근에 따르면, 더 좋은 품질의 데이터로 더 오래 학습시키면 작은 모델도 큰 모델만큼 효과적일 수 있다.

AI 스케일링 법칙의 진화

스케일링 법칙은 AI 성능을 크게 끌어올렸지만, 최근 연구는 규모 확대를 계속해서 얻는 이득이 줄어들고 있을 수 있다고 본다.38 가장 큰 제약은 고품질 학습 데이터가 부족하다는 점이다. OpenAI 공동 창립자이자 트랜스포머 기반 모델 개발의 핵심 인물인 일리야 수츠케버(Ilya Sutskever)는 우리가 "데이터 정점(peak data)"39에 이르렀다고 주장한다. 모든 프런티어 AI 연구소가 웹 데이터 수집(스크래핑)에 의존하고 있고, 스케일링 법칙은 정체되기 시작했다는 것이다.

이 논쟁에 걸린 것은 크다. 인공 초지능의 한 형태인 범용 인공지능(AGI)을 지지하는 사람들은 흔히 스케일링 법칙이 계속 유효하리라는 데 걸고 있다. AI 규모 확대의 힘에 대한 이 믿음은 최근의 막대한 컴퓨트 투자를 떠받치고 있기도 하다. 2025년 1월 OpenAI, Oracle, SoftBank가 발표한 5,000억 달러 투자가 그 예다.40 반면 비판자들은 지금의 AI 개발 물결을 스케일링 법칙의 결과 때문에 결국 무너질 또 하나의 과열(hype) 주기로 본다.41

AI 스케일링 법칙의 미래를 두고 의견은 갈린다. 일부 전문가는 스케일링 법칙이 시간이 지나면 자연스럽게 정체되며, 지금의 둔화는 사전학습 스케일링 법칙의 자연스러운 흐름이고 처음부터 예상된 일이었다고 본다. 다른 이들은 규모 확대의 효과가 여러 요인에 달려 있으므로 AI 스케일링 법칙이 약해지기보다 진화할 것이라고 예상한다.42

스케일링의 진화는 이미 진행 중이다. 2020년부터 2023년까지 지배적이던, 모델 사전학습에만 집중하는 방식은 새 패러다임에 자리를 내주고 있다. 새 패러다임은 개발의 뒤 단계, 나아가 배포 단계에서 얻는 이점에 주목한다.43 원래의 사전학습 스케일링 법칙이 평탄해지기 시작하더라도, 이 다른 단계들은 점점 다음 개척지로 여겨지고 있다. 일부 연구자는 AI 능력의 미래가 어느 한 차원을 한계까지 밀어붙이는 데보다 세 가지 스케일링 차원 사이의 균형을 잘 찾는 데 더 달려 있을 수 있다고 주장한다.44

2024년부터 선도적인 AI 기업들은 사후학습 단계의 스케일링으로 초점을 옮겼다. 이 단계의 최적화는 처음 학습을 마친 모델을 강화학습 기법이나 다른 미세조정 방법으로 다듬는 일이다.45 이런 방법은 모델을 인간의 선호와 특정 과업에 맞게 정렬하고, 더 복잡한 추론을 할 수 있는 모델을 만들 수 있게 해 준다. 연구에 따르면 사후학습에 투입한 자원과 그에 따른 성능 향상의 관계는 그 나름의 고유한 스케일링 양상을 따른다. 일부 연구자는 특히 강화학습 방법이 계속 발전하는 만큼, 이 단계가 사전학습보다 개선 여지가 더 클 수 있다고 주장한다.46

이와 관련된 흐름이 추론 컴퓨트 스케일링이다. 모델을 사용할 때 더 많은 계산 자원을 배정해 성능을 높이는 방식이다. 이는 새 개척지로 떠올랐는데, 특히 여러 후보 출력을 생성하고 내부에서 가장 좋은 것을 고르는 추론(reasoning) 모델 개발에서 그렇다.47 초기 결과를 보면 이 접근은 모델 크기를 키우거나 학습 데이터를 더하지 않고도 성능을 크게 높일 수 있다.48 이 접근은 OpenAI가 o1, o3 같은 추론 모델을 내놓으면서 주목받았다. 이 모델들은 이 방법으로 벤치마크에서 높은 성능을 보였다.

원래의 스케일링 법칙(지금은 사전학습 스케일링이라고 부른다)이 정체되기 시작하더라도, 그것이 곧 계산 수요의 감소를 뜻하지는 않는다. 추론 스케일링은 계속 힘을 얻고 있으며 높은 자원 요구를 이어 갈 수 있다. 따라서 아키텍처와 학습 방법이 바뀌더라도 트랜스포머 기반 모델의 개발과 배포에는 계속 큰 비용이 들 수 있다.49

2장에서 설명했듯이 AI 스케일링 법칙은 AI 생태계 집중의 핵심 동인이다. 트랜스포머 아키텍처에 기반하고 AI 스케일링 법칙을 따르는 AI 개발 방식은 여러 파급 효과를 낳는다. 첫째, 앞 절에서 설명한 것과 같은 시장 권력 집중을 낳는다. 둘째, 컴퓨팅 자원에 대한 불균등한 접근과 관련된 새롭고 독특한 형태의 디지털 격차를 낳는다. 셋째, AI 시스템의 환경 발자국을 크게 늘린다.

스케일링과 AI의 환경 발자국

대형 AI 모델의 학습과 배포는 데이터센터의 에너지 소비에 그치지 않는 큰 환경 발자국을 남긴다. 예를 들어 대형 언어 모델 하나를 학습시키는 데 이산화탄소가 최대 550톤 배출될 수 있다.50 게다가 배포, 즉 추론에 드는 에너지가 지속적인 AI 관련 에너지 사용에서 차지하는 비중도 상당하다. Meta에서는 3분의 151, Google에서는 60%에 이른다.52 또한 데이터센터 과열을 막는 냉각 시스템은 흔히 많은 양의 물을 써서 지역 수자원에 부담을 더한다.53

AI 시스템이 널리 퍼질수록 이런 에너지 수요는 계속 늘어난다. 지배적인 AI 기업들이 에너지 기업으로 바뀌어 가고 있다는 점이 이를 잘 보여 준다.54 이런 흐름은 근본적으로 지속 불가능하다. 계산 수요가 모델 성능 향상보다 빠르게 늘기 때문이다.55

AI의 환경 비용은 에너지 소비에 그치지 않는다. 데이터센터 밖으로 눈을 돌리면, AI 공급망 전체가 오늘날의 AI 개발·배포 방식이 치르는 환경 비용에 대해 심각한 우려를 낳는다.56 GPU용 원자재 채굴부터 폐기된 하드웨어에서 나오는 전자 폐기물 문제까지 그렇다. 이는 연구자들이 제번스 역설(Jevons paradox)이라 부르는 현상을 낳는다.57 개별 모델이 효율적이 될수록 효율 향상이 더 넓은 배포와 더 잦은 사용으로 이어져 전체 환경 영향은 오히려 커진다. 이런 역학은 규모를 강조하는 지금의 AI 개발 궤적이 장기적으로 환경 면에서 지속가능한지 묻게 한다.

이런 환경 문제는 공공 AI 정책 결정에 반영해야 할 중요한 요소다. AI 기술을 배포할 때는 오늘날 생성형 AI 시스템에 내재한 환경 영향을 다루어야 한다. 상업 AI 연구소들은 AI 스케일링 법칙의 패러다임 안에서 풀스택 방식을 활용하며, 데이터센터 개발에서도 "클수록 좋다" 모델을 받아들이는 경향이 있다. 그 대가로 환경 지속가능성이 희생되는 경우가 많다.58 재정적 한계와 더불어 AI의 환경 영향은 공공 AI 정책이 점점 더 큰 모델에 집중하는 상업적 전략을 그대로 따라 해서는 안 되는 주요 이유다.

AI 스케일링 법칙의 미래는?

2024년 말 DeepSeek의 V3와 R1 모델 소식이 나오자 많은 언론 관찰자가 스케일링 패러다임의 미래에 의문을 던졌다. 초기 보도는 DeepSeek이 개발 비용을 수천억 달러에서 수십억 달러 수준으로 줄였다고 전했다. 그러나 일부 전문가가 처음 내놓은 견해와 달리, 이 모델들이 AI 개발의 근본적 전환을 뜻하지는 않는다는 점이 이후 분명해졌다.

DeepSeek은 결국 컴퓨트 요구량을 크게 줄여 새 세대 최첨단 모델을 만들 수 있음을 보여 주지 못했다. 널리 인용된 560만 달러라는 학습 비용은 마지막 학습 실행 한 번에만 해당한다. DeepSeek의 AI 인프라 총비용은 16억 달러로 추정된다. 이 회사는 약 5만 개의 GPU를 운영하는데, 이는 서구 주요 AI 연구소와 비슷한 규모이며 AI 스케일링 법칙이 요구하는 바와도 맞아떨어진다.59

기술 보고서에 따르면 DeepSeek 연구자들은 두 가지 주요 알고리즘 개선으로 기존 최첨단 모델과 대등한 성능을 냈다.60 첫째는 전문가 혼합(mixture of experts) 기법의 발전이다. 이 기법은 모델을 전문화된 하위 모델들로 나눈다. 학습과 추론 때 모델 전체를 작동시키는 대신 관련된 하위 모델만 작동시켜 계산 요구량을 줄인다.

둘째 돌파구는 미국의 수출 통제가 계기가 되었다. 수출 통제 때문에 DeepSeek은 메모리 대역폭이 제한된 저성능 Nvidia 칩만 쓸 수 있었다. 모델 학습에는 메모리와 처리 장치 사이에서 엄청난 양의 데이터를 옮겨야 하므로 이는 큰 제약이다. 이에 DeepSeek은 사전학습과 추론 모두에서 메모리 대역폭 요구를 줄이는 방법을 개발했다.61

또한 DeepSeek 연구자들은 DeepSeek-R1 같은 최첨단 모델의 고급 능력을 더 작은 모델로 증류할 수 있음을 보여 주었다. 이렇게 만든 모델은 개방형과 독점형을 가리지 않고 최첨단 모델들보다 좋은 성능을 낸다. 이 회사는 모델의 오픈 웨이트(open-weight) 버전을 공개하겠다고도 약속했다. 누구나 자유롭게 쓸 수 있지만, 원래의 학습 데이터나 일부 독점 구성 요소에는 접근할 수 없는 형태다.

DeepSeek 모델 공개는 공공 AI 전략에 몇 가지 중요한 교훈을 준다. 첫째, 지금의 스케일링 패러다임에서는 컴퓨팅 능력에 대한 접근이 여전히 최첨단 AI 모델 개발의 필수 조건이다. DeepSeek 팀이 도입한 혁신이 있더라도 최첨단 모델 구축은 여전히 자원 집약적인 일이다. 학습과 배포의 각 단계에서 비용(따라서 환경 영향)을 줄이더라도 제번스 역설은 여전히 작동한다. 효율 향상이 더 넓은 도입을 부추겨 결국 전체 에너지 소비를 늘릴 수 있다.62

하지만 컴퓨팅 능력은 방정식의 한 부분일 뿐이다. DeepSeek 사례는 기계학습 기법의 발전으로도 큰 성과를 얻을 수 있음을 보여 준다. 이런 기법 상당수는 최첨단 모델이 있어야 쓸 수 있다. 최첨단 모델로 더 작은 파생 모델을 만들면, 원래 모델의 계산 비용을 전부 다시 들이지 않고도 능력을 옮겨 올 수 있다.

따라서 컴퓨트의 집중이 모델 능력의 지속적 집중으로 자동으로 이어지지는 않는다. DeepSeek이 쓴 증류 기법은 큰 모델을 바탕으로 더 작고 에너지 효율적인 모델을 만들 수 있음을 보여 준다.

DeepSeek 모델 공개에서 얻을 핵심 교훈은, 결국 이것이 지금의 스케일링 패러다임 아래에서 프런티어 AI 개발의 경제학을 재확인해 준다는 점이다. 어떤 공공 AI 전략이든 최첨단 모델을 개발하려면 주요 상업 AI 연구소에 견줄 만한 상당한 컴퓨팅 자원에 대한 접근을 여전히 확보해야 한다. 이를 위해서는 공공 컴퓨트 인프라에 크게 투자하거나(이 경우 성과는 장기적으로만 나온다), 상업 컴퓨트 제공자에 대한 어느 정도의 의존을 받아들여야 한다.

동시에 DeepSeek 사례는 기계학습 기법이 아직 잠재력을 다 발휘하려면 멀었음을 보여 준다. 알고리즘 개선과 증류 같은 사후학습 방법은 학습을 더 효율적으로 만들고, 더 작고 접근하기 쉬운 모델의 개발을 가능하게 한다. 따라서 공공 AI 전략은 트랜스포머 아키텍처와 그에 따른 스케일링 법칙에 대한 의존을 줄이는 연구·혁신 의제를 우선할 수 있다. 소형 모델 개발은 프런티어 모델 개발을 보완할 수도 있다. 특히 모델이 공개될 때 그렇다. 다양한 행위자가 여러 모델을 고쳐 쓰고 활용하는 생태계를 뒷받침하기 때문이다.

주

1. Mariana Mazzucato and Gabriela Ramos. "AI in the Common Interest." Project Syndicate, 26 Dec. 2022. https://www.project-syndicate.org/commentary/ethical-ai-requires-state-regulatory-frameworks-capacity-building-by-gabriela-ramos-and-mariana-mazzucato-2022-12

2. Amba Kak and Sarah Myers West "2023 Landscape. Confronting tech power." AI Now Institute. 2023. https://ainowinstitute.org/wp-content/uploads/2023/04/AI-Now-2023-Landscape-Report-FINAL.pdf

3. Sarah Kessler. "Openwashing." New York Times. 19 May 2024. https://www.nytimes.com/2024/05/17/business/what-is-openwashing-ai.html

4. Open Source Initiative. "Open Source AI Definition." 2025년 4월 27일 접속. https://opensource.org/ai

5. Model Openess Framework. https://isitopen.ai/ 2025년 4월 27일 접속.

6. Zuzanna Warso, Paul Keller and Max Gahntz. "Towards Robust Training Data Transparency." Open Future. 19 June 2024. https://openfuture.eu/publication/towards-robust-training-data-transparency/

7. "Open weights: not quite what you've been told." Open Source Initiative. https://opensource.org/ai/open-weights 2025년 4월 23일 접속.

8. Stuart Russell and Peter Norvig. “Artificial Intelligence: A Modern Approach, 4th US Ed.” (Berkeley: University of Berkeley, 2022).

9. Haroon Sheikh, Corien Prins, and Erik Schrijvers, “Artificial Intelligence: Definition and Background,” in Mission AI, Research for Policy (Cham: Springer, 2023), 15–41, https://doi.org/10.1007/978-3-031-21448-6_2

10. “Explanatory memorandum on the updated OECD definition of an AI system.” OECD, 2024. https://www.oecd.org/content/dam/oecd/en/publications/reports/2024/03/explanatory-memorandum-on-the-updated-oecd-definition-of-an-ai-system_3c815e51/623da898-en.pdf. Accessed 23 April 2025.

11. CEIMIA. “A Comparative Framework for AI Regulatory Policy.” https://ceimia.org/en/projet/a-comparative-framework-for-ai-regulatory-policy/ Accessed 23 April 2025.

12. Tom Mitchell. “Machine Learning.” (McGraw Hill, 1997). https://www.cs.cmu.edu/~tom/mlbook.html

13. Yann LeCun, et al. “Deep Learning.” Nature, vol. 521, no. 7553, May 2015, pp. 436–44. www.nature.com, https://doi.org/10.1038/nature14539 Accessed 3 April 2025.

14. McKinsey. What Is ChatGPT, DALL-E, and Generative AI? https://www.mckinsey.com/featured-insights/mckinsey-explainers/what-is-generative-ai Accessed 23 April 2025.

15. OpenAI. Introducing ChatGPT. https://openai.com/index/chatgpt/ Accessed 13 March 2024.

16. Rishi Bommasani, et al. On the Opportunities and Risks of Foundation Models. arXiv:2108.07258, arXiv, 12 July 2022. arXiv.org, https://doi.org/10.48550/arXiv.2108.07258

17. France Digitale. “Mapping Des Startups Françaises de l’IA.” https://mappings.francedigitale.org/ia-2025 Accessed 23 April 2025.

18. PyPI Stats. “scikit-learn.” Accessed 23 April 2025. https://pypistats.org/packages/scikit-learn

19. Inria. “The 2019 Inria-French Academy of Sciences-Dassault Systèmes Innovation Prize: Scikit-Learn, a Success Story for Machine Learning Free Software.” https://www.inria.fr/en/2019-inria-french-academy-sciences-dassault-systemes-innovation-prize-scikit-learn-success-story Accessed 23 April 2025.

20. PyPI Stats. “transformers.” https://pypistats.org/packages/transformers Accessed 23 April 2025.

21. PyPI Stats. “torch.” https://pypistats.org/packages/torch Accessed 23 April 2025.

22. Sabrina Küspert, Nicolas Moës, Connor Dunlop. “The Value Chain of General-Purpose AI.” Ada Lovelace Institute. 10 February 2023. https://www.adalovelaceinstitute.org/blog/value-chain-general-purpose-ai/

23. Geoffrey E. Hinton, et al. “A Fast Learning Algorithm for Deep Belief Nets.” Neural Computation, vol. 18, no. 7, July 2006, pp. 1527–54. DOI.org (Crossref), https://doi.org/10.1162/neco.2006.18.7.1527

24. Alex Krizhevsky, et al. “ImageNet Classification with Deep Convolutional Neural Networks.” Advances in Neural Information Processing Systems, vol. 25, Curran Associates, Inc., 2012. Neural Information Processing Systems, https://papers.nips.cc/paper_files/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html

25. David E. Rumelhart, et al. “Learning Representations by Back-Propagating Errors.” Nature, vol. 323, no. 6088, Oct. 1986, pp. 533–36. https://doi.org/10.1038/323533a0

26. Timothy B. Lee. “Why the Deep Learning Boom Caught Almost Everyone by Surprise.” Understanding AI. 5 November 2024. https://www.understandingai.org/p/why-the-deep-learning-boom-caught

27. Vi Hart. “Changing My Mind about AI, Universal Basic Income, and the Value of Data.” The Art of Research. 30 May 2019. https://theartofresearch.org/ai-ubi-and-data/

28. Kate Crawford and Trevor Paglen. “Excavating AI. The Politics of Images in Machine Learning Training Sets.” 19 September 2019. https://excavating.ai/

29. Alek Tarkowski and Zuzanna Warso. “AI Commons. Filling the governance vacuum on the use of information commons for AI training.” 12 January 2023. https://openfuture.eu/publication/ai-commons/

30. Ashish Vaswani, et al. Attention Is All You Need. arXiv:1706.03762, arXiv, 2 Aug. 2023. arXiv.org, https://doi.org/10.48550/arXiv.1706.03762

31. Rina Diane Caballar. “What Are Small Language Models (SLM)?.” IBM. 31 October 2024. https://www.ibm.com/think/topics/small-language-models Accessed 3 April 2025.

32. Nathan Lambert. “Beyond Human Data: RLAIF Needs a Rebrand.” Interconnects. 26 April 2023. https://www.interconnects.ai/p/beyond-human-data-rlaif

33. Reginald Martyr. “LLM Benchmarks Explained: Significance, Metrics & Challenges.” Orq.ai. 26 February 2025. https://orq.ai/blog/llm-benchmarks

34. Jared, Kaplan, et al. Scaling Laws for Neural Language Models. arXiv:2001.08361, arXiv, 23 Jan. 2020. arXiv.org, https://doi.org/10.48550/arXiv.2001.08361

35. Gaël Varoquaux, et al. Hype, Sustainability, and the Price of the Bigger-Is-Better Paradigm in AI. arXiv:2409.14160, arXiv, 1 Mar. 2025. arXiv.org, https://doi.org/10.48550/arXiv.2409.14160

36. Cameron R. Wolfe. “Scaling Laws for LLMs: From GPT-3 to O3.” Deep (Learning) Focus, 6 Jan. 2025, https://cameronrwolfe.substack.com/p/llm-scaling-laws

37. Jordan, Hoffmann, et al. Training Compute-Optimal Large Language Models. arXiv:2203.15556, arXiv, 29 Mar. 2022. arXiv.org, https://doi.org/10.48550/arXiv.2203.15556

38. Gaël Varoquaux, et al. ibid.

39. Jeffrey Dastin. “AI with Reasoning Power Will Be Less Predictable, Ilya Sutskever Says.” Reuters. 14 December 2024. https://www.reuters.com/technology/artificial-intelligence/ai-with-reasoning-power-will-be-less-predictable-ilya-sutskever-says-2024-12-14/

40. Reuters. “SoftBank to Invest $500 Mln in OpenAI, The Information Reports.” 30 September 2024. https://www.reuters.com/technology/softbank-invest-500-mln-openai-information-reports-2024-09-30/

41. Gary Marcus. “The Most Underreported and Important Story in AI Right Now Is That Pure Scaling Has Failed to Produce AGI.” Fortune. 19 February 2025. https://fortune.com/2025/02/19/generative-ai-scaling-agi-deep-learning/

42. Cameron R. Wolfe. ibid.

43. Dario Amodei. “On DeepSeek and Export Controls.” Dario Amodei (blog). January 2025. https://www.darioamodei.com/post/on-deepseek-and-export-controls Accessed 3 April 2025.

44. Jordan Hoffmann, et al. ibid.

45. Cameron R. Wolfe. ibid.

46. Cameron R. Wolfe. “Basics of Reinforcement Learning for LLMs. Understanding the problem formulation and basic algorithms for RL.” Deep (Learning) Focus, 25 September 2023. https://cameronrwolfe.substack.com/p/basics-of-reinforcement-learning/

47. Maxwell Zeff. “Current AI Scaling Laws Are Showing Diminishing Returns, Forcing AI Labs to Change Course.” TechCrunch, 20 November 2024. https://techcrunch.com/2024/11/20/ai-scaling-laws-are-showing-diminishing-returns-forcing-ai-labs-to-change-course/

48. Cameron R. Wolfe. ibid.

49. “Scaling Laws – O1 Pro Architecture, Reasoning Training Infrastructure, Orion and Claude 3.5 Opus ‘Failures.’” SemiAnalysis, 11 December 2024, https://semianalysis.com/2024/12/11/scaling-laws-o1-pro-architecture-reasoning-training-infrastructure-orion-and-claude-3-5-opus-failures/

50. Gaël Varoquaux, et al. ibid.

51. Carole-Jean Wu, et al. “Sustainable AI: Environmental Implications, Challenges and Opportunities.” Proceedings of Machine Learning and Systems, vol. 4, Apr. 2022, pp. 795–813. proceedings.mlsys.org, https://proceedings.mlsys.org/paper_files/paper/2022/hash/462211f67c7d858f663355eff93b745e-Abstract.html

52. David Patterson, et al. “The Carbon Footprint of Machine Learning Training Will Plateau, Then Shrink.” Computer, vol. 55, no. 7, July 2022, pp. 18–28. IEEE Xplore, https://doi.org/10.1109/MC.2022.3148714

53. Cindy Gordon. “AI Is Accelerating the Loss of Our Scarcest Natural Resource: Water.” Forbes. 25 February 2024. https://www.forbes.com/sites/cindygordon/2024/02/25/ai-is-accelerating-the-loss-of-our-scarcest-natural-resource-water/

54. Alex Lawson. “Google to Buy Nuclear Power for AI Datacentres in ‘World First’ Deal.” The Guardian, 15 October 2024. https://www.theguardian.com/technology/2024/oct/15/google-buy-nuclear-power-ai-datacentres-kairos-power

55. Gaël Varoquaux, et al. ibid.

56. Ana Valdivia. “The Supply Chain Capitalism of AI : A Call to (Re)Think Algorithmic Harms and Resistance through Environmental Lens.” Information, Communication & Society, Oct. 2024, pp. 1–17. DOI.org (Crossref), https://doi.org/10.1080/1369118X.2024.2420021

57. Alexandra Sasha Luccioni, Emma Strubell, and Kate Crawford. ‘From Efficiency Gains to Rebound Effects: The Problem of Jevons’ Paradox in AI’s Polarized Environmental Debate’. arXiv, 27 January 2025. https://doi.org/10.48550/arXiv.2501.16548

58. Dara Kerr. “AI Brings Soaring Emissions for Google and Microsoft, a Major Contributor to Climate Change.” NPR, 12 July 2024. NPR, https://www.npr.org/2024/07/12/g-s1-9545/ai-brings-soaring-emissions-for-google-and-microsoft-a-major-contributor-to-climate-change

59. Anton Shilov. “DeepSeek Might Not Be as Disruptive as Claimed, Firm Reportedly Has 50,000 Nvidia GPUs and Spent $1.6 Billion on Buildouts.” Tom’s Hardware, 2 February 2025, https://www.tomshardware.com/tech-industry/artificial-intelligence/deepseek-might-not-be-as-disruptive-as-claimed-firm-reportedly-has-50-000-nvidia-gpus-and-spent-usd1-6-billion-on-buildouts

60. DeepSeek-AI, et al. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv:2501.12948, arXiv, 22 Jan. 2025. arXiv.org, https://doi.org/10.48550/arXiv.2501.12948

61. Ben Thompson. “DeepSeek FAQ.” Stratechery. 27 January 2025. https://stratechery.com/2025/deepseek-faq/

62. Jennifer Collins. “What Does DeepSeek Mean for AI’s Environmental Impact?” DW.com. 30 January 2025. https://www.dw.com/en/what-does-chinas-deepseek-mean-for-ais-energy-and-water-use/a-71459557

노치혜 (2026). [2025] 지커 외 「공공 AI 백서」 번역 (1/3) 서문, 요약, 1~2장 (2026.11.14). 노치혜 Chihye Noh | THINKCRAFT.

RESEARCH FILES