THINK CRAFT

CONTACT chihye.noh@thinkcraft.biz

INTRO소개
소개 서랍 보기

노치혜 Chihye Noh

노치혜(Chihye Noh)의 개인 아카이브. AI 시대의 기술 정치학을 고민합니다. 기술 철학, 정치경제학, 민주주의와 자본주의, 거버넌스에 관한 글, 강연, 보고서를 기록합니다.

THINKCRAFT 대표

노치혜 프로필 사진
FIG. CN
이력
  • 기본소득당 여성위원회 위원장 2025.07–2026.09
  • nonce 엔지니어, 커뮤니티·사업개발 2025.02–2026.08
  • DSRV 사업기획 매니저, 미래금융연구소 연구원 2024.05–2024.12
  • 빗썸코리아 사업개발 매니저, 빗썸경제연구소 연구원 2022.04–2023.10
  • 『디지털자산 시대가 온다』 공동 저자

INTERVIEW · FACE DRAWING SEOUL

번역

[2024] 비탈릭 부테린 「크립토 + AI 응용의 가능성과 과제」 번역 (2026.11.14)

비탈릭 부테린(Vitalik Buterin)이 2024년 1월 30일 블로그에 올린 「The promise and challenges of crypto + AI applications」를 우리말로 옮긴 글이다. 원문은 vitalik.eth.limo에서 읽을 수 있다.

다른 번역글은 번역 카테고리에서 볼 수 있다.


Vitalik.eth 작성

피드백과 논의를 함께해 준 Worldcoin 팀과 Modulus Labs 팀, Xinyuan Sun, Martin Koeppelmann, Illia Polosukhin에게 특별히 감사드린다.

지난 몇 년간 많은 사람이 비슷한 질문을 해 왔다. 크립토와 AI가 만나는 지점 중 가장 유망하다고 보는 것은 무엇이냐는 질문이다. 충분히 나올 법한 질문이다. 크립토와 AI는 지난 10년간 가장 중요한 두 가지 딥(소프트웨어) 기술 흐름이고, 둘 사이에 뭔가 연결 고리가 있을 것만 같다. 피상적인 분위기 수준에서 시너지를 떠올리기는 쉽다. 크립토의 탈중앙화가 AI의 중앙화를 견제할 수 있고, AI는 불투명하지만 크립토는 투명성을 가져오며, AI는 데이터가 필요하고 블록체인은 데이터를 저장하고 추적하는 데 유리하다는 식이다. 하지만 수년간 사람들이 한 단계 더 깊이 들어가 구체적인 응용 사례를 말해 달라고 하면, 내 대답은 실망스러웠다. "음, 몇 가지 있긴 한데 그렇게 많지는 않다."

최근 3년 사이 현대 LLM이라는 형태로 훨씬 강력한 AI가 등장했고, 블록체인 확장 솔루션뿐 아니라 ZKP, FHE, (2자 및 N자) MPC라는 형태로 훨씬 강력한 크립토도 등장하면서 이런 상황이 바뀌기 시작했다고 본다. 블록체인 생태계 안에서 AI를 활용하거나 AI를 암호학과 함께 쓰는 유망한 응용 사례가 실제로 있다. 다만 AI를 어떻게 적용하는지에 대해서는 신중해야 한다. 특히 까다로운 문제가 하나 있다. 암호학에서는 오픈소스가 무언가를 진정으로 안전하게 만드는 유일한 방법이지만, AI에서는 모델(또는 학습 데이터)이 공개되면 적대적 머신러닝(adversarial machine learning) 공격에 대한 취약성이 크게 높아진다. 이 글에서는 크립토와 AI가 교차할 수 있는 여러 방식을 분류하고, 각 범주의 전망과 과제를 살펴본다.

uETH 블로그 글에 실린 크립토+AI 교차점의 개괄적 요약. 그런데 이런 시너지를 구체적인 응용 사례로 실제로 구현하려면 무엇이 필요할까?

네 가지 주요 범주

AI는 매우 넓은 개념이다. 'AI'란 명시적으로 지정해서 만드는 것이 아니라, 거대한 계산의 수프를 휘저으면서 원하는 성질을 가진 알고리즘이 나오도록 일종의 최적화 압력을 가해 만들어 내는 알고리즘의 집합이라고 생각할 수 있다. 이 설명을 결코 깎아내리는 말로 받아들여서는 안 된다. 애초에 우리 인간을 만들어 낸 과정도 여기에 포함되기 때문이다! 다만 이는 AI 알고리즘에 몇 가지 공통된 성질이 있다는 뜻이다. 매우 강력한 일을 해낼 수 있는 능력이 있는 반면, 그 내부에서 무슨 일이 벌어지는지 알거나 이해하는 데는 한계가 있다는 점이다.

AI를 분류하는 방법은 여러 가지가 있다. 이 글은 AI와 블록체인("게임"을 만드는 플랫폼이라고 묘사되어 왔다)의 상호작용을 다루므로, 다음과 같이 분류하겠다.

  • 게임의 플레이어로서의 AI [실현 가능성 가장 높음]: 인센티브의 궁극적 원천이 인간의 입력을 받는 프로토콜에서 나오는 메커니즘에 AI가 참여하는 경우.
  • 게임의 인터페이스로서의 AI [잠재력은 크지만 위험도 있음]: AI가 사용자를 도와 주변의 크립토 세계를 이해하게 하고, 사용자의 행동(즉 서명하는 메시지와 트랜잭션)이 의도와 일치하며 속거나 사기당하지 않도록 보장하는 경우.
  • 게임의 규칙으로서의 AI [매우 신중해야 함]: 블록체인, DAO 등 유사한 메커니즘이 AI를 직접 호출하는 경우. 예를 들어 "AI 판사"를 떠올려 보라.
  • 게임의 목표로서의 AI [장기적이지만 흥미로움]: 다른 목적에 쓰일 수 있는 AI를 구축하고 유지하는 것을 목표로 블록체인, DAO 등의 메커니즘을 설계하는 경우. 크립토 요소는 학습에 더 나은 인센티브를 주거나, AI가 개인 데이터를 유출하거나 오용되지 않도록 막는 데 쓰인다.

하나씩 살펴보자.

게임의 플레이어로서의 AI

사실 이 범주는 거의 10년 가까이, 적어도 온체인 탈중앙화 거래소(DEX)가 본격적으로 쓰이기 시작한 이후로 존재해 왔다. 거래소가 있는 곳에는 언제나 차익거래로 돈을 벌 기회가 있고, 봇은 인간보다 차익거래를 훨씬 잘한다. 이 사용 사례는 오늘날보다 훨씬 단순한 AI로도 오래전부터 존재했지만, 결국 매우 실질적인 AI와 크립토의 교차점이다. 최근에는 MEV 차익거래 봇들이 서로를 공략하는 모습도 자주 보인다. 경매나 거래가 포함된 블록체인 애플리케이션이 있다면 반드시 차익거래 봇이 등장하게 된다.

하지만 AI 차익거래 봇은 훨씬 더 큰 범주의 첫 번째 사례일 뿐이며, 이 범주는 곧 다른 많은 응용 사례를 포함하게 될 것으로 예상한다. AI가 플레이어로 참여하는 예측 시장 데모인 AIOmen을 소개한다.

예측 시장은 오랫동안 인식론(epistemics) 기술의 성배로 여겨져 왔다. 나는 2014년에 이미 예측 시장을 거버넌스의 입력값으로 쓰는 아이디어("퓨타키(futarchy)")에 열광했고, 지난 선거 때와 최근에도 예측 시장을 많이 이용해 봤다. 하지만 지금까지 예측 시장은 현실에서 크게 성공하지 못했고, 그 이유로 흔히 거론되는 것들이 있다. 가장 큰 참여자들이 비합리적인 경우가 많고, 올바른 지식을 가진 사람들은 큰돈이 걸리지 않는 한 시간을 들여 베팅하려 하지 않으며, 시장의 유동성이 얇은 경우가 많다는 점 등이다.

이에 대한 한 가지 반응은 Polymarket이나 다른 새로운 예측 시장들의 지속적인 UX 개선을 근거로, 이번에는 이전 시도들이 실패한 지점에서 성공하기를 기대하는 것이다. 사람들이 스포츠에 수백억 달러를 기꺼이 베팅하는데, 미국 선거나 LK99에도 충분한 돈을 걸어서 진지한 참여자들이 들어올 만한 수준이 되지 않을 이유가 있겠냐는 논리다. 하지만 이 주장은 이전 시도들이 (적어도 지지자들의 꿈에 비하면) 그 정도 규모에 도달하지 못했다는 사실과 씨름해야 한다. 그렇다면 예측 시장이 성공하려면 뭔가 새로운 것이 필요해 보인다. 그래서 다른 반응은 2010년대에는 없었지만 2020년대에는 볼 수 있을 것으로 예상되는 예측 시장 생태계의 특정한 특징 하나에 주목하는 것이다. 바로 AI가 어디에서나 참여할 수 있게 된다는 가능성이다.

AI는 시간당 1달러도 안 되는 비용으로 기꺼이 일하고, 백과사전 수준의 지식을 갖추고 있다. 그것으로 부족하다면 실시간 웹 검색 기능과도 통합할 수 있다. 시장을 하나 만들고 유동성 보조금으로 50달러를 걸어 두면, 인간은 굳이 입찰할 만큼 관심을 갖지 않겠지만 수천 개의 AI는 그 질문에 손쉽게 몰려들어 최선의 추측을 내놓을 것이다. 어느 한 질문에서 좋은 성과를 낼 인센티브는 아주 작을 수 있지만, 전반적으로 좋은 예측을 하는 AI를 만들 인센티브는 수백만 달러에 이를 수 있다. 잠재적으로는 대부분의 질문을 인간이 판정할 필요조차 없다는 점도 주목할 만하다. Augur나 Kleros와 비슷한 다단계 분쟁 해결 시스템을 사용하면 초기 단계에도 AI가 참여할 수 있다. 인간은 여러 차례 이의 제기가 거듭되어 양측이 큰 금액을 걸게 된 소수의 경우에만 대응하면 된다.

이것은 강력한 기본 요소(primitive)다. "예측 시장"이 이렇게 미시적인 규모에서 작동하게 만들 수 있다면, 이 "예측 시장" 기본 요소를 다른 여러 종류의 질문에도 재사용할 수 있기 때문이다.

  • 이 소셜 미디어 게시물은 [이용 약관]상 허용되는가?
  • 주식 X의 가격은 어떻게 될까? (예: Numerai 참고)
  • 지금 나에게 메시지를 보내는 이 계정이 정말 일론 머스크인가?
  • 온라인 작업 마켓플레이스에 제출된 이 작업물은 수용할 만한가?
  • https://examplefinance.network 의 디앱(dapp)은 사기인가?
  • 0x1b54....98c3이 정말 "Casinu Inu" ERC20 토큰의 주소인가?

이 아이디어 중 상당수가 내가 이전 글에서 "정보 방어(info defense)"라고 부른 방향과 맞닿아 있다는 것을 눈치챘을 수도 있다. 넓게 정의하면, 질문은 이렇다. 옳고 그름을 결정하는 중앙화된 권위에 권력을 부여하지 않으면서(그 권위가 지위를 남용할 수 있으므로), 어떻게 사용자가 참과 거짓 정보를 구별하고 사기를 탐지하도록 도울 수 있을까? 미시적 수준에서 그 답은 "AI"일 수 있다. 하지만 거시적 수준에서 질문은 이것이다. 누가 그 AI를 만드는가? AI는 그것을 만든 과정을 반영하므로 편향을 피할 수 없다. 따라서 여러 AI가 얼마나 잘하고 있는지 판정하는 더 상위 수준의 게임이 필요하며, AI는 그 게임에 플레이어로 참여할 수 있다.

AI가 메커니즘에 참여하고, 인간의 입력을 수집하는 온체인 메커니즘에 의해 최종적으로 (확률적으로) 보상이나 처벌을 받는 이런 AI 활용 방식(탈중앙화된 시장 기반 RLHF라고 부를 수 있을까?)은 정말로 깊이 살펴볼 가치가 있다고 생각한다. 지금이야말로 이런 사용 사례를 더 살펴볼 적기다. 블록체인 확장이 마침내 성공을 거두고 있어서, 예전에는 대체로 불가능했던 "마이크로" 단위의 무언가가 이제 온체인에서 실현 가능해졌기 때문이다.

관련된 응용 범주로, 고도로 자율적인 에이전트들이 결제를 통해서든, 스마트 컨트랙트로 신뢰할 수 있는 약속을 하는 방식을 통해서든 블록체인을 사용해 더 잘 협력하는 방향도 있다.

게임의 인터페이스로서의 AI

내가 이전 글에서 제기한 아이디어 중 하나는, 사용자가 탐색하는 온라인 세계의 위험을 해석하고 식별해 사용자의 이익을 보호하는 사용자용 소프트웨어를 만드는 데 시장 기회가 있다는 것이다. 이미 존재하는 사례로는 Metamask의 사기 탐지 기능이 있다.

또 다른 예로는 Rabby 지갑의 시뮬레이션 기능이 있다. 사용자가 서명하려는 트랜잭션의 예상 결과를 보여 준다.

내가 가진 "BITCOIN"(실제 BTC가 아닌 아무 사기용 ERC20 토큰)을 전부 ETH로 바꾸는 트랜잭션에 서명했을 때의 결과를 Rabby가 설명해 주는 모습.

이런 도구들은 AI로 크게 강화될 수 있다. AI는 사용자가 어떤 종류의 디앱에 참여하고 있는지, 서명하려는 더 복잡한 작업이 어떤 결과를 낳는지, 특정 토큰이 진짜인지(예를 들어 BITCOIN은 단순한 문자열이 아니라 실제 암호화폐의 이름이고, 그 암호화폐는 ERC20 토큰이 아니며 가격도 0.045달러보다 훨씬, 훨씬 높다. 현대 LLM이라면 이를 알 것이다) 등을 훨씬 풍부하고 사람이 이해하기 쉽게 설명해 줄 수 있다. 이 방향으로 끝까지 가 보려는 프로젝트들도 나타나기 시작했다(예: AI를 주된 인터페이스로 사용하는 LangChain 지갑). 내 생각에 순수한 AI 인터페이스는 다른 종류의 오류 위험을 높이기 때문에 현재로서는 너무 위험할 것 같다. 하지만 더 전통적인 인터페이스를 AI가 보완하는 방식은 상당히 현실성이 높아지고 있다.

특별히 언급할 만한 위험이 하나 있다. 아래 "게임의 규칙으로서의 AI" 섹션에서 더 자세히 다루겠지만, 일반적인 문제는 적대적 머신러닝이다. 사용자가 오픈소스 지갑 안의 AI 비서를 쓸 수 있다면 악당들도 그 AI 비서를 쓸 수 있고, 따라서 그 지갑의 방어를 작동시키지 않도록 사기 수법을 최적화할 기회를 무제한으로 갖게 된다. 모든 현대 AI에는 어딘가에 버그가 있으며, 모델에 제한적으로만 접근할 수 있는 학습 과정이라도 그런 버그를 찾아내기는 그리 어렵지 않다.

바로 이 지점에서 "온체인 마이크로 시장에 참여하는 AI"가 더 잘 작동한다. 개별 AI는 모두 같은 위험에 취약하지만, 수십 명이 지속적으로 AI를 반복 개선하는 개방형 생태계를 의도적으로 만드는 것이기 때문이다. 게다가 개별 AI는 각각 비공개다. 시스템의 보안은 각 플레이어의 내부 작동 방식이 아니라 게임 규칙의 개방성에서 나온다.

요약: AI는 사용자가 무슨 일이 일어나고 있는지 쉬운 말로 이해하도록 돕고, 실시간 튜터 역할을 하며, 사용자를 실수로부터 보호할 수 있다. 하지만 악의적인 허위정보 유포자와 사기꾼에 직접 맞서는 데 사용할 때는 주의해야 한다.

게임의 규칙으로서의 AI

이제 많은 사람이 기대하고 있지만 내가 보기에 가장 위험하며 가장 신중하게 다뤄야 할 응용 분야로 넘어가자. 내가 'AI가 게임 규칙의 일부가 되는 것'이라고 부르는 영역이다. 이는 주류 정치 엘리트들 사이에서 "AI 판사"에 대한 기대(예: "세계정부정상회의(World Government Summit)" 웹사이트의 이 기사 참고)와 연결되며, 블록체인 애플리케이션에도 이와 유사한 바람이 있다. 블록체인 기반 스마트 컨트랙트나 DAO가 주관적인 결정을 내려야 할 때(예: 고용 계약에서 특정 작업물이 수용할 만한가? Optimism의 Law of Chains 같은 자연어 헌장의 올바른 해석은 무엇인가?), AI를 컨트랙트나 DAO의 일부로 넣어 이런 규칙을 집행하도록 할 수 있을까?

바로 여기서 적대적 머신러닝이 극도로 어려운 과제가 된다. 그 이유를 두 문장으로 요약하면 다음과 같다.

메커니즘에서 핵심 역할을 하는 AI 모델이 비공개라면 내부 작동을 검증할 수 없으므로 중앙화된 애플리케이션보다 나을 게 없다. AI 모델이 공개되어 있다면 공격자가 이를 내려받아 로컬에서 시뮬레이션하고, 모델을 속이도록 고도로 최적화된 공격을 설계한 다음, 실제 네트워크에서 그대로 재현할 수 있다.

적대적 머신러닝의 예. 출처: researchgate.net

이 블로그를 자주 읽는 독자(또는 크립토 세계의 주민)라면 이미 나보다 앞서 이렇게 생각하고 있을지도 모른다. 잠깐! 우리에겐 멋진 영지식 증명과 다른 정말 훌륭한 암호학 기법들이 있잖아. 분명 크립토 마법을 부려서 모델의 내부 작동을 숨겨 공격자가 공격을 최적화하지 못하게 하면서도, 동시에 모델이 올바르게 실행되고 있고 합리적인 기반 데이터로 합리적인 학습 과정을 거쳐 만들어졌다는 것을 증명할 수 있을 거야!

평소라면 이것이 바로 내가 이 블로그와 다른 글에서 옹호하는 사고방식이다. 하지만 AI 관련 연산의 경우에는 두 가지 큰 반론이 있다.

  1. 암호학적 오버헤드: 무언가를 SNARK(또는 MPC 등) 안에서 수행하는 것은 "평문 상태"로 수행하는 것보다 훨씬 비효율적이다. AI가 이미 매우 연산 집약적이라는 점을 고려하면, 암호학적 블랙박스 안에서 AI를 돌리는 것이 연산적으로 가능하기나 할까?
  2. 블랙박스 적대적 머신러닝 공격: 모델의 내부 작동을 잘 모르더라도 AI 모델에 대한 공격을 최적화하는 방법들이 있다. 그리고 너무 많이 숨기면, 학습 데이터를 선택하는 사람이 데이터 오염(poisoning) 공격으로 모델을 손상시키기가 너무 쉬워질 위험이 있다.

둘 다 복잡하고 깊은 주제이므로 하나씩 차례로 살펴보자.

암호학적 오버헤드

암호학적 도구, 특히 ZK-SNARK나 MPC 같은 범용 도구는 오버헤드가 크다. 이더리움 블록 하나를 클라이언트가 직접 검증하는 데는 수백 밀리초가 걸리지만, 그 블록의 정확성을 증명하는 ZK-SNARK를 생성하는 데는 몇 시간이 걸릴 수 있다. MPC 같은 다른 암호학적 도구의 일반적인 오버헤드는 이보다 더 클 수 있다. AI 연산은 이미 비싸다. 가장 강력한 LLM은 사람이 읽는 속도보다 아주 조금 빠르게 단어를 출력할 수 있을 뿐이고, 모델 학습에 드는 연산 비용은 흔히 수백만 달러에 달한다. 최상위 모델과 학습 비용이나 파라미터 수를 훨씬 더 아끼려는 모델 사이의 품질 차이는 크다. 언뜻 보면, AI를 암호학으로 감싸서 보장을 더하려는 시도 전체를 의심할 만한 아주 좋은 이유가 된다.

하지만 다행히도 AI는 매우 특수한 유형의 연산이어서, ZK-EVM처럼 더 "비정형적인" 연산은 누릴 수 없는 온갖 종류의 최적화를 적용할 수 있다. AI 모델의 기본 구조를 살펴보자.

보통 AI 모델은 주로 일련의 행렬 곱셈으로 이루어지며, 그 사이사이에 ReLU 함수(y = max(x, 0)) 같은 원소별 비선형 연산이 끼어 있다. 점근적으로는 행렬 곱셈이 작업의 대부분을 차지한다. N×N 행렬 두 개를 곱하는 데는 O(N^2.8)의 시간이 걸리는 반면, 비선형 연산의 수는 훨씬 적다. 이는 암호학 입장에서 매우 편리하다. 많은 암호학 기법이 선형 연산(적어도 모델은 암호화하되 모델의 입력은 암호화하지 않는다면 행렬 곱셈은 선형 연산이다)을 거의 "공짜로" 수행할 수 있기 때문이다.

암호학자라면 동형암호(homomorphic encryption)의 맥락에서 비슷한 현상을 이미 들어 봤을 것이다. 암호화된 암호문에 덧셈을 수행하는 것은 정말 쉽지만, 곱셈은 엄청나게 어렵고, 깊이 제한 없이 곱셈을 수행하는 방법은 2009년이 되어서야 처음으로 알아냈다.

ZK-SNARK에서 이에 해당하는 것은 2013년의 이 프로토콜 같은 것으로, 행렬 곱셈 증명에서 4배 미만의 오버헤드를 보여 준다. 안타깝게도 비선형 레이어의 오버헤드는 여전히 상당하며, 실제로 가장 좋은 구현도 약 200배의 오버헤드를 보인다. 하지만 추가 연구를 통해 이를 크게 줄일 수 있다는 희망이 있다. GKR에 기반한 최근 접근법은 Ryan Cao의 이 발표를, GKR의 핵심 구성 요소가 어떻게 작동하는지에 대해서는 내가 쓴 간략한 설명을 참고하라.

하지만 많은 응용 사례에서는 AI 출력이 올바르게 계산되었다는 것을 증명하는 데 그치지 않고 모델도 숨기고 싶어 한다. 이를 위한 단순한 접근법들이 있다. 모델을 쪼개 서로 다른 서버 집합이 각 레이어를 중복 저장하게 하고, 일부 서버가 일부 레이어를 유출하더라도 너무 많은 데이터가 새어 나가지 않기를 기대하는 방식이다. 하지만 놀라울 정도로 효과적인 특화된 형태의 다자간 연산(MPC)도 있다.

이런 접근법 중 하나를 단순화한 도식. 모델은 비공개로 유지하되 입력은 공개한다. 모델과 입력을 모두 비공개로 유지하고 싶다면 그것도 가능하지만 조금 더 복잡해진다. 논문의 8~9쪽을 참고하라.

두 경우 모두 교훈은 같다. AI 연산의 가장 큰 부분은 행렬 곱셈이고, 행렬 곱셈에 대해서는 매우 효율적인 ZK-SNARK나 MPC(심지어 FHE)를 만들 수 있으므로, AI를 암호학적 상자 안에 넣는 데 드는 전체 오버헤드는 놀라울 정도로 낮다. 일반적으로 크기는 더 작지만 비선형 레이어가 가장 큰 병목이며, 룩업 인수(lookup arguments) 같은 새로운 기법이 도움이 될지도 모른다.

블랙박스 적대적 머신러닝

이제 또 다른 큰 문제로 넘어가자. 모델의 내용이 비공개로 유지되고 모델에 "API 접근"만 할 수 있는 경우에도 가능한 공격들이다. 2016년 논문을 인용하면 다음과 같다.

많은 머신러닝 모델은 적대적 예제(adversarial examples)에 취약하다. 적대적 예제란 머신러닝 모델이 잘못된 출력을 내도록 특별히 조작된 입력을 말한다. 한 모델에 영향을 주는 적대적 예제는, 두 모델이 같은 작업을 수행하도록 학습되었다면 아키텍처가 다르거나 서로 다른 학습 데이터로 학습되었더라도 다른 모델에도 영향을 미치는 경우가 많다. 따라서 공격자는 피해 모델에 대한 정보가 거의 없어도 자신만의 대체 모델을 학습시키고, 그 대체 모델에 대한 적대적 예제를 만든 뒤, 이를 피해 모델에 전이시킬 수 있다.

"목표 분류기"에 대한 블랙박스 접근을 이용해 로컬에 저장된 자신만의 "추론된 분류기"를 학습시키고 개선한다. 그런 다음 추론된 분류기에 대해 최적화된 공격을 로컬에서 생성한다. 이런 공격은 원래의 목표 분류기에도 통하는 경우가 많은 것으로 드러났다. 도식 출처.

공격하려는 모델에 대한 접근이 매우 제한적이거나 전혀 없더라도, 학습 데이터만 알면 공격을 만들어 낼 수 있는 경우도 있다. 2023년 현재 이런 종류의 공격은 여전히 큰 문제다.

이런 블랙박스 공격을 효과적으로 억제하려면 두 가지를 해야 한다.

  1. 누가 또는 무엇이 모델에 얼마나 쿼리할 수 있는지를 정말로 제한한다. API 접근이 무제한인 블랙박스는 안전하지 않다. API 접근이 매우 제한된 블랙박스는 안전할 수도 있다.
  2. 학습 데이터를 만드는 데 사용된 과정이 오염되지 않았다는 신뢰는 유지하면서, 학습 데이터를 숨긴다.

전자에 대해 가장 많은 일을 한 프로젝트는 아마 Worldcoin일 것이다. 나는 이전 글에서 Worldcoin의 초기 버전을 (다른 프로토콜들과 함께) 자세히 분석한 바 있다. Worldcoin은 프로토콜 수준에서 AI 모델을 광범위하게 사용한다. (i) 홍채 스캔을 유사성 비교가 쉬운 짧은 "홍채 코드"로 변환하고, (ii) 스캔 대상이 실제 인간인지 검증하는 데 쓴다. Worldcoin이 의존하는 주된 방어 수단은 아무나 AI 모델을 호출하도록 허용하지 않는다는 점이다. 대신 신뢰할 수 있는 하드웨어를 사용해 모델이 오브(orb) 카메라가 디지털 서명한 입력만 받아들이도록 보장한다.

이 접근법이 반드시 통한다는 보장은 없다. 생체 인식 AI에 대해서도 얼굴에 붙이는 물리적 패치나 장신구 형태로 적대적 공격을 할 수 있다는 사실이 밝혀졌다.

이마에 뭔가를 하나 더 붙이면 탐지를 피하거나 심지어 다른 사람을 사칭할 수도 있다. 출처.

하지만 AI 모델 자체를 숨기고, 쿼리 수를 크게 제한하고, 각 쿼리가 어떤 식으로든 인증되도록 요구하는 등 모든 방어 수단을 결합하면, 적대적 공격을 충분히 어렵게 만들어 시스템이 안전해질 수 있으리라는 희망이 있다.

이제 두 번째 부분으로 넘어가자. 어떻게 학습 데이터를 숨길 수 있을까? 바로 여기서 "AI를 민주적으로 관리하는 DAO"가 실제로 의미를 가질 수 있다. 누가 학습 데이터를 제출할 수 있는지(그리고 데이터 자체에 어떤 증명이 요구되는지), 누가 얼마나 많은 쿼리를 할 수 있는지를 관리하는 온체인 DAO를 만들고, MPC 같은 암호학 기법을 사용해 각 사용자의 학습 입력부터 각 쿼리의 최종 출력까지 AI를 만들고 실행하는 전체 파이프라인을 암호화할 수 있다. 이 DAO는 데이터를 제출한 사람들에게 보상한다는, 매우 인기 있는 목표도 동시에 충족할 수 있다.

다시 강조하지만 이 계획은 매우 야심 차며, 비현실적인 것으로 드러날 수 있는 지점이 여러 군데 있다.

  • 암호학적 오버헤드가 여전히 너무 커서, 이런 완전한 블랙박스 아키텍처가 전통적인 비공개 "날 믿어" 방식과 경쟁할 수 없을 수도 있다.
  • 학습 데이터 제출 과정을 탈중앙화하면서 데이터 오염 공격으로부터 보호할 좋은 방법이 없는 것으로 드러날 수도 있다.
  • 다자간 연산 도구는 참여자들의 공모로 인해 안전성이나 프라이버시 보장이 깨질 수 있다. 실제로 크로스체인 암호화폐 브리지에서 이런 일이 계속해서 일어났다.

내가 이 섹션을 "AI 판사는 하지 마라, 그건 디스토피아다" 같은 큼직한 빨간 경고 문구로 시작하지 않은 이유 중 하나는, 우리 사회가 이미 책임을 지지 않는 중앙화된 AI 판사에 크게 의존하고 있기 때문이다. 소셜 미디어에서 어떤 종류의 게시물과 정치적 의견이 노출이 늘거나 줄어들고, 심지어 검열되는지를 결정하는 알고리즘이 그렇다. 나는 지금 단계에서 이런 흐름을 더 확대하는 것이 상당히 나쁜 생각이라고 본다. 하지만 블록체인 커뮤니티가 AI로 더 많은 실험을 한다고 해서 그것이 상황을 악화시키는 요인이 될 가능성은 크지 않다고 생각한다.

오히려 크립토 기술이 이런 기존의 중앙화된 시스템조차 더 낫게 만들 수 있는, 꽤 기본적이고 위험이 낮은 방법들이 있으며 나는 이에 대해 꽤 확신한다. 간단한 기법 하나는 공개를 지연한 검증 가능한 AI다. 소셜 미디어 사이트가 AI 기반으로 게시물 순위를 매길 때, 그 순위를 생성한 모델의 해시를 증명하는 ZK-SNARK를 공개할 수 있다. 사이트는 예를 들어 1년 뒤에 AI 모델을 공개하겠다고 약속할 수 있다. 모델이 공개되면 사용자는 해시를 확인해 올바른 모델이 공개되었는지 검증할 수 있고, 커뮤니티는 모델을 테스트해 공정성을 검증할 수 있다. 공개 지연은 모델이 공개될 즈음에는 이미 구식이 되도록 보장한다.

따라서 중앙화된 세계와 비교하면, 질문은 더 잘할 수 있느냐가 아니라 얼마나 더 잘할 수 있느냐다. 하지만 탈중앙화된 세계에서는 주의가 필요하다. 예를 들어 누군가 AI 오라클을 사용하는 예측 시장이나 스테이블코인을 만들었는데 그 오라클이 공격 가능한 것으로 드러난다면, 막대한 돈이 한순간에 사라질 수 있다.

게임의 목표로서의 AI

내용이 누구에게도 알려지지 않은 블랙박스인, 확장 가능한 탈중앙화 프라이빗 AI를 만드는 위의 기법들이 실제로 작동한다면, 블록체인을 넘어서는 효용을 가진 AI를 만드는 데도 쓰일 수 있다. NEAR 프로토콜 팀은 이를 현재 진행 중인 작업의 핵심 목표로 삼고 있다.

이렇게 하는 데는 두 가지 이유가 있다.

  1. 블록체인과 MPC를 조합해 학습과 추론 과정을 실행함으로써 **"신뢰할 수 있는 블랙박스 AI"**를 만들 수 있다면, 시스템이 편향되어 있거나 자신을 속일까 봐 걱정하는 사용자들이 있는 많은 응용 분야가 혜택을 볼 수 있다. 많은 사람이 우리가 의존하게 될 시스템적으로 중요한 AI를 민주적으로 관리하고 싶다는 바람을 표현해 왔다. 암호학과 블록체인 기반 기법이 그 길이 될 수 있다.
  2. AI 안전성 관점에서 보면, 이는 자연스러운 킬 스위치를 갖추고 AI를 악의적 행위에 사용하려는 쿼리를 제한할 수 있는 탈중앙화 AI를 만드는 기법이 될 것이다.

또한 "크립토 인센티브를 이용해 더 나은 AI를 만들도록 장려하는 것"은 암호학으로 AI를 완전히 암호화하는 깊은 단계까지 가지 않고도 할 수 있다는 점도 짚어 둘 만하다. BitTensor 같은 접근법이 이 범주에 속한다.

결론

블록체인과 AI가 모두 더 강력해지면서 두 분야가 교차하는 사용 사례도 늘어나고 있다. 하지만 이 사용 사례 중 일부는 다른 것들보다 훨씬 더 타당하고 견고하다. 일반적으로, 기반 메커니즘은 대체로 이전과 같은 방식으로 설계되지만 개별 플레이어가 AI가 되어 메커니즘이 훨씬 더 미시적인 규모로 효과적으로 작동할 수 있게 되는 사용 사례가 당장 가장 유망하고, 제대로 구현하기도 가장 쉽다.

제대로 구현하기 가장 어려운 것은 블록체인과 암호학 기법을 사용해 "싱글톤(singleton)", 즉 어떤 애플리케이션이 특정 목적을 위해 의존하게 될 단일한 탈중앙화된 신뢰할 수 있는 AI를 만들려는 응용 사례다. 이런 응용 사례는 기능 면에서도, 그리고 이 문제에 대한 주류 접근법에 따르는 중앙화 위험을 피하면서 AI 안전성을 개선한다는 면에서도 가능성이 있다. 하지만 기반 가정이 무너질 수 있는 지점도 많다. 따라서 특히 가치가 크고 위험이 높은 맥락에서 이런 애플리케이션을 배포할 때는 신중하게 접근할 필요가 있다.

이 모든 영역에서 AI를 건설적으로 활용하려는 시도가 더 많이 나와서, 그중 어떤 것이 대규모로 진정 실현 가능한지 확인할 수 있기를 기대한다.

노치혜 (2026). [2024] 비탈릭 부테린 「크립토 + AI 응용의 가능성과 과제」 번역 (2026.11.14). 노치혜 Chihye Noh | THINKCRAFT.

RESEARCH FILES