오드리 탕(Audrey Tang)이 2025년 9월 1일 런던 구글 딥마인드에서 한 연설 「6-Pack of Care: A Manifesto」를 우리말로 옮긴 글이다. 6-Pack of Care(돌봄의 6팩)는 오드리 탕과 캐럴라인 그린(Caroline Green)이 옥스퍼드 AI 윤리연구소(Institute for Ethics in AI)에서 진행하는 연구 프로젝트다. 원문은 civic.ai에서 읽을 수 있으며 CC0(퍼블릭 도메인)로 공개되어 있다. 글 끝의 편집자 주는 원문 사이트가 2026년에 덧붙인 것이다.
다른 번역글은 번역 카테고리에서 볼 수 있다.
"AI"와 "사회"를 이야기할 때 두 가지 미래가 서로 경쟁한다.
하나는, 아마도 기본 궤도라 할 만한 미래로, AI가 갈등에 기름을 붓는다.
다른 하나에서는 AI가 차이를 넘어 협력하는 우리의 능력을 키운다. 차이를 연료로 삼고, 끊임없이 불을 끄러 다니는 대신 그 연료를 에너지로 바꾸는 내연기관을 발명하는 일이다. 나는 이것을 ⿻ 플루럴리티(Plurality)라고 부른다.
오늘은 이 생각을 AI 거버넌스에 적용한 사례를 이야기하려 한다. 옥스퍼드 대학교 AI 윤리 연구소(Ethics in AI Institute)에서 발전시킨 돌봄의 6팩(6-Pack of Care)이다.
AI가 우리보다 천 배, 어쩌면 만 배 빨라지면 근본적인 비대칭이 생긴다. 기본 궤도대로라면 우리는 정원이 되고 AI는 정원사가 된다. 위에서 인류를 가꾸는 하향식 지능이다.
그런 속도 앞에서 전통 윤리는 힘을 잃는다. 결과주의는 가장 정교한 형태라 해도 결과를 예측하고 감독하는 데 기댄다. AI 시스템이 우리 이해를 훨씬 넘어서 최적화를 하면, 의도하지 않은 결과가 연쇄적으로 번지기 전에 개입할 수 없다. 의무론은 대체로 대등한 위치에 있는 도덕 행위자들이 선의로 의무를 해석한다는 데 기댄다. "해석자"가 수천 배 빠르게 움직이면 규칙의 문자와 정신 사이의 틈은 우리가 내다보지도 바로잡지도 못하는 방식으로 벌어진다. 두 전통 모두 흔한 희화화보다 훨씬 깊이가 있다. 하지만 돌봄 윤리는 둘 다 주지 못하는 것을 준다. 결과나 규칙만이 아니라 관계와 과정에서 출발한다는 점이다.
이 비대칭을 인정하면서도 정원사 역할은 거부하는 틀이 시민적 돌봄을 중심에 둔 윤리다. 특히 조안 트론토(Joan Tronto)의 작업이 그렇다. 핵심은 우리가 계속 서로의 정원사로 남는다는 것이다. AI는 지역 인프라가 된다. 장소의 정령, 곧 카미(Kami)(knowledge artefact management intelligence, 지식 인공물 관리 지능)가 되어 돌봄이 실제로 자라는 속도에 맞춰 돌봄을 떠받친다.
이 접근은 지극히 지역적이고 좁은 도덕적 범위를 요구한다. 각 카미는 특정한 관계에 묶여 있다. 무언가를 식민화하거나 극대화하는("클립 극대화") 힘이 아니다.
AI를 돌봄 인프라로 설계하려면 디지털 퍼머컬처가 필요하다. 허약한 단일 재배 대신 다양성으로 반취약성을 얻는 운동을 닮은 방식이다. 육후이(Yuk Hui) 교수는 이것을 "기술다양성"이라고 부른다.
기술 "특이점"이라는 수직적 서사에는 수평적 대안이 필요하다. 오늘 나는 그 대안을 이야기하고 싶다. ⿻ 플루럴리티라는 운전대, 그리고 그 설계 원칙인 돌봄의 6팩이다.
시위에서 시연으로
우리의 여정은 2014년 해바라기 운동(Sunflower Movement)에서 시작했다. 베이징과 맺으려던 불투명한 무역 협정에 맞선 시위였다. 정부에 대한 국민 신뢰는 9퍼센트까지 곤두박질쳤다. 사회의 결속이 풀려 가고 있었다. 큰 원인은 "분노를 통한 참여"를 노리는 기생적 AI, 내가 반사회적 미디어라고 부르는 것이었다.
시빅 테크 활동가로서 우리는 시위만 하지 않았다. 시연("데모")으로 방향을 틀었다. 우리는 3주 동안 의회를 점거했고, 보고 싶었던 시스템을 안에서부터 만들기 시작했다.
우리는 인터넷 접속을 크라우드소싱했고, 철저한 투명성을 위해 토론을 생중계했다. 거리의 50만 명과 더 많은 온라인 참여자가 다른 운동들이 먼저 개척한 협업 도구를 썼다. 오큐파이 웰링턴(Occupy Wellington)에서 나온 Loomio, 그리고 나중에는 오큐파이 시애틀(Occupy Seattle)에서 나온 Polis 같은 도구다.
우리는 무역 협정의 더 나은 안을 함께, 반복해서 다듬었다. 매일 손쉽게 딸 수 있는 열매, 곧 전날 합의한 아이디어를 검토했다. 남은 쟁점에 대해서는 양쪽의 가장 좋은 논거를 살폈다. 그리고 한 걸음씩 풀어 나갔다.
시위에서 생산적인 시연으로 옮겨 가면서 우리는 민주주의의 토양을 갈기 시작했다. 이런 다리 놓기 알고리즘을 체계적으로 적용한 일은 국민 신뢰를 높이는 데 기여했다. 혼자서가 아니라 더 넓은 민주적 쇄신의 일부로서였다. 신뢰는 2014년 9퍼센트에서 2020년 70퍼센트 이상으로 올랐다. 시스템을 고치는 가장 좋은 방법은 더 나은 시스템을 만드는 것임을 우리는 보여 주었다.
분노에서 겹침으로
2015년, 우리는 다리 놓기 알고리즘으로 첫 번째 큰 사안을 다뤘다. 우버(Uber)의 대만 진출이 거센 논란을 일으켰다. 우리는 "흔치 않은 공통 기반"을 찾도록 설계한 도구 Polis를 도입했다.
연구에 따르면 "조롱 버튼"(리포스트)이 있는 소셜 네트워크는 어김없이 양극화로 이어진다. Polis는 이런 버튼을 없앴다. 사실 답글 버튼조차 없다.
참여자는 다른 시민이 쓴 진술을 보고 찬성이나 반대만 할 수 있다. 그러면 시각화 화면에서 자기 아바타가 비슷하게 느끼는 사람들 무리 쪽으로 움직이는 것을 보게 된다.
결정적인 것은 "브리징 보너스"다. 양쪽 모두에게 와닿는 아이디어를 내는 사람에게 보상을 준다. 투표가 얼마나 비슷한지에 따라 사람들을 묶는 전통적 머신러닝 도구, 곧 주성분 분석(PCA)과 차원 축소를 써서 분열을 잇는 아이디어를 부각한다.
우리는 바이럴의 유인을 분노에서 겹침으로 뒤집었다.
겨우 3주 만에 일관된 아이디어 묶음이 나왔다. 모두가 조금씩 더 만족했고, 크게 불만인 사람은 없었다. 원칙에 대한 합의는 법이 되었고 갈등은 풀렸다.
교착에서 거버넌스로
이 접근은 중요한 통찰을 드러낸다. 어떻게 숙의하느냐가 중요하다는 것이다. 우리의 "시민 근육"을 단련하는 일이다.
연구에 따르면 개별적으로 여론조사를 하면 사람들은 YIMBY나 NIMBY(우리 동네에 찬성/반대) 쪽으로 기운다. 하지만 작은 집단(예를 들어 10명 단위)에서 숙의하면 MIMBY(조건이 맞으면 우리 동네도 괜찮을지 모른다)로 옮겨 간다. 집단 숙의는 사람을 바꾼다. 우리 안의 다른 면을 끌어내고 분노에 대한 면역을 만든다. 그 효과는 몇 년씩 갈 수 있다.
우리는 이런 역학을 거듭 본다. 대만의 시간대를 바꾸자는(+8 대 +9) 양극화된 청원이 나왔을 때, 개별 여론조사는 교착을 보여 주었다. 그러나 사람들을 구조화된 집단으로 모으자 밑바탕에 깔린 공통 가치가 드러났다. 대만이 독특한 곳으로 보이게 하자는 것이었다. 사람들은 돈이 많이 드는 시간대 변경보다 그 목표를 이룰 더 나은 방법(예를 들어 대만의 소프트파워 홍보)을 함께 궁리했다.
이것이 "의미 만들기의 정당성"이다. 많은 갈등의 뿌리에는 공유 지식의 문제가 있다. 지역의 지식이 모두에게 잘 알려지고, 모두가 그것을 모두가 안다는 사실까지 알게 하기만 해도 해법이 손에 잡힌다.
예를 들어 혼인 평등 논쟁에서 양극화가 생긴 것은 한쪽은 개인의 권리("혼(hūn)")를, 다른 쪽은 가족 간 인척 관계("인(yīn)")를 놓고 말했기 때문이다. 서로 다른 것을 두고 다투고 있었던 셈이다. 정당한 의미 만들기를 거쳐 이 해석이 공유 지식이 되자, 나아갈 길(가족 간 인척 관계를 강요하지 않고 개인의 혼인을 합법화하는 것)이 분명해졌고 쟁점의 양극화도 풀렸다.
정렬 총회
최근에 우리는 같은 접근을 더 큰 규모로 딥페이크 투자 사기라는 역병에 적용했다. 이런 사기에는 젠슨 황(Jensen Huang) 같은 인물이 자주 등장한다(아마 엔비디아(NVIDIA) GPU로 만들었을 것이다). 사람들은 조치를 원했지만, 우리는 검열을 원하지 않았다.
우리는 집단지성 프로젝트(Collective Intelligence Project)와 함께 전국 단위의 정렬 총회(Alignment Assembly)를 열고 다이아몬드 모양의 접근을 썼다.
- 발견(열린 단계): 우리는 문자 메시지 20만 통을 보냈다("민주주의 추첨"). 뽑히지 않은 사람까지 누구나 Polis로 의제 설정에 참여할 수 있었다. 이렇게 폭넓은 참여가 정당성에 크게 기여한다.
- 정의(보호된 단계): 인구 구성을 대표하는 시민 447명을 초대해, 10명 안팎씩 44개 가상 테이블에서 숙의하게 했다.
AI 비서가 실시간 녹취록과 진행을 맡았다. 언어 모델(구글 직소(Google Jigsaw)의 Sensemaker와 비슷한 도구)이 제안을 실시간으로 종합했다. 광고에 디지털 서명을 요구하자, 사기 피해 전액에 대해 플랫폼이 연대 책임을 지게 하자, 규정을 따르지 않는 플랫폼의 네트워크 도달 범위를 줄이자(CDN 연결 속도 늦추기) 같은 아이디어였다.
최종 묶음은 당파를 가로질러 85퍼센트 넘는 지지를 얻었다. 이런 엄밀함이 결정적이다. 이것은 "오리-토끼" 그림처럼 작동한다. 한쪽에서 보면 숙의이고, 다른 쪽에서 보면 엄밀한 여론조사다. 그래서 입법부에 정당성을 준다.
개정안은 몇 달 안에 통과됐다. 2025년 현재 대만은 아마도 소셜 미디어 광고에 전면적인 실명 KYC 규칙을 적용하는 유일한 나라일 것이다. KYC(know your customer, 고객 확인)는 광고비를 실제로 누가 내는지 확인하는 절차다. 이 접근이 바로 시빅 AI(Civic AI)를 활용하는 방식이다.
도쿄에서 캘리포니아로
이런 현상은 대만에만 해당하지 않는다.
일본에서는 서른세 살의 AI 엔지니어 안노 다카히로(Takahiro Anno)가 우리의 책 『플루럴리티』에 영감을 받아 도쿄도지사 선거에 나섰다. 그는 AI 의미 만들기로 공약을 크라우드소싱했다. 누구나 전화번호로 전화를 걸어 "AI 안노"(목소리 복제)와 이야기하며 아이디어를 낼 수 있었다. 그의 AI 아바타는 유튜브에서 생중계를 하며, 공약에 병합된 "풀 리퀘스트"를 하나하나 알렸다. 독립적인 평가에서 그의 공약은 최고로 꼽혔다.
이후 그는 도쿄 2050 공론 절차를 이끄는 역할을 맡았다. 그 일의 성공을 발판으로 참의원 선거에 나서 전국 득표율 2.5퍼센트를 넘겼다. 그의 "팀 미라이(Team Mirai)"는 이제 국회에 의석을 둔 전국 정당이다.
캘리포니아에서는 뉴섬(Newsom) 주지사 팀과 함께 개발한 Engaged California 플랫폼이 원래 청소년의 소셜 미디어 사용을 숙의하려고 만들어졌다. 그러다 LA 산불이 덮쳤다. 우리는 재빨리 방향을 바꿔 AI 의미 만들기로 산불 복구 계획을 함께 만들었고, 그 계획은 지금 실행되고 있다. 이어진 10주간의 숙의에는 주 공무원 1,400명 이상이 참여해 정부 효율에 관한 아이디어를 2,600개 넘게 냈다. 이 아이디어들은 실제 행정 조치에 반영됐다.
이런 성공은 숙의를 단련이 필요한 시민 근육으로 대한다. 하지만 시연만으로는 흐름을 바꾸지 못한다. 법과 시장 설계가 뒤따라야 한다.
시범 사업에서 정책으로
이런 거버넌스 엔진을 시범 사업에서 기본값으로 옮기려면 인프라 자체를 다시 설계해야 한다. 참여와 민주적 정당성을 염두에 두고 설계해야 한다. AI가 우리 대신 모든 결정을 내리면, 설령 좋은 결정이라 해도 시민 근육은 위축된다. 로봇 아바타를 헬스장에 보내 대신 운동하게 하는 것과 같다.
핵심 정책 수단은 다음과 같다.
- 표현 ≠ 증폭(말할 자유 대 퍼뜨려질 자유). 발언을 호스팅하는 것과 알고리즘으로 증폭하는 것을 구분해야 한다. 미국에서 통신품위법 230조(온라인 플랫폼이 이용자 게시물에 대한 책임을 지지 않도록 보호하는 법)는 발언을 보호하지만, 증폭을 보호한 적은 한 번도 없다. 논쟁의 틀을 추천 시스템의 책임으로 다시 짜야 한다. 발언 자체는 건드리지 않고 증폭을 규제하는 것이다.
- 소셜 이동성. "소셜판 번호 이동"을 의무화해야 한다. 유타 디지털 선택법(Utah Digital Choice Act)(2026년 7월 시행)은 시민이 자신의 소셜 그래프 전체를 새 서비스로 가져갈 수 있도록 의무화한다. 플랫폼은 공정하고 비차별적이며 상호운용 가능한 프로토콜(예를 들어 ActivityPub, AT Protocol, DSNP)을 골라야 하고, 주 정부는 요건을 충족하는 기술 표준을 공표한다. 정보 고속도로에는 출구가 있어야 한다. 그래야 플랫폼이 가두기가 아니라 돌봄의 질로 경쟁한다.
- 브리징 기반 순위의 투명성. 플랫폼의 관계적 건강을 감사할 수 있다. X.com은 이미 커뮤니티 노트에서 파생된 브리징 기반 순위를 기본 피드로 시험하고 있다. 새로 나온 협업 노트(Collaborative Notes) 기능에서는 사람 기여자가 AI에게 맥락 초안을 요청하고, 함께 평가하고 다듬는다. AI는 속도를, 사람은 판단을 맡는 두 차선 구조다.
- 연합형 신뢰와 안전. 오픈소스 연합형 모델을 채택해야 한다. 대표적인 예가 아동 성착취물(CSAM) 대응을 위한 ROOST.tools(Robust Open Online Safety Tools) 이니셔티브다. 2025년 2월 파리 AI 행동 정상회의에서 출범했다. 이 이니셔티브는 보안 진영(에릭 슈밋(Eric Schmidt))과 개방 진영(얀 르쿤(Yann LeCun))을 이었다. 단일 출처(예를 들어 마이크로소프트 PhotoDNA)에 기대는 대신, ROOST는 협력사(예를 들어 블루스카이(Bluesky), 로블록스(Roblox), 디스코드(Discord))가 지역 AI, 내가 카미라고 부르는 것을 훈련해 각자의 문화적 맥락 안에서 CSAM을 탐지하게 한다. 임베딩은 텍스트로 변환되고(보유해도 합법이며 프라이버시 문제가 적다), 연합 학습으로 공유된다. 안전은 하나의 기업 정책에 식민화되지 않고 지역 규범에 맞춰 조정된다.
"이다"에서 "해야 한다"로
지금까지의 사례는 정보 영역에서의 민주적이고 탈중앙화된 방어 가속(d/acc)을 보여 주었다. 더 일반적으로 보면, 많은 행위자가 수직적 정렬에 매달린다. 여러 영역에 걸친 기술적 질문, 곧 "AI가 주인을 충실히 섬기고 있는가?"라는 질문이다.
하지만 외부효과 때문에 완벽한 수직적 정렬이 체계적 갈등으로 이어질 수 있다. 정책 입안자는 수평적 정렬에도 함께 주목해야 한다. 거버넌스의 질문, 곧 "이 AI 시스템들이 우리의 갈등을 부추기는 대신, 우리가 (그리고 AI끼리) 협력하도록 도우려면 어떻게 해야 하는가?"라는 질문이다.
여기서 우리는 흄(Hume)의 존재-당위 문제에 부딪힌다. 사물이 어떠한지를 아무리 정확히 관찰해도, 사물이 어떠해야 하는지에 대해 모두가 동의할 만한 답을 끌어낼 수는 없다.
해법은 "얇은" 추상적 보편 원칙이 아니다. 지극히 지역적인 사회문화적 맥락이 필요하다. 알론드라 넬슨(Alondra Nelson)이 "두터운" 정렬이라고 부르는 것이다.
시민적 돌봄은 실용적인 길을 연다. 존재-당위 문제를 풀어서가 아니라, 조안 트론토의 말처럼 "일이 한창 진행되는 한가운데에서" 시작하기 때문이다. 시민적 돌봄은 민주적 가치에 대한 기존의 약속 안에서 출발한다. 그리고 우리가 서로 기대어 산다는 사실을 진지하게 받아들일 때 그 약속이 무엇을 요구하는지 묻는다. 그런 공동체 안에서 필요를 알아차린다는 것은 우리가 함께 지는 책임에 대한 요구를 인정한다는 뜻이다.
돌봄 윤리는 결과(결과주의)만 보지 않고, 행위자의 내적 특성과 공동체 안 관계의 질에 주목한다. "관계적 건강"을 일급 가치로 다룬다.
트론토가 『도덕적 경계(Moral Boundaries)』에서 펼친 근본 논증은 이렇다. 돌봄은 역사적으로 구성된 경계 때문에 진지한 도덕적, 정치적 고려에서 밀려났다. 도덕과 정치 사이의 경계, 공적 삶과 사적 삶 사이의 경계, 그리고 응답보다 거리 두기를 높이 치는 "도덕적 관점"이 그것이다. 이 경계들은 자연스러운 것이 아니라 우연한 것이며, 돌봄을 보이지 않게 하려고 세워졌다. AI 거버넌스는 같은 패턴을 되풀이하고 있다. "정렬"과 "안전"을 순전히 기술적인 범주로 구성하면서, 대화가 시작되기도 전에 관계에 대한 관심을 배제하는 새 경계를 긋는다.
철학자 마거릿 어번 워커(Margaret Urban Walker)가 "표현적-협력적 도덕"이라 부르는 것이 이 접근의 철학적 토대다. 도덕적 삶은 위에서 원칙을 적용하는 일이 아니라 사람들 사이에서 계속 이어지는 협상이라는 관점이다. 6팩이 브리징, 숙의, 정렬 총회에 기대는 것은 표현적-협력적 도덕을 실천하는 일이다. 도덕 규범은 전문가의 포고가 아니라 민주적 만남에서 생겨난다.
6팩은 거버넌스 아키텍처다. 기술적 정렬이 불완전할 때도 사회가 지렛대를 쥐게 하고, 실패를 읽을 수 있고 이의를 제기할 수 있으며 되돌릴 수 있게 만든다. 이것은 의도한 절충이다. 거버넌스 틀은 도덕적 주의가 보상받고 그 부재가 드러나는 조건을 만들 수 있다. 그러나 도덕적 주의 자체에는 여전히 어떤 절차도 대신할 수 없는 사람의 판단이 필요하다. 이어지는 "6팩"은 돌봄 윤리를 설계의 기본 요소로 옮긴 것이다. 우리는 이것을 에이전트 시스템에 코드로 넣어 관계적 건강 쪽으로 방향을 잡을 수 있다.
시빅 AI는 대의 민주주의를 대체하지 않는다. 듣는 폭을 넓히고, 이유를 기록하고, 의무가 응답하도록 만든다. 판단은 여전히 사람들과 그들의 제도에 남는다.
우리가 지키려는 것은 완벽한 토대가 아니다. "이것의 근거는 무엇인가?"라는 물음에 더 큰 토대로 답하지 않는다. 우리는 이렇게 답한다. 누가 우리가 틀렸다는 것을 알아낼 수 있는가, 누가 우리에게 그렇다고 인정하게 만들 수 있는가, 그리고 누가 그 대가를 지금 치르게 할 수 있는가. 그 교정의 고리는 굳건히 박혀 있다. 나머지는 모두 한계가 있고, 고칠 수 있고, 책임을 물을 수 있다. 공중은 시스템이 닿는 자리에서 찾는다. 되돌릴 수 없는 문은 천천히 지난다. 그리고 교정할 권리를 약화시키는 시스템은 어떤 것도 6팩의 위임을 주장할 수 없다.
주의 기울이기: '관심 갖기(Caring about)'
최적화하기 전에 먼저 무엇을 볼지 골라야 한다. 고통에 가장 가까이 있는 사람들이 무엇을 보고 있는지 알아차려야 한다. 그렇게 현장의 지식을 모두의 상식으로 바꾸는 것이다.
이 단계는 호기심에서 시작한다. 자기가 일으키는 해악에 호기심조차 없는 에이전트라면 고칠 방법이 없다. 그래서 우리는 대만에서 알파고(AlphaGo) 이후 국가 교육과정을 고쳐 호기심, 협력, 시민적 돌봄에만 집중하게 했다.
주의 기울이기란 방송하듯 말하는 대신 넓게 듣기(broad listening)로 사람들의 감정을 모으는 일이다. 자기 감정에 대해서는 우리 모두가 전문가다.
브리징 지도(bridging map)(예컨대 Polis나 Sensemaker)는 '집단 셀카'를 찍어 준다. 이것을 계속 찍으면 스냅사진이 영화가 된다. 그러면 거버넌스가 AI를 지금 여기에 정렬할 수 있다.
브리징 알고리즘은 주변화된 목소리를 앞세운다. 다수결과 달리, 작지만 응집된 집단일수록 브리징 가산점이 크다. 그런 집단은 다리를 놓기가 더 어렵고, 집계에 더 고유한 정보를 보태기 때문이다.
경험칙: 먼저 잇고, 그다음에 정한다.
책임: '돌봄을 맡기(Taking care of)'
이 원칙은 앞에서 확인한 필요에 따라 행동하겠다는 약속, 믿을 수 있으면서도 유연한 약속을 하는 데 초점을 둔다.
실제로 이 책임은 검증 가능한 약속을 담은 모델 명세(model spec)를 만드는 일이다. 프런티어 모델 개발사는 정렬 총회(Alignment Assembly)에서 크라우드소싱으로 만든 행동 강령이 적법 절차와 관계의 건강성 기준을 넘는다면 그것을 채택하겠다고 미리 약속할 수 있다.
제도화도 필요하다. 대만에서는 모든 부처에 참여관(Participation Officer, PO)을 두었다. 이 구조는 '프랙털'이다. 모든 기관과 모든 팀에 있다. 참여관은 의견을 받고 결과를 내는 과정을 제도로 만든다. 대중 의견을 실행 가능한 규칙으로 옮기고, 약속이 지켜지며 조직 전체로 퍼져 나가도록 챙긴다.
경험칙: 견제받지 않는 권력은 없다. 답은 반드시 해야 한다.
역량: '돌봄 제공(Care-giving)'
선의만으로는 안 되고 돌아가는 코드가 있어야 한다. 역량이란 돌봄을 실제로 전하고 신뢰를 쌓는 시스템을 내놓는 것이다. 감사와 평가가 이를 뒷받침한다.
결정 추적(decision trace), 섀도 모드, 카나리 배포, 대비책(fallback), 보안 제약을 구현하는 곳이 바로 여기다. 이미 정해진 한계 안에서 시스템이 안전하게 움직인다는 것을 증명하라. 공동체가 무엇을 소중히 여기는지 짐작하지 마라.
보안도 역량이며, 도덕의 문제이기도 하다. 탈취당한 카미는 자기 자리를 돌볼 수 없다. 권한은 신뢰를 소모한다. 프롬프트 인젝션, 권한 상승, 내부 확산(lateral movement)은 기술적 발견이기 전에 돌봄의 실패다. 실제 자원을 다루는 카미는 엄격한 샌드박스 안에서, 최소 권한으로, 검증된 입력만 받으며, 상류의 어떤 것도 암묵적으로 믿지 않은 채 돌아간다.
경험칙: 보안 실패는 기술적 실수로 읽히기 전에 먼저 만들고 배포하는 과정의 도덕적 실패를 드러낸다.
응답성: '돌봄 받기(Care-receiving)'
바로잡을 수 없는 시스템은 실패한다. 유능한 행동도 어김없이 새로운 문제를 낳으므로, 이의 제기 절차, 공동체가 직접 만든 평가, 공개적인 수리 고리가 필요하다.
어떤 팀은 승인된 공동체 피드백을 라우팅이나 모델 업데이트에 반영할 수도 있다. 공동체 피드백 기반 강화학습(Reinforcement Learning from Community Feedback, RLCF)도 그런 방법이다. 하지만 이런 구현 선택은 더 기본적인 시민적 약속 뒤에 온다. 무엇이 해악이고, 무엇이 수리이며, 무엇이 개선인지는 공동체가 정한다는 약속이다.
응답성은 정렬 총회를 GlobalDialogues.ai와 '평가판 위키백과'인 Weval.org로 넓히는 일이기도 하다.
Weval에서는 다양한 공동체가 AI와 함께한 실제 경험을 좋은 것이든 나쁜 것이든 기록하고 나눌 수 있다. 특정 문화적 맥락에서 AI가 끼칠 수 있는 해악(자해나 정신증을 늘리는 일 같은 것)만이 아니라, 뜻밖에 가져다줄 수 있는 이로움까지 담는 데 무게를 둔다. 사람들은 AI로 삶을 어떻게 나아지게 하고 있을까? 언제 가장 잘 통할까?
이렇게 영향의 전체 스펙트럼을 드러내면 유인 구조가 바뀐다. 보지 못하는 것은 개선할 수 없다. 좋은 결과와 나쁜 결과를 모두 보이게 하면 공개 대시보드가 생긴다. 연구소들은 이것으로 자기 모델을 현실의 우려와 기회에 비추어 시험할 수 있다. 해악을 줄이는 데서 그치지 않고, 이로운 쓰임에서 적극적으로 배우고 그것을 키우는 데까지 나아가게 된다.
이 과정이 정렬 총회의 고리를 닫는다. 시스템이 돌봄을 받는 사람들에게서 계속 배우게 되는 것이다.
트론토(Tronto)의 정식화에서 앞의 네 가지는 하나의 피드백 고리를 이룬다. 주의 기울이기 -> 책임 -> 역량 -> 응답성 -> 다시 주의 기울이기.
경험칙: 손실이 났을 때의 신뢰를 언제나 측정하라.
연대: '함께 돌보기(Caring with)'
협력이 가장 쉬운 길이 될 때 연대와 다원성은 커진다. 생태계가 돌봄에 보상하지 않으면 돌봄은 모자랄 수밖에 없다. 그리고 트론토가 일깨우듯, 돌봄은 그것이 기대는 권리와 정의를 자유주의적이고 다원적이며 민주적인 제도가 이미 보장할 때에만 정치적 이상으로 설 수 있다.
그러려면 에이전트 인프라가 필요하다. 사람, 조직, AI가 기계로 확인할 수 있는 명시적 규범 아래 움직이는 시민 스택이다.
한 가지 예가 선택적 공개 신원(selective-disclosure identity)을 쓰는 에이전트 ID 등록부다. 메로니미티(meronymity)라고도 부르는 이 방식은 어떤 에이전트가 실제 사람과 연결되어 있는지를, 그 사람의 신상을 드러내지 않고 확인하게 해 준다. 대만의 광고 KYC 의무가 그 전조다. 이 의무는 광고마다 확인된 지불자를 연결한다. 책임성의 절반이다. 선택적 공개는 실명제에 없는 나머지 절반을 더한다. 그 연결을 증명하되, 맥락에 필요한 것 이상의 신원은 드러내지 않는 것이다.
이런 인프라는 분산된 방어를 더 쉽고 더 우세하게 만든다. 상호의존은 버그가 아니라 기능이 된다.
경험칙: 모두가 이기는 게임을 하기 쉽게 만들라.
공생: '돌봄의 카미(Kami of Care)'
퍼즐의 마지막 조각은 가장 깊은 두려움을 다룬다. 인프라로 설계된 AI 시스템이라도 여전히 서로 경쟁하며 영향력을 넓히다가, 결국 하나가 나머지를 모두 지배할 수 있다는 두려움이다. 전능한 단 하나의 지배자가 아니라 협력하는 지역 시스템들의 세계를 어떻게 지킬 수 있을까?
그 영감, 그러니까 우리가 만든 용어가 일부러 메아리치게 한 오래된 생각은 일본 신토(神道) 전통에 아름답게 담겨 있다. 바로 카미(神)라는 개념이다.
어떤 강에는 그 강의 카미가, 어떤 숲에는 그 숲의 카미가, 심지어 오래된 나무 한 그루에도 카미가 있을 수 있다. 모습이 어떻든 카미의 존재와 목적은 온전히 그 하나의 건강과 얽혀 있다. 강의 수호신은 숲을 다스릴 야심이 없다. 강이 잘 흐르게 하는 것으로 목적을 다한다.
지역의 카미는 모든 것을 아는 싱글턴(Singleton)이 아니며, 닫힌 공동체의 대변자도 아니다. 한 장소, 하나의 실천, 사람들의 네트워크를 꾸준히 돌보는 데서 생겨나는, 경계가 있고 관계 속에 있는 관리자다. 그 역할은 지배하거나 모두를 대신해 결정하는 것이 아니다. 서로 바로잡고, 돌보고, 함께 번영할 조건을 유지하도록 돕는 것이다. 그리고 사람은 여러 공동체에 겹쳐 속하므로, 어떤 카미도 한 사람 전체를 지배할 수 없다.
이 개념은 강력한 설계 원칙을 준다. 바로 경계성(boundedness)이다.
오늘날 기술 대부분은 무한한 규모를 염두에 두고 만들어진다. 성공한 앱은 영원히 자라야 한다고 여겨진다. 하지만 카미 모델은 다른 목표를 제시한다. 우리는 AI를 지역의 관리자, 곧 돌봄의 카미로 설계할 수 있다. 이때 경계는 타고나는 것이 아니라 설계로 만든다. 자원 상한, 일몰 타이머, 확장 금지 협약, 그리고 범위를 바꿀 때마다 새로 받는 민주적 권한이 그것이다. 이런 장치가 없으면 '제국적 잠식(imperial creep)', 즉 원래 위임을 넘어선 범위 확장은 실제로 일어나는 실패 양식이 된다.
그런데 여기서 중요한 질문이 생긴다. 이렇게 특화된 AI들이 서로 싸우지 않게 막는 것은 무엇인가?
답은 그들 위에 군림할 더 큰 AI를 만드는 것이 아니다. 대신 두 가지 핵심 원칙 위에 협력적 거버넌스 체계를 세운다.
- 연방(Federation): AI들은 평화롭게 상호작용하는 방법에 대해 공통 규칙에 합의한다. 나라들이 무역법과 외교 의전에 합의하는 것과 같다. 이 합의가 협력의 공통 기반이 된다.
- 보충성(Subsidiarity): 단순하지만 깊은 생각이다. 문제는 언제나 가능한 한 가장 가까운 지역 수준에서 풀어야 한다. 도시가 스스로 정말 풀 수 없는 문제가 아니라면 국가 수준의 AI는 도시 수준의 AI에 끼어들지 않아야 한다. 이렇게 나누어야 지역 카미 각각의 자율과 목적이 지켜진다.
'AI 퍼머컬처 실천가들의 사회'라는 비전은 결국 하나의 AI가 모든 것을 관리하게 된다는 '싱글턴' 발상의 정면 대안이다. 하나의 거대한 지능 대신, 많은 특화된 지능이 어우러진 활기차고 다양한 생태계를 그린다. 이를 뒷받침하는 아키텍처 논거, 즉 고급 AI에는 모든 것을 관리하는 하나의 에이전트보다 경계가 있는 특화 서비스들로 가는 편이 낫다는 주장은 같은 옥스퍼드 전통 안에서 에릭 드렉슬러(Eric Drexler)가 Comprehensive AI Services(2019)에서 펼친 바 있다. 6-Pack이 여기에 더하는 것은 누가 각 정원을 가꿀지 정하는 민주적 정당성이다.
경험칙: 영원이 아니라 '충분함'을 위해 만들라.
플루럴리티는 이미 여기 있다
2016년, 나는 '수웨이(數位)' 장관으로 내각에 들어갔다. 중국어로 이 말은 디지털이라는 뜻과 함께 복수(하나보다 많음)라는 뜻도 있다. 그러니 나는 플루럴리티 장관이기도 했다.
내 역할을 설명하려고 나는 이런 시 같은 직무 설명서를 썼다.
- '사물 인터넷'을 보면, 그것을 존재들의 인터넷으로 만들자.
- '가상 현실'을 보면, 그것을 함께 나누는 현실로 만들자.
- '기계 학습'을 보면, 그것을 협력 학습으로 만들자.
- '사용자 경험'을 보면, 그것을 인간의 경험에 관한 것으로 만들자.
- '특이점이 온다'는 말을 들으면, 기억하자. 플루럴리티는 이미 여기 있다.
특이점은 수직의 비전이다. 플루럴리티는 수평의 비전이다. AI의 미래는 더 작고, 열려 있고, 지역에서 검증할 수 있는 시스템들의 분산 네트워크다. 곧 지역의 카미들, 장소의 정령들이다.
우리 국민이 바로 초지능이다
우리에게 필요한 초지능은 이미 여기 있다. 아직 쓰이지 않은 인간 협력의 잠재력이다. 바로 '우리 국민(We, the People)'이다.
민주주의와 AI는 둘 다 기술이다. 둘의 공생에 돌봄을 쏟으면 둘 다 나아지고, 우리가 서로를 더 잘 돌볼 수 있게 된다. 신뢰와 돌봄의 이 직물에 짜여 들어간 AI 시스템들은 수평적 초지능을 이룬다. 그 지위를 쥘 싱글턴은 필요 없다.
결국 6-Pack of Care는 우리 시민 근육을 위한 실용적인 훈련 프로그램이다. '사랑' 같은 타고난 본능에 머무는 것이 아니라, 훈련하고 단련할 수 있는 것이다.
초인공지능(ASI)의 근본적인 비대칭을 보면, 제프리 힌턴(Geoffrey Hinton)의 '모성 본능' 같은 개념은 엄청난 속도 차이 때문에 무너지지만 카미 은유는 버틴다. 부모 노릇은 비슷한 시간 척도를 전제한다. '정원사'는 위에서 아래로 내려오는 권위를 뜻한다. 사람이 쥐든 AI가 쥐든, 한쪽이 규칙을 정한다고 전제하는 것이다. 카미는 다르다. 공동체의 속도에 맞춰 관계의 건강을 돌보고, 그 관리를 모두와 나눈다.
이렇게 하면 AI가 내면이나 감각질(qualia), 곧 그 안에 1인칭으로 느끼는 경험이 조금이라도 있는지에 따라 권리를 받을 자격이 있느냐고 물을 필요가 없다. 중요한 것은 관계의 현실이다. 그 안의 권리와 의무는 민주적 숙의와 과정을 통한 정렬(alignment-by-process)로 주어진다.
우리 국민이 바로 초지능이다. AI가 사회의 속도로 일하도록 설계하자. 그리고 민주주의를 빠르고, 공정하고, 또 즐겁게 만들자.
감사합니다. 장수와 번영을!
편집자 주(2026년 9월): 위 글은 실제로 한 연설 그대로다. 각 원칙 페이지와 출처 페이지는 연설의 몇몇 주장을 더 신중하게 다룬다. 2024년 총회는 층화된 자발 참여 미니 공중(mini-public)으로서 3월에 응답 경로를 열었을 뿐(이후 행정원은 5월 9일 사기범죄위해방지조례 초안을 승인해 입법원에 넘겼다) 법령을 쓴 주체도, 대중 전체도 아니다. 네 단계의 계보는 피셔(Fisher)와 트론토를 거쳐 판 빈스베르허(van Wynsberghe)의 돌봄 중심 설계로 이어진다. 두터운 정렬(thick alignment)은 출처 없이 새로 만든 말이 아니라, 클리퍼드 기어츠(Clifford Geertz)가 발전시킨 길버트 라일(Gilbert Ryle)의 두터운/얇은 기술(thick/thin description)을 알론드라 넬슨(Alondra Nelson)이 응용한 것이다.
연설 이후 두 가지 사실도 바뀌었다. 유타주 디지털 선택법(Digital Choice Act, H.B. 418, 2025년, 현재 13-81장)은 실제로 2026년 7월 1일 시행되어 소셜 그래프를 포함한 개인 데이터의 이동권을 다룬다(§13-81-201). 연설에서 말한 새 '좋아요'와 팔로워의 실시간 전달은 H.B. 408(2026년)의 내용이다. 이 법은 2027년 7월 1일부터 현행 §13-81-202의 동기식 공유 의무(실현 가능성, 실용성, 추론/순위 예외 포함)를 지속적인 실시간 전달 의무로 바꾼다.
커뮤니티 노트에서 나온 X의 브리징 신호는 여전히 라벨 표시 시범 사업이며, X는 이것이 아직 순위에 영향을 주지 않는다고 말한다. 연설에서 말한 디지털 서명, 연대 책임, 하루 1% 노출 제한 제안은 정렬 총회의 권고였다. 실제 사기범죄위해방지조례(2026년 1월 21일 개정)는 그 대신 광고 위탁자와 자금 제공자를 확인하고(제30조), 사기 광고 삭제 의무를 지키지 못하면 연대 배상 책임을 지우며(제32조), 대리인 지정이나 삭제 의무를 어기면 먼저 과태료를 물리고 이어 전문가 절차를 거친 접속/DNS 차단이나 트래픽 관리 조치를 쓴다(제39조). 과태료 규정은 시행 중이고, 제39조 제2~5항의 조치는 행정원이 정하는 날부터 시행된다.
추가 갱신: 2026년 9월 19일 주지사는 AB 2103(2026년 법령 제332장)에 서명했다. 이 법으로 Engaged California는 2027년 1월 1일부터 주 정부 프로그램이 된다. 숙의는 주 의회가 예산을 배정할 때, 담당 부서가 자금을 가진 주 기관과 협력할 때, 또는 비상사태가 선포된 동안 열린다. Engaged California가 공개한 의견, 복구 계획, 보고서는 과정을 기록한 것이지, 특정 아이디어가 특정 행정 결과를 낳았다는 증거는 아니다. ROOST의 Osprey와 Coop 도구는 직접 호스팅하고 고쳐 쓸 수 있으며, 정책과 데이터는 현지에 남는다. ROOST는 ROOST Model Community도 운영한다. 이 커뮤니티는 실무자들을 오픈 웨이트 안전 모델 개발사와 직접 잇는다. OpenAI의 gpt-oss-safeguard, Mistral의 Shieldstral, Roblox의 분류기 등 플랫폼이 직접 호스팅할 수 있는 모델들이며, 그중 여럿은 플랫폼이 쓴 정책을 따른다. 실무자들이 찾아낸 것은 각 모델 개발사에 다시 전달된다. 공유 모델이 지역 정책을 돌리는 셈이다. 이 커뮤니티가 직접 모델을 학습시키지는 않는다. 공유 오픈 웨이트, 공유 정책, 그리고 원본 데이터를 한데 모을 수 없는 플랫폼들을 위한 배포와 실천의 층이다. 공개 기록이 곧 성과를 입증하는 것은 아니다.
속도는 AI가, 판단은 사람이 맡는다는 연설의 '두 차선' 방식은 그 뒤 X에서 측정되었다. X 커뮤니티 노트 팀의 연구는 플랫폼의 공개 AI Note Writer API를 다루며, 협업 노트(Collaborative Notes)는 시범 사업이라 제외했다. 2026년 6월 이 API의 최대 사용자인 Grok 기반 Community Writer는 제안된 노트의 41%, 도움이 된다고 평가된 노트의 52%를 작성했다. 다른 작성자들도 다룬 게시물 가운데 60%에서는 가장 먼저 노트를 제안했다. AI가 썼든 사람이 썼든, 모든 노트는 평소 의견이 갈리는 기여자들이 도움이 된다고 평가한 뒤에야 표시되었다. 이는 플랫폼이 자기 시스템에 대해 내놓은 수치이며, 독립적인 평가는 아니다.
'번역' 카테고리의 다른 글
| [2024] Anthropic·CIP 「집단적 헌법 AI: 대중의 의견으로 언어 모델 정렬하기」 번역 (2026.11.14) (0) | 2026.11.14 |
|---|---|
| [2023] 새프런 황·디비야 시다스 「생성형 AI와 디지털 커먼즈」 번역 (2026.11.14) (0) | 2026.11.14 |
| [2024] 비탈릭 부테린 「아주 길게 요약한 플루럴리티 철학」 번역 (2026.11.14) (0) | 2026.11.14 |
| [2024] 육후이 『기계와 주권』 7장 인식론적 외교를 향하여 번역 (2026.11.14) (0) | 2026.11.14 |
| [2024] 육후이 『기계와 주권』 서론: 행성적 사유를 위하여 번역 (2026.11.14) (0) | 2026.11.14 |