새프런 황(Saffron Huang)과 디비야 시다스(Divya Siddarth)가 2023년 3월 발표한 「Generative AI and the Digital Commons」를 우리말로 옮긴 글이다. 두 저자는 집단지성 프로젝트(Collective Intelligence Project, CIP)에서 일한다. 원문은 arXiv:2303.11074에서 읽을 수 있다. 원문은 CC BY-SA 4.0 라이선스로 공개되어 있으며, 이 번역문도 같은 CC BY-SA 4.0 라이선스를 따른다. 참고문헌은 원문 그대로 두었다.
다른 번역글은 번역 카테고리에서 볼 수 있다.
초록
많은 생성형 파운데이션 모델(GFM)은 공개된 데이터로 학습하고 공공 인프라를 사용한다. 그런데 이 모델들은 1) 자신이 기대고 있는 "디지털 커먼즈"를 훼손할 수 있고, 2) 거둬들인 가치를 데이터 생산자와 이해관계자에게 돌려줄 절차를 갖추고 있지 않다. 기존의 데이터 권리와 보호 개념(주로 개인이 소유한 데이터와 그에 따른 프라이버시 문제에 초점을 둔다), 그리고 저작권이나 라이선스 기반 모델은 참고할 만한 출발점을 제공한다. 하지만 커먼즈 기반 데이터로 학습한 모델에서 생길 수 있는 문제를 다루기에는 잘 맞지 않는다. 이 글은 GFM이 낳는 위험과 그것이 디지털 커먼즈와 관련되는 이유를 정리하고, 거버넌스에 기반한 여러 해법을 제안한다. 생성형 모델의 학습과 역량에 관한 표준화된 데이터셋·모델 공개와 그 밖의 투명성에 대한 투자, 모니터링·표준·감사 기관을 위한 컨소시엄 기반 재원 마련, GFM 기업이 양질의 데이터를 커먼즈에 기여하도록 하는 요건이나 규범, 개인이나 공동체가 제공한 미세조정(fine-tuning) 데이터에 기반한 공동 소유 구조가 그것이다.
1. 생성형 파운데이션 모델(GFM)의 부상
이 글에서 "생성형 파운데이션 모델"(GFM)은 다음 두 조건을 갖춘 기계학습 시스템을 가리킨다. 1) "생성형": 입력 프롬프트를 바탕으로 텍스트, 이미지, 그 밖의 정보 시퀀스를 생성한다. 2) "파운데이션 모델": 출처와 내용이 다양한 대규모 데이터셋으로 학습한 신경망 모델로, 폭넓은 작업에 맞게 조정할 수 있다. (기계학습, 곧 ML은 인공지능, 곧 AI라고도 불린다.) 잘 알려진 GFM으로는 다음이 있다. 텍스트를 받아 텍스트를 생성하는 오픈AI(OpenAI)의 GPT 계열 언어 모델(ChatGPT 포함), 텍스트나 이미지를 받아 이미지를 생성하는 DALLE-2, 텍스트를 받아 텍스트를 생성하는 BERT, 텍스트를 받아 이미지를 생성하는 Stable Diffusion, 코드(특수한 종류의 텍스트)를 받아 코드를 생성하는 Codex.
파운데이션 모델 전반이 아니라 "생성형" 파운데이션 모델을 말하는 것은 Bommasani et al. (2022)를 따른 것이다. 우리의 주된 관심이 이 모델들을 텍스트, 코드, 이미지 같은 콘텐츠 생성에 쓰는 데 있기 때문이다. 여기에는 요약(텍스트의 요약문 생성), 텍스트 이어쓰기(다음 단어를 반복해 예측하며 글을 이어감), 이미지와 동영상 제작 같은 작업이 포함될 수 있다.
생성형 파운데이션 모델은 범용 기술이다. 다만 실제로 쓰이는 "다운스트림" 작업에 맞춰 조정하면 더 나은 성능을 낸다. 예를 들어 더 구체적인 데이터셋으로 추가 학습하는 "미세조정"을 거치면 사용 맥락에 맞는 결과물을 생성할 수 있다. 이제 막 생겨난 이 산업의 구조는 크게 바뀔 가능성이 높다. 하지만 현재로서는 오픈AI, 미드저니(Midjourney), EleutherAI, BigScience, 스태빌리티(Stability) 같은 소수의 핵심 주체가 범용 GFM을 만들고 있다. 더 전문화된 기업들은 흔히 이들이 공개한 기술을 바탕으로 다음과 같은 특정 작업에 적용한다.
- 카피라이팅 (예: Copy.ai, Jasper, NeuralText, Nichesss)
- 웹사이트 생성 (예: The.com, Debuild)
- 마케팅 및 스톡 이미지 생성 (예: Shutterstock, Picsart, Jasper Art)
- 일반 이미지 편집과 디자인 (예: 포토샵 플러그인, 마이크로소프트 Designer)
- 일반 글쓰기, 편집, 콘텐츠 관리 (예: Microsoft Teams Premium, NotionAI, Coda + OpenAI, Chibi AI)
- 동영상 편집 (예: Runway, Kino)
- 코드 생성 (예: Github Copilot, Tabnine)
- 연구 보조 (예: Elicit)
- 주택 리모델링용 평면도 작성 (예: Tailorbird)
- 엑셀·데이터 정리와 정제 (예: Charm)
이는 현재 있거나 가능한 GFM 응용 가운데 일부일 뿐이다. 특히 이 산업은 빠르게 움직이고 있다.
2. GFM의 가능성과 위험
새로운 범용 기술에는 위험과 기회가 함께 따른다. 앞으로 10년 동안 GFM은 막대한 경제적 부와 생산성에 기여하고, 여러 분야의 발전을 떠받칠 수 있다. 번개처럼 빠른 카피라이팅부터 누구나 쓸 수 있는 법률 서비스, 자동화된(그리고 점점 더 자율적인) 온라인 상호작용까지 그 범위는 넓다. 또한 첫 세대 GFM은 소수 기업이 내놓았지만, 최근 오픈소스 모델과 응용이 늘어나면서 이 생산 역량이 지나치게 집중될 것이라는 초기 우려가 다소 누그러질 수 있다. 더 개방적이고 경쟁적인 생태계로 갈 가능성이 보이는 것이다. 그러나 GFM이 인류 전체의 이익을 위해 배치된다는 보장은 없다. 이 기술의 성장과 확장에는 조사하고 필요하면 완화해야 할 위험이 따른다. 그 위험은 다음과 같다.
- 만들기 쉬운 저품질 데이터로 정보 영역을 오염시킨다. GFM은 사람보다 훨씬 빨리 텍스트, 코드, 이미지를 생성할 수 있지만, 사실이 아니거나 편향되거나 그 밖에 질이 낮은 결과물을 내놓을 수 있다. 그 결과 의도하지 않은 오정보와 의도적인 허위정보, 그리고 편향되거나 부적절하거나 가치가 낮은 콘텐츠가 넘쳐날 수 있다. 연구에 따르면 텍스트를 이미지로 바꾸는 GFM에서는 고정관념이 증폭되는 경향이 있다 (Bianchi et al., 2022). 출력이 미묘하게 틀려서 평가하기 어려울 수도 있다. 그래서 전담 감사 역량 없이는 품질 보증이 어렵다.
- 자기결정과 민주주의를 약화한다. GFM은 개인 맞춤형 설득이나 허위정보에 쓰여 해로운 정보를 적은 비용으로 대량 생산할 수 있다 (Goldstein et al., 2023). GFM이 더 많은 응용에 쓰일수록, 그 블랙박스 의사결정이 많은 사람의 실질적인 삶에 영향을 미칠 수 있다. 콘텐츠 필터와 그 밖의 설계 결정은 대개 작은 팀이 정하며, 참여나 제대로 조율된 의견 수렴은 거의 없다. 나중에 모델이 오픈소스로 공개되더라도 마찬가지다.1
- 콘텐츠를 획일화한다. 생성된 정보는 널리 쓰이는 하나 또는 소수의 모델에 기반하기 때문에 더 균질해지고 비슷한 속성(예: 대중적 쟁점에 대한 정서)을 띠게 된다.
- 사람들이 열린 디지털 생태계에 기여할 유인을 어긋나게 한다. 사람들은 생성형 모델을 쓰느라 텍스트, 코드, 이미지를 직접 만들지 않게 될 수 있다. 또는 GFM을 검색 엔진처럼 쓰면서 데이터의 출처인 웹사이트(레딧(Reddit)이나 위키백과(Wikipedia) 등)를 아예 방문하지 않을 수 있다. 그러면 그 사이트들에 대한 기여가 줄어든다(이 현상은 "재사용의 역설"이라고 불렸다) (McMahon et al., 2017) 사람들은 GFM을 쓰지 않고 만든 창작물을 커먼즈에 공개하지 않기로 할 수도 있다. 일자리 대체에 대한 두려움이나 출처 표시의 부재 같은 이유에서다.
- 경제 집중을 더 부추긴다. 자본 집약적인 특정 모델이 외부 접근을 제한하거나 전혀 허용하지 않은 채 사적으로 소유되거나(예: 구글(Google)의 PaLM, 딥마인드(DeepMind)의 Gopher, 오픈AI의 DALLE-2), 그 위에 구축된 응용을 크게 통제한다면 경제 집중에 기여할 수 있다. 특히 GFM을 만드는 높은 비용이 곧 낮아지지 않으면 접근은 제한될 수 있다.
- 불안정한 노동 조건과 대규모 자동화에 기여한다. 일부 산업에서는 사람이 하는 일의 일부 또는 상당 부분이 자동화되면서 노동 조건이 불안정해지고, 대규모 자동화로 이어질 수 있다(예: 디지털 아트·콘셉트 아트, 카피라이팅). 이는 노동 정책이 다뤄야 할 문제다.
- 고성능 AI 시스템이 낳는 예측 불가능한 위험을 가속한다. 블랙박스이면서 성능이 높은 인공지능 시스템은 예측할 수 없는 방식으로 위험할 수 있다. GFM이 반드시 자율 에이전트로 만들어지는 것은 아니다. 하지만 다른 이들이 소프트웨어 사용, 인터넷 탐색, 물리적 사물 조작 같은 능력을 덧붙일 수 있고, 그러면 위험이 생길 수 있는 영역이 넓어진다 (Reed et al., 2022).
이 문제들 가운데 지금까지 GFM 맥락에서 연구된 것은 매우 적고, 폭넓게 연구된 것은 하나도 없다. 우리가 제안하는 해법의 상당 부분은 이런 영향을 모니터링하고 연구할 인프라를 갖추는 일이다.
3. GFM과 커먼즈
3.1 많은 위험의 핵심은 GFM이 디지털 커먼즈에 미치는 영향이다.
GFM은 흔히 "커먼즈(공유지)"라 불리는 것에 기대는 동시에 그것에 기여한다 (Ostrom, 1990). 커먼즈, 더 정확히 말해 공동 풀 자원(common-pool resources)은 경합적이면서 배제가 불가능한 자원이다. 그래서 '공유지의 비극' 식 착취에 빠질 수 있다. 개별 행위자가 공유 자원에 무임승차하거나, 그것을 오염시키거나, 다른 방식으로 훼손해 집단 전체가 큰 비용을 치르는 것이다. 따라서 이런 공동 풀 자원이 지속 가능한지는 효과적인 다중 이해관계자 거버넌스와 관리에 달려 있다. 우리는 분석 대상을 주로 디지털 커먼즈로 한정한다. GFM이 주로 만들어지고 배치되는 영역이 그곳이기 때문이다. 디지털 커먼즈는 두 가지로 이루어진다.
- 우리 모두가 함께 혜택을 누리고, 소유하고, 기여하는 정보 자원의 온라인 커먼즈. 전통적으로는 위키, 인터넷 아카이브 스냅숏, 크리에이티브 커먼즈(Creative Commons, CC) 라이선스 이미지, 공개 소프트웨어 저장소 같은 것이 여기에 들어간다. 레딧 같은 온라인 토론 공간과 가디언(The Guardian) 같은 뉴스 매체도 이 정보 커먼즈의 일부다. 이 데이터나 그 사본 상당수는 기술적으로 누군가(예: 민간 주체, 정부, 개인)가 호스팅하며, 이에 대한 권한과 관리가 얼마나 집단적으로 통제되거나 소유되는지는 제각각이다. 그래도 대체로 접근이 상당히 개방되고 공유되어 있으며, 사람들이 이 디지털 자원에 기여하거나 이를 이용하는 데 장벽이 거의 없다.
- 커먼즈를 떠받치는 집단적 인프라. 이 인프라에는 물리적인 것(예: 인터넷 케이블), 제도적인 것(예: IETF, W3C, IEEE 같은 조직), 기술적인 것(예: 오픈소스 라이브러리)이 포함된다. GFM과 그 밖의 AI가 점점 더 많이 배치되면서, 더 많은 ML 모델, 데이터셋, 라이브러리와 플랫폼, ML에 맞춘 컴퓨팅 하드웨어, 그리고 AI를 만들거나 관리하는 여러 기관이 이 범주에 들어올 수 있다. 예를 들어 GFM 제품이 전통적인 소프트웨어 제품을 대체하기 시작하면, 파이토치(Pytorch) 같은 기계학습 라이브러리는 점점 더 많은 온라인 기능을 지탱하는 핵심 디지털 인프라가 될 수 있다.
디지털 커먼즈의 존재와 질은 "공급 부족, 부적절한 법적 틀, 오염, 품질이나 검색 가능성의 부족"으로 위협받을 수 있으며, 이런 결과에 맞서 유지되어야 한다 (Dulong de Rosnay & Stalder, 2020) 예를 들어 코더, 예술가, 위키백과 편집자, 블로거 같은 사람들이 정보 커먼즈에 양질의 자료를 기여하고 유지한다. 스팸 필터는 원치 않는 광고를 받은편지함 밖으로 걸러낸다. 비영리단체 크리에이티브 커먼즈는 다양한 라이선스를 제공해 유연한 저작권 조건을 가능하게 한다. 인터넷 아카이브 활동가들은 정보를 계속 이용할 수 있게 하고, 오픈소스 기여자들은 세계 소프트웨어의 상당 부분을 떠받치는 도구를 만든다.
디지털 커먼즈라는 개념은 특히 ML 거버넌스에 잘 들어맞는다.
디지털 커먼즈는 데이터나 인공지능 같은 자원을 위한 새로운 거버넌스 구조가 필요하다는 요구에 대한 답이 될 수도 있다… 데이터는 특히 커먼즈 틀에 잘 맞는다. 입력과 영향이 근본적으로 공유되고, 이런 자원에 대한 접근을 나누면 아래로부터의 혁신과 기술 진보를 더 이룰 토대가 마련되며, 이를 가두거나 사유화하면 집단적 이익을 돌볼 가능성이 약해진다… [이렇게 해서] 경제 성장과 민주적 참여에 필요한 공유 계층을 [이룬다]. (Siddarth & Weyl, 2021)
앞에서 자세히 다룬 위험들을 하나씩 보면, 위험 1)~4)는 커먼즈 기반 접근과 가장 직접 관련된다. 공동 자원과 공론장에 미치는 영향을 직접 다루기 때문이다. 경제 집중과 노동 불안정·자동화를 다루는 위험 5)~6)은 공동 자원에 어떤 의무가 따르는지에 관한 질문을 던진다. 요컨대 공개 데이터는 어디까지 의무를 낳는가? 그 데이터를 만든 사람들이 그로부터 나온 AI에서 가치를 돌려받아야 하는가? 그 데이터가 사적 이익을 위해 쓰이고, 바로 그 데이터를 만든 사람들의 이익에 반하는 GFM의 생산에 들어간다면, 보상과 대가의 문제는 더욱 두드러진다.
3.2 디지털 커먼즈의 온전함은 중요하다.
디지털 커먼즈는 디지털 기술에 대한 접근과 그 혜택을 널리 나눌 수 있게 한다. 오픈소스의 경제적·윤리적 이점은 거듭 연구되었다 (Ghosh, 2007; Wright et al., 2021; Blind et al., 2021). 오픈 액세스 정책은 과학의 확산을 키우고, 위키백과는 세계에서 가장 많이 방문하는 웹사이트 가운데 하나다.2 이들은 공동 자원이고 수익화되지 않기 때문에 그 가치를 측정하기 어렵다. 하지만 접근성은 분명 공유된 이익으로 이어지는 것으로 보이며, 비경합적인 디지털 재화라면 더욱 그렇다. 공유된 집단적 인프라가 없으면 현재와 미래의 혁신이 민간 주체에게 쉽게 장악될 수 있다. 예를 들어 20세기에 AT&T는 장거리 전화선에 대한 기존의 인프라 독점을 발판으로 케이블과 라디오에서도 선도적 독점을 차지했다 (Wu, 2012)). 집단적 디지털 인프라가 없으면 혁신을 이끄는 건강한 경쟁 대신 독점의 역학이 나타날 수 있다.
디지털 커먼즈는 현대의 지식 공유에 결정적이다. 지식 일반도 공유된 공동 풀 자원으로 여겨지며, "지식 커먼즈"라 불리고 그렇게 분석된다 (kno, 2007) 오늘날 디지털 커먼즈는 현대 지식 커먼즈의 핵심 부분이다. 정확하고, 접근 가능하고, 포괄적이고, 다양한 지식 원천이 문화, 복지, 과학, 기술에 필요하다는 점은 널리 인정된다. GFM의 바탕이 되는 학습 데이터와 그 출력 모두 이 지식 커먼즈의 일부다. GFM 자체도 학습 데이터에 담긴 지식에 접근하는 일종의 인터페이스로 볼 수 있다.
디지털 커먼즈는 민주주의를 떠받친다. 양질의 지식과 사람들 사이의 진정한 토론은 그 자체로 중요하지만, 민주주의에도 중요하다. 누구에게 투표할지, 어떤 정책을 시행할지 잘 결정하고 대표자에게 책임을 묻는 데에는 좋은 정보와 공적 담론이 필요하다. 다음과 같은 지적이 있다.
다른 모든 메커니즘이 기대는 기초 메커니즘은 민주주의 안에서 건강한 인식적 커먼즈를 유지하는 것이다. 곧 인식적으로 건강한 공론장, 다시 말해 날것의 정보를 이해하고 그에 대한 합의에 이르기 위한 널리 신뢰받는 규범, 절차, 제도가 있어 특정 사실이 참으로 받아들여지는 공론장이다. (Consilience Project, 2021)
오늘날 이런 상호작용의 상당 부분이 온라인으로 옮겨 가면서, 우리는 디지털 지식 커먼즈의 훼손이 오정보, 양극화, 그 밖의 경로로 민주주의를 해칠 수 있음을 보아 왔다 Del Vicario et al. (2016); Barrett et al. (2021); Anderson & Rainie (2020).
1. 이는 문제로 이어질 수 있다. 메타(Meta)의 Galactica AI가 인종이나 에이즈(AIDs)에 관한 정당한 과학 연구를 걸러낸 사례가 그렇다 (Heaven, 2022).
2. Teplitskiy et al. (2017)에 따르면 위키백과는 오픈 액세스 저널과 영향력 지수가 높은 저널을 더 많이 인용한다. 또한 여러 분석에 따르면 위키백과는 가장 많이 방문하는 웹사이트 가운데 하나다 (LaFrance, 2016; G, 2022).
3.3 생성형 파운데이션 모델은 디지털 커먼즈에 기대면서도 디지털 커먼즈를 잠식할 수 있다
GFM은 디지털 커먼즈를 학습한다. 생성형 파운데이션 모델은 인터넷에서 긁어모은 방대한 정보(텍스트, 코드, 이미지) 데이터베이스로 학습해 높은 능력을 갖춘다. 이는 공개되어 수집 가능한 데이터가 있어야 가능하다. 또 인류의 "집단 지성"을 활용한다. 공들여 편집된 위키백과, 수천 년에 걸친 책, 수십억 개의 레딧(Reddit) 댓글, 수백 테라바이트 분량의 이미지 등이 여기에 들어간다3. GFM은 커먼 크롤(Common Crawl, 웹 크롤링 데이터의 공개 저장소를 만들고 관리한다), 크리에이티브 커먼즈(Creative Commons, 사용되는 데이터에 대한 개방 라이선스를 제공한다) 같은 비영리 단체와 오픈소스 라이브러리, 그 밖의 디지털 인프라에도 기댄다. 사용자 선호를 모은 정보도 활용한다. 예를 들어 GPT 계열 모델의 바탕인 WebText 데이터셋은 레딧의 "카르마 점수"로 수록할 콘텐츠를 골랐다. 이 모든 것은 많은 사람이 함께 기여하는 공동의 디지털 정보이자 인프라다.
GFM이 디지털 커먼즈에 의존한다는 사실에는 경제적 함의가 있다. 가치의 상당 부분은 커먼즈에서 나오지만, 모델과 그 응용에서 나오는 이익은 커먼즈를 풍성하게 하는 데로 돌아가기보다 GFM과 관련 제품을 만드는 쪽에 지나치게 쏠릴 수 있다. 학습된 모델 가운데 일부는 오픈소스로 공개되었고, 일부는 유료 API(OpenAI의 GPT-3 등)로 제공되지만, 상당수는 독점적이고 상업화되어 있다. 사용자도 GFM 제품을 쓰면서 경제적 잉여를 얻을 것이고, 그중 일부는 커먼즈에 기여한 사람일 것이다. 그래도 커먼즈 자체나 커먼즈에 기여한 사람들에게 직접 보상할 의무가 있는지는 여전히 물어야 할 문제다.
여기에 더해 법적, 도덕적 함의도 있다. 저작권과 공정 이용에 관한 법은 생성형 AI에 대해서는 선례가 거의 없다. 그런데도 깃허브 코파일럿(Github Copilot), 스태빌리티 AI(Stability AI), 미드저니(Midjourney) 등 여러 GFM이 공개 데이터를 쓴 것을 문제 삼는 소송이 이미 여럿 제기되었다 (Field, 2023). 디비언트아트(DeviantArt) 같은 일부 기업은 사용자 이미지로 모델을 학습시키면서, 학습 데이터에 포함되는 데 동의(옵트인)를 받는 대신 원하지 않으면 직접 빠지도록(옵트아웃) 했다. 또 작품을 공개한 예술가들은 자기도 모르는 사이에 다른 이들이 자기 작품으로 이미지 모델을 학습시키는 일을 겪었다. 그렇게 나온 결과물을 두고 예술가들은 침해적이라거나 자기 작품의 실제 스타일이나 의도를 반영하지 않는다고 느낀다 (Baio, 2022).
GFM은 사람보다 훨씬 빠르게 디지털 커먼즈에 콘텐츠를 다시 쏟아내며, 그 품질은 알 수 없다. GFM 응용이 늘면서 카피라이팅 도구가 AI가 만든 마케팅 문구, 웹사이트 문구, 블로그 글로 인터넷을 채우기 시작했다. 이미지 생성 도구는 블로그 글, 발표 자료, 웹사이트 장식에 쓰인다. 평범한 사람들도 언어 GFM의 도움을 받아 블로그 글과 기사를 쓴다. 여러 용도에서 이런 텍스트가 대규모로 어떤 특성을 띨지는 아직 알 수 없고, 대규모 편향이나 허위정보로 이어질 가능성도 있다. 인터넷의 일부는 이미 어느 정도 자동 생성된 것일 수 있지만, GFM은 다음 점에서 다를 수 있다.
- 속도. 생성 모델은 사람이 직접 글을 쓰고 코드를 짜고 그림을 그리는 것보다 훨씬 빠르게 텍스트, 코드, 이미지를 만든다. 기계가 생성한 텍스트가 디지털 정보 커먼즈에서 높은 비율을 차지할 수 있고, 커먼즈를 획일화할 가능성도 있다(비슷한 모델에서 나온 정보는 비슷한 성질을 띠게 된다). 한 분석은 머신러닝 학습에 쓸 고품질 언어 데이터가 2026년이면 바닥날 것으로 추정한다 (Villalobos et al., 2022).
- 품질.
- GFM은 사실이 아니거나 편향된 말을 자주 한다. 그 오류는 쉽게 잡아 고칠 수 있는 것이라기보다 미묘한 경우가 많다 (Sobieszek & Price, 2022). 생성된 언어 출력은 평범한 사건보다 드문 사건을 과도하게 예측하기 쉽고(보고 편향이라고 한다) (Shwartz & Choi, 2020), 인간의 차별적 편향을 그대로 재생산한다4. 스테이블 디퓨전(Stable Diffusion)은 고정관념을 재생산하는 것으로 드러났고, 메타의 과학 언어 모델 갤럭티카(Galactica)는 그럴듯하게 들리는 허위 내용과 편견 섞인 발언을 내놓은 뒤 곧바로 내려졌다 (Hendrix, 2022; Heaven, 2022). 때로는 생성물의 품질이 더 노골적으로 낮다. 같은 말을 되풀이하거나, 부정문을 이해하지 못하거나, 상식적 추론을 하지 못하는 식이다5. 그런데도 이런 결함이 거의 확실히 있는 모델 다수가 실제 제품으로 배포되고 있다. 결국 인터넷 커먼즈 전반이 이런 쪽으로 치우칠 가능성이 높다.
- 많은 사람이 텍스트 모델을 지식 베이스처럼 쓰려 한다. 구글이나 위키백과처럼 답을 물어보는 것이다. 이 때문에 위의 문제는 더 심각해진다. 입력 데이터는 사실 여부가 걸러지지 않았다(데이터를 수집하는 규모를 생각하면 거의 불가능한 일이다). 따라서 이 모델들이 정답을 말한다는 보장은 실제로 없다. 그런데도 이런 용도로 모델을 쓰려는 시도는 사실 관계의 오류를 낳을 것이고, 그중 상당수는 발견되지 않을 것이다. 메타의 갤럭티카 언어 모델은 과학 위키 글을 생성하도록 학습되었는데, 미묘하지만 확신에 찬 듯한 과학적 허위 내용을 많이 내놓은 것으로 악명이 높다. 이는 의도했든 아니든 허위정보의 확산으로 이어질 수 있다.
- 접근성과 범용성. GFM은 허깅페이스(HuggingFace)나 깃허브(Github) 같은 웹사이트에 공개되어 있고, 사용하는 데 기술 지식이 비교적 적게 든다. 그래서 접근성이 매우 높다. 콘텐츠를 자동 생성하던 이전 방법보다도 접근하기 쉽고 쓰임새가 넓다. 이전 방법이란 마르코프 연쇄 같은 자동화 기법, RSS 피드 수집, 자동 유의어 치환 등으로 구글 검색 순위에 맞춰 최적화한 글 같은 것을 말한다 (Google, ; Ahrefs, ). 콘텐츠 생성에 쓰인 다른 알고리즘과 비교하면 GFM은 특정 용도에 맞춘 전문적 개발이 덜 필요하다. 그래서 자동 생성이 이전 기법보다 훨씬 많은 분야로 퍼질 수 있다.
이런 문제는 정보 커먼즈의 품질을 크게 떨어뜨릴 수 있고, 인터넷을 어느 정도 재구성해야 할 수도 있다. 예를 들어 기계가 만든 콘텐츠와 사람이 만든 콘텐츠를 어떻게 탐지하고 걸러내고 순위를 매길지의 문제가 더 심해지고, 새로운 해법이 필요해질 수 있다.
어떤 생성물이 바람직한지 기준을 정하기 어렵고, 바람직하지 않은 생성물을 탐지하고 막기도 어렵다. 어떤 생성물을 어디까지 허용할지, 그 기준이 무엇인지를 두고 의견이 크게 갈린다 (McGee, 2023). 합의가 있다 해도 모든 피해를 찾아내 줄이기는 어렵다. 앞서 말했듯 많은 생성물은 미묘하게 틀리거나 바람직하지 않으며, 맥락에 따라 문제가 달라지기도 한다. 그래서 분류기와 콘텐츠 필터를 만드는 일이 어렵다. 또 데이터에 기계 생성인지 사람 생성인지를 영구적으로 표시하는 기술적 문제도 어렵다. AI 생성 콘텐츠를 탐지하는 방법을 개발하는 쪽과 탐지기를 속이려는 쪽 사이에 경쟁 구도가 생길 수도 있다 (Yu et al., 2022). 이 모든 것이 안전을 보장하기 어렵게 만든다.
이렇게 생성된 출력은 정보 커먼즈의 일부가 되기 시작한다. 대화형 응답과 코드 자동 완성은 여러 제품 가운데서도 흔한 GFM 활용 사례다 Zhang et al. (2020). 학생들은 이미 GPT-3 도구로 그럴듯한 학교 과제 에세이를 쓰고 있다 (Woodcock, 2022). 가짜 뉴스 생성, 가짜 상품 후기, 스팸과 피싱 등으로 오정보와 허위정보 생산을 자동화할 수도 있다 (Buchanan et al., 2021; Zellers et al., 2020; Adelani et al., 2019). 생성된 출력에는 바람직하지 않은 성질이 많으므로, 이것이 인터넷 기반 데이터셋을 "오염"시킬 수 있다. 미래의 생성 모델을 학습시킬 데이터도 예외가 아니다.
최신 GFM의 출력은 이전 알고리즘보다 사람이 만든 것과 훨씬 구별하기 어렵다 (Weiss, 2019). 무엇이 AI가 만든 콘텐츠이고 무엇이 사람이 만든 콘텐츠인지 가리고 서로 걸러내기는 점점 어려워질 것이다. GFM 출력을 구별하는 대응책이 개발될 수 있고, 그 대응책을 뚫는 새로운 공격도 개발될 수 있다. 하지만 GFM이 만든 콘텐츠 중 상당수는 사람이 만든 것처럼 보이는 콘텐츠로 정보 커먼즈에 들어올 가능성이 높다.
학습 데이터 품질 문제는 위키백과의 저자원 언어에서 이미 나타나고 있다. 스코틀랜드어(Scots) 콘텐츠는 명백히 틀린 것으로 드러났고 (Rivero, 2020), 세부아노어와 스웨덴어 문서는 대부분 봇이 생성한 것으로 드러났다 (Lokhov, 2021). 연구자들은 대체로 위키백과를 사람이 쓴 고품질 콘텐츠의 좋은 출처로 여긴다. 그래서 봇이 만든 이런 저품질 콘텐츠로 AI를 학습시키고, 결과적으로 출력 품질이 낮은 모델이 나온다 (Kreutzer et al., 2022).
GFM 출력이 커먼즈에 합류해 더 새로운 GFM의 데이터셋 일부가 된다면, 새 모델이 예전의 굳어진 패턴 쪽으로 치우치고 앞으로의 품질 개선이 더 어려워질 수 있다. 입력 데이터셋을 신중하게 거르거나 활용하지 않으면 특히 그렇다6.
이는 핵무기와 기후 변화가 방사성 탄소 연대 측정에 미친 영향과 비슷할 수 있다 (Laboratory, ; Jones, 2022). 특정 시점 이후의 시료로는 표준 기법을 써서 정확한 연대를 잴 수 없게 된 것이다. 마찬가지로 어느 시점이 지나면 정보 커먼즈의 품질이 표준적인 머신러닝 학습 기법이 통할 만큼 높지 않을 수 있다.
이렇게 되면 계산사회과학자 같은 연구자들이 인터넷 기반 데이터셋으로 신뢰할 만한 연구를 하기가 더 어려워질 수 있다. 이용 가능한 데이터셋은 이미 이런 연구를 크게 제약하고 있으며 (Gaffney & Matias, 2018), 기계 생성 콘텐츠가 대규모로 만들어지면 새로운 어려움이 더해질 것이다.
GFM은 자기결정과 민주주의를 잠식할 수 있다. GFM은 여러 면에서 자기결정과 민주주의에 반하는 데 쓰일 수 있다. 개인 맞춤형 설득이나 허위정보에 활용되는 식으로, 국가나 준국가 행위자가 전쟁 작전에 쓸 수도 있다. 진정한 대중 운동이 GFM으로 생성된 것이라는 비난을 받아 신뢰를 잃을 수도 있다. 또 콘텐츠 필터와 그 밖의 설계 선택은 대개 참여나 다양한 의견 반영이 거의 없는 소수의 팀이 정한다. 이는 충분히 민주적이지 않은 상황이라고 할 만하다. GFM이 정치적 논의에 영향을 주는 쟁점과 맞닿아 있다는 점에서 특히 그렇다(예를 들어 메타의 갤럭티카 AI는 인종이나 에이즈에 관한 정당한 과학 연구를 걸러냈다 (Heaven, 2022)). 모델을 오픈소스로 공개하는 흐름을 고려하면 이런 문제 중 일부는 덜 두드러질 수도 있다.
GFM은 디지털 커먼즈에 기여할 유인을 떨어뜨릴 수 있다. 사람들이 생성 모델을 쓰느라 직접 글을 쓰고 그림을 그리는 일을 그만둘 수 있고, 그러면 사람이 쓴 새로운 자료가 만들어지는 속도가 줄어든다. (반면 GFM의 도움을 받아, 여전히 상당한 인간의 입력을 더해 자료를 만드는 사람이 늘어날 수도 있고, 전체 창작물이 더 많아질 수도 있다.) 또 사람들이 GFM을 쓰지 않고 만든 창작물을 커먼즈에 내놓으려는 마음이 줄어들 수 있다. 예를 들어 자기 코드를 오픈소스로 공개하거나 자기 작품의 고해상도 버전을 게시할 유인이 줄어들 수 있다. 일자리를 대체당할까 하는 두려움 때문일 수도 있고, 학습 데이터에 보태지는 것이 싫어서일 수도 있다. 출처 표시나 홍보 효과를 얻지 못한다거나, GFM의 목적과 자신이 맞지 않는다고 느끼는 경우다.
예술가들이 자기 작품을 알고리즘이 읽을 수 있게 만들 유인도 줄어들 수 있다(예를 들어 예술가 그레그 루트코프스키(Greg Rutkowski)의 작품은 GFM에서 많이 쓰였는데, 그가 이미지에 대체 텍스트를 달아 두었기 때문이다 (Benzine, 2022)). 이는 데이터 과학과 머신러닝, 접근성, 그리고 자유롭고 개방된 예술 커먼즈에 모두 나쁘다. 더 많은 작품이 완전히 공개되기보다 수집이 불가능한 비공개 서비스에 올라갈 수 있고, 이는 정보를 담장 안에 가두는 기업에 더 큰 힘을 준다(예를 들어 페이스북 콘텐츠는 수집해 학습 데이터에 쓸 수 없다. 사람들이 아트스테이션(Artstation) 같은 더 개방된 플랫폼 대신 그런 곳에 게시할 수 있다). 이는 디지털 커먼즈를 더욱 닫아 버린다. 전체적으로 디지털 커먼즈에는 품질 낮은 AI 생성 콘텐츠가 대량으로 들어오는 반면, 사람이 만든 콘텐츠를 내놓을 유인은 줄어들 수 있다.
4. 기존 제안과 그 장단점
아직 초기 단계인 분야지만, GFM이 사회에 미칠 수 있는 부작용을 줄이기 위한 제안이 몇 가지 나와 있다. 각 제안은 체계적 위험에 대응하는 능력 면에서 장단점이 있다. 다음과 같은 것들이다.
| 데이터 배당/세금 | 자동화된 부문의 재교육 | 더 엄격한 저작권과 라이선스 | 개인 데이터 권리와 소유권 | |
| 대응하는 위험 | 경제적 집중, 노동 자동화(기금 사용처에 따라 다름) | 경제적 집중, 노동 자동화 | 정보 영역 오염(저작권 대응의 성공 여부에 따라 다름), 기여 유인의 어긋남 | 경제적 집중, 기여 유인의 어긋남 |
| 행위자 | 정부(여러 관할권에 걸칠 수 있음), GFM을 만들거나 활용하는 기업 | GFM을 만들거나 활용하는 기업(자발적 기여인 경우), 정부(규제하는 경우) | 저작권/라이선스 기관(예: 크리에이티브 커먼즈), 법원(소송이 성공하는 경우), 공공 부문 | 정부(규제를 통해), 표준 단체, 콘텐츠 플랫폼 |
| 수혜자 | 시민. 세금 → 공공 부문 기관 → 사회 안전망/공공재로 이어지는 경로를 거친다 | 일자리를 잃은 노동자와 미래의 노동자 | 저작권이 있거나 저작권 대상이 될 수 있는 데이터의 보유자. 소규모 보유자보다 대규모 권리 보유 조직에 유리할 수 있음 | 개별 데이터 창작자 |
이 제안들은 대부분 디지털 커먼즈의 지속 가능성과 관련이 있지만, 앞서 나열한 원래 위험 중 많은 것을 고려하지 않는다. 아래에 각 제안의 장단점을 정리했다. 각 아이디어의 논리를 설명하고, 다음 절에서 다룰 커먼즈 중심 제안과 어디서 겹치는지 보여 주기 위해서다.
4.1 데이터 배당 방식의 과세 접근
데이터 배당은 예전에 다른 문제를 두고 제안된 적이 있다 (Feygin et al., 2021). 이는 사용자 데이터를 쌓아 두는 대형 민간 주체를 겨냥한 것이었다. 이번 사안에는 그만큼 들어맞지 않을 수 있다.
장점
- 개별 사용자에게 학습 데이터 포함에 동의해 달라고 요청하는 것보다, 기업의 규정 준수 차원에서 법을 적용하는 편이 쉽다.
- 디지털이든 아니든 공공재에 자금을 대는 방식으로 돈을 커먼즈에 되돌려 보낼 수 있는 경로다. (캘리포니아주를 위해 만들어진 원래의 데이터 배당 제안은 베이비 본드나 교육 등에 자금을 대자고 했다.)
단점
- 사람들이 자기 데이터를 권리보다 주로 금전적 가치로 생각하게 되는 데에는 부작용이 있다 (Tsukayama, 2020). 무엇에 어떻게 세금을 매길지 정하기도 어려울 수 있다. 세금은 GFM을 학습시킨 주체가 내야 하는가, 아니면 GFM을 쓰는 제품을 배포하는 주체(직접 학습시키지 않았더라도)가 내야 하는가? 매출이 특히 큰 기업에만 매겨야 하는가? 모델에 쓰인 고유 데이터 포인트의 수를 기준으로 매겨야 하는가, 그렇다면 그 수는 어떻게 세는가? 유인을 왜곡할 수 있는 여러 가능성을 따져 봐야 한다. 세금은 특정 관할권이 매겨야 하지만, 이 문제는 다른 관할권에서도 생길 수 있고, 관할권을 넘나드는 수준에서만 제대로 풀릴 수도 있다. 최근 메릴랜드 디지털 광고세 사례에서 보듯, 주나 지방 차원에서 세금을 도입하는 데는 법적 문제가 따를 수 있다7.
4.2 자동화된 부문을 교육이나 급여로 직접 지원하기
장점
- 주된 관심사가 노동 자동화라면, 단기 증상에 곧바로 대응할 수 있는 손쉬운 개입일 수 있다.
단점
- 알맞은 사람을 알맞은 방식으로 교육하면서도 미래 변화에 견딜 수 있는 서비스를 제공하기 어렵다.
- 더 폭넓은 경제 개혁과 복지 정책이 더 효과적일 수 있다.
4.3 저작권과 라이선스 접근
공정 이용 원칙을 더 엄격하게 적용하거나 다른 방식으로 저작권법에 기대자는 요구가 나왔다. 그러면 기업은 개인이나 셔터스톡(Shutterstock) 같은 회사로부터 이미지, 텍스트, 코드 조각의 라이선스를 받아야 할 수 있다. 하지만 저작권만으로 우려를 해소할 만한 데이터 규제 체계가 되기는 어려워 보인다. 새로운 규제 틀이 필요할 가능성이 높다.
장점
- 기존의 틀과 도구를 활용한다.
단점
- AI 학습은 대개 원자료와 충분히 다를 만큼 변형적이므로, 대부분 공정 이용에 해당할 가능성이 높다. 크리에이티브 커먼즈의 대표를 비롯한 일부는 얼굴 인식 모델 학습조차 공정 이용이라고 말했다 (Merkley, 2019). 하지만 표현은 인식과 같지 않다. 특히 자기 표현이 복제되는 예술가의 경우(예를 들어 이미지 모델에 어떤 예술가의 스타일로 이미지를 만들라고 지시하는 경우) 공정 이용 주장이 성립하지 않을 수 있다 (Lemley & Casey, 2021)).
- 강압적인 저작권 접근은 공정 이용 원칙을 지나치게 좁혀 좋은 응용이 많이 나오지 못하게 막을 수 있다.
- 독점 데이터를 가진 쪽의 이점을 키울 수 있다. 예를 들어 저작권 라이선스가 제각각인 대규모 인터넷 수집 데이터셋으로 학습하는 소규모 기업보다 유리해진다. 민간 플랫폼이 데이터를 더 쌓아 두게 될 수도 있다.
- 대규모 권리 보유 조직이 표준 약관을 바꿔, 계약하는 모든 것에 대한 학습 권리를 확보하려 할 수 있다.
4.4 개인 데이터 권리와 소유권 접근 추진
저작권과 라이선스 접근과 비슷하지만 더 급진적인 접근이다. 기업이 개인에게 데이터 권리의 대가를 지불하자는 주장이다.
장점
- 개인에게서 얻은 가치와 사용자에게 돌려주는 가치가 분명하게 연결된다.
단점
- 공개 웹 데이터에는 실제로 적용하기 어렵다. 이런 데이터는 상당수가 소유자라고 할 수 있는 특정 개인이나 집단까지 추적하기 어렵다.
- 공개 웹 데이터에 적용하면 AI 산업이 크게 바뀔 것이다. 쓰이는 데이터의 종류가 바뀌고, 따라서 개발되는 AI 능력도 바뀔 수 있다. 지금은 규제 부담이 없어 웹에서 수집한 데이터가 개발자에게 편리하지만, 부담이 커지면 인기가 떨어질 것이다.
- 알고리즘에 데이터를 더 많이 제공하는 사람에게 불균형하게 이익이 돌아간다. 그러면 개인이 "온라인에 더 오래 머무는" 식의 바람직하지 않은 유인이 생길 수 있다.
- 문제가 생겨난 곳인 집단 또는 커먼즈 차원에서 문제에 접근하지 않는다. 그래서 정보 커먼즈 전반의 품질에 미치는 영향을 고려하지 못한다.
- 위의 저작권과 라이선스 접근처럼, 대규모 권리 보유 조직이 표준 약관을 바꿔 계약하는 모든 것에 대한 학습 권리를 확보하려 할 수 있다. 그러면 대체로 효과가 없어진다.
5. 검토할 제안: 모니터링과 표준을 위한 컨소시엄, 커먼즈에 대한 데이터 기여, 입력 데이터 기반 거버넌스
아래 제안들(각 열)은 2절에서 다룬 위험을 염두에 두고 마련했다.
| 모니터링, 감사, 표준 설정을 위한 컨소시엄 | GFM 기업이 고품질 데이터를 커먼즈에 기여하도록 하는 규범이나 규칙 | 모델 학습에 들어가는 입력 데이터에 기반한 거버넌스 구조 | |
| 대응하는 위험 | 정보 영역 오염, 민주주의 잠식. 콘텐츠 획일화, 노동에 미치는 영향, 경제적 집중 등 다른 위험의 실상도 더 깊이 파악할 수 있게 한다 |
정보 영역 오염. 콘텐츠 획일화, 노동에 미치는 영향을 더 깊이 파악할 수 있게 한다 |
민주주의 잠식, 경제적 집중 심화, 노동 자동화, 기여 유인의 어긋남 |
| 행위자 | GFM을 만들고 활용하는 기업(자발적인 경우, 가장 가능성 높음), 정부(규제하는 경우, 가능성 낮음) | GFM을 만들고 활용하는 기업, 연구자 | GFM을 만들고 활용하는 기업, 관련 데이터와 전문성을 가진 개인, 집단, 조직, 나중에는 정부도 가능(데이터 이전과 보호, 수탁 책임에 관해 필요한 규제를 위해) |
| 수혜자 | GFM 기업(표준 설정은 모두에게 이득이 될 가능성이 높음), 연구자(데이터 접근성 향상), GFM/인터넷 사용자 | 연구자(데이터 접근성 향상), GFM/인터넷 사용자 | 관련 데이터와 전문성을 가진 개인, 집단, 조직, GFM 기업(수집하기 어려운 가치 있는 분야의 더 높은 품질 데이터에 접근) |
5.1 제안 I: 모니터링, 감사, 표준 설정을 위한 컨소시엄
커먼즈 문제를 개별 이해관계자의 행동에 맡기는 해법은 역사적으로 잘 통하지 않았다. 반면 이해관계자들이 모여 집단적 기관을 만들고, 커먼즈 유지에 필요한 공동의 재화를 제공하거나 자금을 대는 컨소시엄 방식의 해법은 여러 분야에서 꾸준히 도움이 되었다.
표준 설정 기구, 동료 검토 절차, 업계 협회 등이 그런 예다. 또 GFM은 초기 기술이므로, 전략을 세우고 새 정책에 합의하는 GFM 거버넌스 컨소시엄을 만들면 앞으로의 머신러닝 발전에서 생길 위험과 기회에 대응하는 모범 관행을 세우는 데 도움이 될 것이다(인터넷 초기에 설립된 W3C와 비슷하다). 미디어 콘텐츠의 출처와 진위 인증 표준에 집중하는 콘텐츠 출처 및 진위 연합(Coalition for Content Provenance and Authenticity, C2PA)과 비슷한 형태가 될 수 있다.
컨소시엄은 생태계를 생산적으로 연결할 수 있다. 예를 들어 오픈소스 GFM을 학습시켜 공개하는 기업과 GFM을 특정 용도로 배포하는 기업을 이어 줄 수 있다. GFM "파이프라인"의 각 단계에 맞춘 컨소시엄도 가능하다. 예를 들어 GFM을 학습시키는 기업의 문제보다 GFM 응용을 배포하는 기업에 고유한 문제에 집중하는 컨소시엄이다.
다만 제대로 작동하는 해법이 되려면 기존 강자가 표준을 장악하는 일도 막아야 한다. 무엇보다 표준이나 정책을 정하는 책임자가 모두 GFM 기업 출신이어서는 안 되고, 다양한 이해관계를 폭넓게 대표해야 한다.
이 제안에는 두 측면이 있다.
5.1.1 재원 마련
자발적 회원 가입과 회비. 민간 조직이 인터넷 표준 설정에 기여하듯, GFM 기업도 유용한 결과와 좋은 대외 이미지를 위해 집단적 거버넌스 구조에 시간과 돈을 낼 수 있다. 언어 데이터 컨소시엄(Linguistic Data Consortium)과 AI 파트너십(Partnership on AI) 같은 조직이 이 모델을 따른다.
규제와 과세. 위의 방식이 통하지 않는다면, 이런 기구의 재원으로 공적 자금, 보조금, 또는 데이터 배당 기반 모델까지 검토할 수 있다. 영국의 지능형 의료영상 국가 컨소시엄(National Consortium of Intelligent Medical Imaging) 같은 조직이 공적 재원 모델을 따른다.
5.1.2 조직의 임무
모니터링. 추적하지 않는 것은 알 수 없다. GFM의 위험과 기회를 이해하려면 모니터링과 분석이 필요하다. 예를 들어 GFM이 허위정보 확산을 일으키는지 감시하는 데이터 과학 파이프라인을 마련하는 것이다. 연구자들은 소셜 미디어가 사회에 미치는 영향에 관한 고품질 데이터를 모으는 더 나은 모니터링 구조가 없으면, 소셜 미디어와 관련된 체계적 피해를 이해할 수 없다고 지적해 왔다. 생성형 AI의 상황은 더 나쁘다고 할 수 있다. 매우 새로운 기술이고, 정보 생태계에 미치는 영향에 관한 연구가 아예 없기 때문이다 (Lubin & Krendl Gilbert, 2022). 우리는 이런 연구를 찾아내고, 필요하면 후원하는 노력을 제안한다.
감사. 컨소시엄 기반 조직은 제3자 AI 감사를 맡기에 자연스러운 선택이다. 시민사회 단체, 연구자, 심지어 민간 주체도 제3자 감사를 요구해 왔다. 내부 감사나 자발적 감사에 관한 규범과 표준을 정하는 통로도 될 수 있다.
- 이런 감사는 내부 감사를 위한 SMACTR (Raji et al., 2020) 같은 기존 감사 틀을 적용하고 고쳐 쓸 수 있다. 감사 추적 기록을 만들고(구체적인 설계 선택과 데이터 선택, 테스트를 문서화하는 것 포함), 조직의 절차와 책임 구조를 문서화할 수 있다.
- 감사는 차별, 왜곡, 착취, 그리고 (분류 알고리즘보다 생성 알고리즘에는 덜 해당하겠지만) 오판 같은 문제 행동을 살필 수 있다. 또 탄탄하고 투명한 지표 체계를 만들고 행동에 대한 설득력 있는 기준선을 세울 수 있다(Bandy (2021)가 지적했듯이).
- 모델의 학습/미세조정과 배포를 서로 다른 주체가 할 수 있으므로, 감사는 모델 수준에서도, 응용 수준에서도 이루어질 수 있다(서로 다른 조직이 관여할 수 있다).
감사는 컨소시엄과 별개의 독립된 제안이 될 수도 있다. 정부, 영리와 비영리 감사 기관, 또는 국제기구가 감사를 맡을 수 있기 때문이다. 하지만 AI 감사 전반의 핵심 한계는 이를 수행할 산업 생태계가 없다는 점이다. 그러니 감사를 더 일반적인 컨소시엄의 책임 아래 묶어, 감사에 필요한 거처와 권한을 마련하는 것이 합리적일 수 있다.
감사와 투명성을 위한 표준. AI 전반에 대한 알고리즘 감사(절차와 지표 모두), 데이터 카드, 모델 카드에 관한 제안이 힘을 얻고 있다. 하지만 공개와 활용 방식은 표준화되어 있지 않고, 널리 쓰이는 모델을 학습시킨 데이터셋은 여전히 잘 알려져 있지 않다. 이를 이해하지 못하면 커먼즈에 미치는 영향도, 커먼즈에 대한 기여도 제대로 집계할 수 없다. AI 전반이나 GFM에 특화된 표준 설정 기구는 정보 공개에 알맞은 경로와 형식을 정하고, 업계 전반의 투명성과 책무성을 가능하게 할 수 있다.
공동 도구 개발. 디지털 커먼즈 오염 문제에 맞서려면 고품질 데이터를 걸러내는 도구나 AI가 만든 데이터를 탐지하는 도구가 필요할 것이다. 이런 도구는 자원이 가장 많은 기업이 개발할 가능성이 높아서, 접근이 공평할지는 분명하지 않다. 이런 도구를 더 공평하고 폭넓게 개발하고 이용하려면, C2PA의 접근 방식처럼 컨소시엄 기반으로 개발하는 것이 도움이 될 수 있다.
5.2 제안 II: GFM 기업이 고품질 데이터를 커먼즈에 기여하도록 하는 규범이나 규칙
GFM 기업은 규범이나 규칙에 따라 다른 주체도 쓸 수 있는 표준 데이터셋을 만들 수 있다. 모델 학습에 쓴 데이터셋일 수도 있고, 모델이 어떻게 배포되고 다른 주체가 어떻게 사용하는지에 관한 데이터셋일 수도 있다. GFM을 만드는 많은 기업이 데이터셋이나 데이터셋 정제 방법을 공개하지 않는다. 그래서 그렇게 나온 모델의 특성을 이해하거나 다른 이들이 작업을 재현하기 어렵다. 전반적으로 GFM과 그 배포 방식에 관한 정보 공개가 크게 부족하다.
기업이 사용할 모델을 공개할 때마다, NIST 같은 기관을 통해 배포 관련 데이터를 프라이버시를 보호하면서도 접근 가능한 저장소에 제출하도록 장려할 수 있다. 그러면 연구자들이 여러 배포 사례의 데이터를 시간에 따라 살펴보고, 예를 들어 GFM 배포가 노동에 미치는 영향을 파악할 수 있다. 모델 개선에 쓰는 고품질 데이터셋을 제출하도록 장려할 수도 있다. 예를 들어 유해한 GFM 사용 사례에 고품질 레이블을 단 데이터셋이 있으면, 다른 기업도 안전한 모델 배포 기준을 더 쉽게 지킬 수 있다. 기업은 정해진 과학적 데이터 수집 절차를 따르고, 데이터를 어떻게 표본 추출하고 처리하는지 투명하게 밝혀야 한다. 수집된 데이터의 타당성을 확인하려면 외부 검증도 필요하다.
전체적으로 이는 "해자"를 줄이고 경쟁을 늘린다. 투명성을 높이고, 배포된 모델이 어떤 데이터로 학습되었는지 연구자가 이해할 수 있게 한다. 더 안전한 배포를 보장하고, 모델이 노동과 경제에 미치는 영향을 추적하는 데 쓸모 있는 메타데이터도 만들어 낸다.
5.3 제안 III: 모델 학습에 들어가는 입력 데이터에 기반한 거버넌스 구조
고품질 데이터는 지금도 앞으로도 AI 학습의 핵심 병목이다. 그래서 데이터 거버넌스는 생성 모델을 다스리는 핵심 지렛대다. 성능 좋은 GFM을 학습시키려면 데이터 정제와 처리가 매우 중요하다. 고품질 데이터를 확보하는 또 다른 방법은 인간 피드백 기반 강화학습처럼 모델 개선을 위한 인간 피드백 데이터를 적극적으로 만드는 데 집중하는 것이다 (Stiennon et al., 2022; Christiano et al., 2023). 우리는 이를 지분이나 거버넌스 권한을 대가로 하는 방식으로 할 수 있다고 제안한다.
여러 모델이 가능하다.
- 사용자가 모델 개선을 위해 인간 피드백을 제공하고 그 대가로 지분을 받는다. (샘 올트먼(Sam Altman)은 발화에 피드백을 주어 ChatGPT를 개선하는 사람들에게 "크레딧"을 주는 데 관심을 보였다. 여기서도, 다른 맥락에서도 다른 형태의 피드백이나 지분을 검토할 수 있다. 예를 들어 특정 발화에 대한 피드백을 넘어 콘텐츠 필터에 직접 피드백을 주거나, 모델 사용 크레딧을 넘어 모델에 대한 일종의 "주식"을 주는 방식이다.)
- 특정 전문성을 가진 개인이나 집단이 미세조정 데이터를 기여할 수 있다. 이렇게 데이터 출처가 더 분명해지면 사실과 인용을 추적하기 쉬워지고, 모델의 환각에 대응할 수 있다.
- 가치 있는 응용(예: 금융 사기 탐지, 의료 진단)에 꼭 필요한 매우 민감한 비공개 데이터를 가진 조직은 수탁형 데이터 중개자 역할을 할 수 있다. 프라이버시를 고려한 학습 방식으로 그 데이터를 모델에 입력하는 것이다. 이익은 조직에 분배되거나(수탁 역량을 뒷받침하기 위해) 공동체로 되돌아갈 수 있다.
세부 내용은 더 연구가 필요하며, 의견을 환영한다.
명확히 정의된 구성원 집단의 특정 데이터가 필요한 GFM 응용(예: 특정 예술가들의 작품으로 이미지 생성 모델을 학습시키거나 미세조정하는 경우)이라면, 데이터 신탁 역할을 하는 비영리 조직을 세워 데이터 소유자가 모델을 학습시키는 기업과 소통하도록 도울 수 있다.
GFM을 쓸 구체적인 용도가 있는 집단이 직접 모여 GFM을 함께 만들고 다스릴 수도 있다. 그러면 데이터와 모델을 모두 다스리게 된다. 예를 들어 특정 예술가 집단이 모여 이미지 모델을 함께 학습시키고, 스스로 수익화할 수 있는 그 모델의 거버넌스를 함께 정할 수 있다.
위와 같은 구조를 시도한 초기 개별 사례 연구는 더 넓은 대중을 위해 실현 가능한 데이터 및 모델 거버넌스 구조에 관한 정책 수립에 훌륭한 자료가 될 수 있다.
감사의 말
이 논문에 매우 유익한 의견과 비판을 준 (알파벳순으로) 마일스 브런디지(Miles Brundage), 잭 클라크(Jack Clark), 코리 닥터로(Cory Doctorow), 야코프 페이긴(Yakov Feygin), 벤 가핑클(Ben Garfinkel), 야신 제르니트(Yacine Jernite), 카탸 클리노바(Katya Klinova), 패멀라 미시킨(Pamela Mishkin), 아비브 오바디아(Aviv Ovadya), 샌디 펜틀랜드(Sandy Pentland), 아이린 솔라이만(Irene Solaiman), 닉 빈센트(Nick Vincent), 글렌 웨일(Glen Weyl)에게 깊이 감사한다. 또 진행 중 연구 발표 세션에서 피드백을 준 AI 거버넌스 센터(Center for the Governance of AI)의 여러 구성원에게도 감사한다.
3. 스테이블 디퓨전의 학습 데이터인 LAION-5B에는 텍스트-이미지 쌍이 50억 개 들어 있다 (Schuhmann et al., 2022). The Pile에는 100GB가 넘는 책이 들어 있다 (Gao et al., 2020).
4. 고퍼(Gopher) 논문은 매개변수 2,800억 개의 이 생성형 언어 모델이 성별과 직업에 관한 편향, 여러 사회 집단에 대한 감정 편향을 보인다는 것을 보여 준다 (Rae et al., 2022).
5. 반복 문제는 Fu et al. (2021)에서 다루며, 그 밖의 품질 문제는 Ettinger (2020); Jones & Steinhardt (2022)에서 분석한다.
6. 코드 완성 기업 탭나인(Tabnine)의 한 임원이 인터뷰에서 이 우려를 언급했다 (VK, 2022).
7. 이 법은 두 가지 문제에 부딪혔다. 1) 주/지방 정부가 주간 통상에 간섭하는 문제(헌법상 연방 의회의 관할), 2) IFTFA에 따른 주/지방 법률의 선점 문제. (Service, 2021)
참고문헌
kno (2007) Understanding Knowledge as a Commons: From Theory to Practice . The MIT Press, 2007. ISBN 9780262516037. URL http://www.jstor.org/stable/j.ctt5hhdf6.
Adelani et al. (2019) David Ifeoluwa Adelani, Haotian Mai, Fuming Fang, Huy H. Nguyen, Junichi Yamagishi, and Isao Echizen. Generating sentiment-preserving fake online reviews using neural language models and their human- and machine-based detection, 2019.
(3) Ahrefs. Auto-generated content. URL https://ahrefs.com/seo/glossary/auto-generated-content. Accessed: 2023-01-17.
Anderson & Rainie (2020) Janna Anderson and Lee Rainie. Concerns about democracy in the digital age. Pew Research Center Internet & Technology , 2020.
Baio (2022) Andy Baio. Invasive diffusion: How one unwilling illustrator found herself turned into an ai model, November 2022. Accessed: 2023-01-17.
Bandy (2021) Jack Bandy. Problematic machine behavior: A systematic literature review of algorithm audits, 2021.
Barrett et al. (2021) PM Barrett, J Hendrix, and JG Sims. Fueling the fire: How social media intensifies us political polarization–and what can be done about it. New York University Stern Center for Business and Human Rights , 2021.
Benzine (2022) Vittoria Benzine. ’ai should exclude living artists from its database,’ says one painter whose works were used to fuel image generators, 2022. Accessed: 2023-01-17.
Bianchi et al. (2022) Federico Bianchi, Pratyusha Kalluri, Esin Durmus, Faisal Ladhak, Myra Cheng, Debora Nozza, Tatsunori Hashimoto, Dan Jurafsky, James Zou, and Aylin Caliskan. Easily accessible text-to-image generation amplifies demographic stereotypes at large scale, 2022.
Blind et al. (2021) Knut Blind, Mirko Böhm, Paula Grzegorzewska, Andrew Katz, Sachiko Muto, Sivan Pätsch, and Torben Schubert. The impact of open source software and hardware on technological independence, competitiveness and innovation in the eu economy. European Commission, Ed , 2021.
Bommasani et al. (2022) Rishi Bommasani, Drew A. Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S. Bernstein, Jeannette Bohg, Antoine Bosselut, Emma Brunskill, Erik Brynjolfsson, Shyamal Buch, Dallas Card, Rodrigo Castellon, Niladri Chatterji, Annie Chen, Kathleen Creel, Jared Quincy Davis, Dora Demszky, Chris Donahue, Moussa Doumbouya, Esin Durmus, Stefano Ermon, John Etchemendy, Kawin Ethayarajh, Li Fei-Fei, Chelsea Finn, Trevor Gale, Lauren Gillespie, Karan Goel, Noah Goodman, Shelby Grossman, Neel Guha, Tatsunori Hashimoto, Peter Henderson, John Hewitt, Daniel E. Ho, Jenny Hong, Kyle Hsu, Jing Huang, Thomas Icard, Saahil Jain, Dan Jurafsky, Pratyusha Kalluri, Siddharth Karamcheti, Geoff Keeling, Fereshte Khani, Omar Khattab, Pang Wei Koh, Mark Krass, Ranjay Krishna, Rohith Kuditipudi, Ananya Kumar, Faisal Ladhak, Mina Lee, Tony Lee, Jure Leskovec, Isabelle Levent, Xiang Lisa Li, Xuechen Li, Tengyu Ma, Ali Malik, Christopher D. Manning, Suvir Mirchandani, Eric Mitchell, Zanele Munyikwa, Suraj Nair, Avanika Narayan, Deepak Narayanan, Ben Newman, Allen Nie, Juan Carlos Niebles, Hamed Nilforoshan, Julian Nyarko, Giray Ogut, Laurel Orr, Isabel Papadimitriou, Joon Sung Park, Chris Piech, Eva Portelance, Christopher Potts, Aditi Raghunathan, Rob Reich, Hongyu Ren, Frieda Rong, Yusuf Roohani, Camilo Ruiz, Jack Ryan, Christopher Ré, Dorsa Sadigh, Shiori Sagawa, Keshav Santhanam, Andy Shih, Krishnan Srinivasan, Alex Tamkin, Rohan Taori, Armin W. Thomas, Florian Tramèr, Rose E. Wang, William Wang, Bohan Wu, Jiajun Wu, Yuhuai Wu, Sang Michael Xie, Michihiro Yasunaga, Jiaxuan You, Matei Zaharia, Michael Zhang, Tianyi Zhang, Xikun Zhang, Yuhui Zhang, Lucia Zheng, Kaitlyn Zhou, and Percy Liang. On the opportunities and risks of foundation models, 2022.
Buchanan et al. (2021) Ben Buchanan, Andrew Lohn, and Micah Musser. Truth, lies, and automation: How language models could change disinformation . Center for Security and Emerging Technology, 2021.
Christiano et al. (2023) Paul Christiano, Jan Leike, Tom B. Brown, Miljan Martic, Shane Legg, and Dario Amodei. Deep reinforcement learning from human preferences, 2023.
Consilience Project (2021) The Consilience Project. Democracy and the epistemic commons, February 2021. URL https://consilienceproject.org/democracy-and-the-epistemic-commons/. Accessed: 2023-01-17.
Del Vicario et al. (2016) Michela Del Vicario, Alessandro Bessi, Fabiana Zollo, Fabio Petroni, Antonio Scala, Guido Caldarelli, H Eugene Stanley, and Walter Quattrociocchi. The spreading of misinformation online. Proceedings of the national academy of Sciences , 113(3):554–559, 2016.
Dulong de Rosnay & Stalder (2020) Melanie Dulong de Rosnay and Felix Stalder. Digital commons. Internet Policy Review , 9(4), 2020. doi: 10.14763/2020.4.1530 .
Ettinger (2020) Allyson Ettinger. What bert is not: Lessons from a new suite of psycholinguistic diagnostics for language models. Transactions of the Association for Computational Linguistics , 8:34–48, 2020.
Feygin et al. (2021) Yakov Feygin, Hanlin Li, Chirag Lala, Brent Hecht, Nicholas Vincent, Luisa Scarcella, and Matthew Prewitt. A data dividend that works: steps toward building an equitable data economy. 2021.
Field (2023) Hayden Field. A tracker of generative ai-related lawsuits, January 2023. URL https://www.emergingtechbrew.com/stories/2023/01/24/a-tracker-of-legal-challenges-to-generative-ai. Accessed: 2023-01-17.
Fu et al. (2021) Zihao Fu, Wai Lam, Anthony Man-Cho So, and Bei Shi. A theoretical analysis of the repetition problem in text generation. In Proceedings of the AAAI Conference on Artificial Intelligence , volume 35, pp. 12848–12856, 2021.
G (2022) Domantas G. The most visited website in every country, 2022. URL https://www.hostinger.co.uk/tutorials/the-most-visited-website-in-every-country. Accessed: 2023-01-17.
Gaffney & Matias (2018) Devin Gaffney and J Nathan Matias. Caveat emptor, computational social science: Large-scale missing data in a widely-published reddit corpus. PloS one , 13(7):e0200162, 2018.
Gao et al. (2020) Leo Gao, Stella Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, et al. The pile: An 800gb dataset of diverse text for language modeling. arXiv preprint arXiv:2101.00027 , 2020.
Ghosh (2007) Rishab Aiyer Ghosh. Economic impact of open source software on innovation and the competitiveness of the information and communication technologies (ict) sector in the eu. 2007.
Goldstein et al. (2023) Josh A. Goldstein, Girish Sastry, Micah Musser, Renee DiResta, Matthew Gentzel, and Katerina Sedova. Generative language models and automated influence operations: Emerging threats and potential mitigations, 2023.
(26) Google. Spammy automatically generated content. URL https://developers.google.com/search/docs/essentials/spam-policies#spammy-automatically-generated-content. Accessed: 2023-01-17.
Heaven (2022) Will Douglas Heaven. Why meta’s latest large language model survived only three days online, 2022. URL https://www.technologyreview.com/2022/11/18/1063487/meta-large-language-model-ai-only-survived-three-days-gpt-3-science/.
Hendrix (2022) Justin Hendrix. Researchers find stable diffusion amplifies stereotypes. https://techpolicy.press/researchers-find-stable-diffusion-amplifies-stereotypes/, 2022. Accessed: 2023-01-17.
Jones & Steinhardt (2022) Erik Jones and Jacob Steinhardt. Capturing failures of large language models via human cognitive biases. arXiv preprint arXiv:2202.12299 , 2022.
Jones (2022) Nicola Jones. Carbon dating hampered by rising fossil-fuel emissions. Nature , 2022.
Kreutzer et al. (2022) Julia Kreutzer, Isaac Caswell, Lisa Wang, Ahsan Wahab, Daan van Esch, Nasanbayar Ulzii-Orshikh, Allahsera Tapo, Nishant Subramani, Artem Sokolov, Claytone Sikasote, Monang Setyawan, Supheakmungkol Sarin, Sokhar Samb, Benoî t Sagot, Clara Rivera, Annette Rios, Isabel Papadimitriou, Salomey Osei, Pedro Ortiz Suarez, Iroro Orife, Kelechi Ogueji, Andre Niyongabo Rubungo, Toan Q. Nguyen, Mathias Müller, André Müller, Shamsuddeen Hassan Muhammad, Nanda Muhammad, Ayanda Mnyakeni, Jamshidbek Mirzakhalov, Tapiwanashe Matangira, Colin Leong, Nze Lawson, Sneha Kudugunta, Yacine Jernite, Mathias Jenny, Orhan Firat, Bonaventure F. P. Dossou, Sakhile Dlamini, Nisansa de Silva, Sakine Çabuk Ballı, Stella Biderman, Alessia Battisti, Ahmed Baruwa, Ankur Bapna, Pallavi Baljekar, Israel Abebe Azime, Ayodele Awokoya, Duygu Ataman, Orevaoghene Ahia, Oghenefego Ahia, Sweta Agrawal, and Mofetoluwa Adeyemi. Quality at a glance: An audit of web-crawled multilingual datasets. Transactions of the Association for Computational Linguistics , 10:50–72, 2022. doi: 10.1162/tacl_a_00447 . URL https://doi.org/10.1162%2Ftacl_a_00447.
(32) Beta Analytic Testing Laboratory. Radiocarbon dating and bomb carbon. URL https://www.radiocarbon.com/carbon-dating-bomb-carbon.htm. Accessed: 2023-01-17.
LaFrance (2016) Adrienne LaFrance. The internet’s favorite website, 2016. Accessed: 2023-01-17.
Lemley & Casey (2021) Mark A Lemley and Bryan Casey. Fair learning. Texas Law Review , 2021.
Lokhov (2021) Ivan Lokhov. Why are there so many wikipedia articles in swedish and cebuano?, 2021. URL https://blog.datawrapper.de/wikipedia-articles-written-by-a-bot/. Accessed: 2023-01-17.
Lubin & Krendl Gilbert (2022) Nathaniel Lubin and Thomas Krendl Gilbert. Social media is polluting society. moderation alone won’t fix the problem, 2022. URL https://www.technologyreview.com/2022/08/09/1057171/social-media-polluting-society-moderation-alone-wont-fix-the-problem/. Accessed: 2023-01-17.
McGee (2023) Robert W McGee. Is chat gpt biased against conservatives? an empirical study. An Empirical Study (February 15, 2023) , 2023.
McMahon et al. (2017) Connor McMahon, Isaac Johnson, and Brent Hecht. The substantial interdependence of wikipedia and google: A case study on the relationship between peer production communities and information technologies. Proceedings of the International AAAI Conference on Web and Social Media , 11(1):142–151, 2017. doi: 10.1609/icwsm.v11i1.14883 .
Merkley (2019) Ryan Merkley. Use and fair use: Statement on shared images in facial recognition ai. Creative Commons Blog , 2019.
Ostrom (1990) Elinor Ostrom. Governing the commons: The evolution of institutions for collective action . Cambridge university press, 1990.
Rae et al. (2022) Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, Eliza Rutherford, Tom Hennigan, Jacob Menick, Albin Cassirer, Richard Powell, George van den Driessche, Lisa Anne Hendricks, Maribeth Rauh, Po-Sen Huang, Amelia Glaese, Johannes Welbl, Sumanth Dathathri, Saffron Huang, Jonathan Uesato, John Mellor, Irina Higgins, Antonia Creswell, Nat McAleese, Amy Wu, Erich Elsen, Siddhant Jayakumar, Elena Buchatskaya, David Budden, Esme Sutherland, Karen Simonyan, Michela Paganini, Laurent Sifre, Lena Martens, Xiang Lorraine Li, Adhiguna Kuncoro, Aida Nematzadeh, Elena Gribovskaya, Domenic Donato, Angeliki Lazaridou, Arthur Mensch, Jean-Baptiste Lespiau, Maria Tsimpoukelli, Nikolai Grigorev, Doug Fritz, Thibault Sottiaux, Mantas Pajarskas, Toby Pohlen, Zhitao Gong, Daniel Toyama, Cyprien de Masson d’Autume, Yujia Li, Tayfun Terzi, Vladimir Mikulik, Igor Babuschkin, Aidan Clark, Diego de Las Casas, Aurelia Guy, Chris Jones, James Bradbury, Matthew Johnson, Blake Hechtman, Laura Weidinger, Iason Gabriel, William Isaac, Ed Lockhart, Simon Osindero, Laura Rimell, Chris Dyer, Oriol Vinyals, Kareem Ayoub, Jeff Stanway, Lorrayne Bennett, Demis Hassabis, Koray Kavukcuoglu, and Geoffrey Irving. Scaling language models: Methods, analysis & insights from training gopher, 2022.
Raji et al. (2020) Inioluwa Deborah Raji, Andrew Smart, Rebecca N. White, Margaret Mitchell, Timnit Gebru, Ben Hutchinson, Jamila Smith-Loud, Daniel Theron, and Parker Barnes. Closing the ai accountability gap: Defining an end-to-end framework for internal algorithmic auditing, 2020.
Reed et al. (2022) Scott Reed, Konrad Zolna, Emilio Parisotto, Sergio Gómez Colmenarejo, Alexander Novikov, Gabriel Barth-maron, Mai Giménez, Yury Sulsky, Jackie Kay, Jost Tobias Springenberg, Tom Eccles, Jake Bruce, Ali Razavi, Ashley Edwards, Nicolas Heess, Yutian Chen, Raia Hadsell, Oriol Vinyals, Mahyar Bordbar, and Nando de Freitas. A generalist agent. Transactions on Machine Learning Research , 2022. ISSN 2835-8856. URL https://openreview.net/forum?id=1ikK0kHjvj. Featured Certification.
Rivero (2020) Nicolas Rivero. How a scots wikipedia scandal highlighted ai’s data problem, 2020. URL https://qz.com/1896963/the-scots-wikipedia-page-scandal-highlights-ais-data-problem. Accessed: 2023-01-17.
Schuhmann et al. (2022) Christoph Schuhmann, Romain Beaumont, Richard Vencu, Cade Gordon, Ross Wightman, Mehdi Cherti, Theo Coombes, Aarush Katta, Clayton Mullis, Mitchell Wortsman, et al. Laion-5b: An open large-scale dataset for training next generation image-text models. arXiv preprint arXiv:2210.08402 , 2022.
Service (2021) Congressional Research Service. The internet tax freedom act and federal preemption. CRS Reports , 2021. URL https://sgp.fas.org/crs/misc/IF11947.pdf.
Shwartz & Choi (2020) Vered Shwartz and Yejin Choi. Do neural language models overcome reporting bias? In Proceedings of the 28th International Conference on Computational Linguistics , pp. 6863–6870, 2020.
Siddarth & Weyl (2021) Divya Siddarth and Glen Weyl. The case for the digital commons, Jun 2021. URL https://www.weforum.org/agenda/2021/06/the-case-for-the-digital-commons/. Accessed: 2023-01-17.
Sobieszek & Price (2022) Adam Sobieszek and Tadeusz Price. Playing games with ais: The limits of gpt-3 and similar large language models. Minds and Machines , 32(2):341–364, 2022.
Stiennon et al. (2022) Nisan Stiennon, Long Ouyang, Jeff Wu, Daniel M. Ziegler, Ryan Lowe, Chelsea Voss, Alec Radford, Dario Amodei, and Paul Christiano. Learning to summarize from human feedback, 2022.
Teplitskiy et al. (2017) Misha Teplitskiy, Grace Lu, and Eamon Duede. Amplifying the impact of open access: Wikipedia and the diffusion of science. Journal of the Association for Information Science and Technology , 68(9):2116–2127, 2017.
Tsukayama (2020) Hayley Tsukayama. Why getting paid for your data is a bad deal. Electronic Frontier Foundation , 26, 2020.
Villalobos et al. (2022) Pablo Villalobos, Jaime Sevilla, Lennart Heim, Tamay Besiroglu, Marius Hobbhahn, and Anson Ho. Will we run out of ml data? evidence from projecting dataset size trends. https://epochai.org/blog/will-we-run-out-of-ml-data-evidence-from-projecting-dataset, 2022. Accessed: 2023-01-17.
VK (2022) Anirudh VK. Why is tabnine better than github copilot?, 2022. URL https://analyticsindiamag.com/why-is-tabnine-better-than-github-copilot/. Accessed: 2023-01-17.
Weiss (2019) Max Weiss. Deepfake bot submissions to federal public comment websites cannot be distinguished from human submissions. Technology Science , 2019121801, 2019.
Woodcock (2022) Claire Woodcock. tudents are using ai to write their papers, because of course they are, 2022. URL https://www.vice.com/en/article/m7g5yq/students-are-using-ai-to-write-their-papers-because-of-course-they-are. Accessed: 2023-01-17.
Wright et al. (2021) Nataliya Wright, Frank Nagle, and Shane M Greenstein. Open source software and global entrepreneurship. Harvard Business School Technology & Operations Mgt. Unit Working Paper , (20-139):20–139, 2021.
Wu (2012) Tim Wu. The master switch: The rise and fall of information empires . Atlantic Books, 2012.
Yu et al. (2022) Ning Yu, Vladislav Skripniuk, Dingfan Chen, Larry S. Davis, and Mario Fritz. Responsible disclosure of generative models using scalable fingerprinting. In International Conference on Learning Representations , 2022. URL https://openreview.net/forum?id=sOK-zS6WHB.
Zellers et al. (2020) Rowan Zellers, Ari Holtzman, Hannah Rashkin, Yonatan Bisk, Ali Farhadi, Franziska Roesner, and Yejin Choi. Defending against neural fake news, 2020.
Zhang et al. (2020) Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and Bill Dolan. DIALOGPT : Large-scale generative pre-training for conversational response generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations , pp. 270–278, Online, July 2020. Association for Computational Linguistics. doi: 10.18653/v1/2020.acl-demos.30 . URL https://aclanthology.org/2020.acl-demos.30.
'번역' 카테고리의 다른 글
| [2025] 지커 외 「공공 AI 백서」 번역 (1/3) 서문, 요약, 1~2장 (2026.11.14) (0) | 2026.11.14 |
|---|---|
| [2024] Anthropic·CIP 「집단적 헌법 AI: 대중의 의견으로 언어 모델 정렬하기」 번역 (2026.11.14) (0) | 2026.11.14 |
| [2025] 오드리 탕 「돌봄의 6팩(6-Pack of Care): 선언문」 번역 (2026.11.14) (0) | 2026.11.14 |
| [2024] 비탈릭 부테린 「아주 길게 요약한 플루럴리티 철학」 번역 (2026.11.14) (0) | 2026.11.14 |
| [2024] 육후이 『기계와 주권』 7장 인식론적 외교를 향하여 번역 (2026.11.14) (0) | 2026.11.14 |