조인호의 AI와 기후 ⑧ | 초거대 AI, 누구의 손에 둘 것인가
- hpiri2
- 4시간 전
- 8분 분량
초거대 AI의 개방과 독점, 실존적 위험과 일상적 피해, 규제 방식과 공공성을 둘러싼 다섯 가지 핵심 질문을 통해 AI 거버넌스의 쟁점을 탐구하고, 기술 통제 권한을 누구에게 둘 것인지에 대한 사회적 논의의 필요성을 제시한다.
2025-11-28 조인호
조인호 포스트에이아이 대표이사
서강대 정치외교학과를 졸업, Michigan State University에서 Telecommunication으로 석사학위를, University of Texas at Austin에서 Communication Studies-Organization Science로 박사학위를 받았다. 2018년부터 오피니언라이브의 공동대표로 자연어처리와 인공지능 학습데이터 구축 지원 사업을 주도했다. AX(AI Transformation)와 개인화 기반의 Virtual Persona를 지향하는 포스트에이아이를 설립했다. 현재 이화여자대학교 신산업융합대학과 한국외국어대학교 미디어커뮤니케이션 학부의 겸임교수이기도 하다.
[편집자 주] 기후위기 솔루션으로서 AI의 역할은 어떤 것들이 있을까? 이미 AI는 기상 예측, 기후재난 대응, 탄소 감축, 에너지 그리드 등 기후 관련 다양한 솔루션에 쓰이고 있다. 기후 문제는 지구 상의 모든 곳, 모든 사건에 닿아 있기에 그만큼 복잡하고 다층적이어서 해결이 쉽지 않다. 그런 점에서 AI와 시민의 협업을 개념화하고 알려 온 필자에게서 기후위기 솔루션으로서 AI를 활용한 국내외 다양한 사례들을 듣고자 한다. 인간과 AI의 차이점이 낳은 협력의 근거들을 찾아 '우일신又日新'해 보자.
지난 기사
개방·독점과 위험을 둘러싼 다섯 가지 질문
인공지능을 둘러싼 논쟁은 이제 “기술이 얼마나 대단한가”를 넘어서, “누가 이 기술을 통제할 것인가”라는 질문으로 넘어가고 있다. 최근 언론 보도를 보면 과도한 단순화이긴 하지만, ‘오픈소스 대 빅테크 독점’ 구도와 ‘AI 멸망론 대 과장된 공포’ 구도가 AI와 관련된 담론의 대척점을 이루고 있는 것 같다. 하지만 조금만 깊이 들여다보면, 이 두 흐름은 초거대 AI의 위험과 권력을 누구의 손에, 어떤 방식으로 나눌 것인가라는 질문을 공유하고 있다. 이 글에서는 이와 관련된 복합적 논쟁을 다섯 가지 질문으로 풀어본다.
첫 번째 질문: 열어야 안전한가, 닫아야 안전한가?
오픈소스 진영은 AI 모델의 공개가 투명성과 검증 가능성을 보장한다고 본다. 소수의 대기업이 아닌 시민사회, 연구자, 공공기관도 모델을 직접 시험하고 개선할 수 있어야 AI가 특정 기업이나 국가의 이해관계로부터 벗어나, 공공의 통제 아래 놓일 수 있다는 주장이다. 최근 몇 년 사이 등장한 오픈소스 또는 오픈웨이트 기반의 초거대 언어모델은 완벽하진 않지만, 최소한 독점 구조를 흔들고 기술 생태계에 다양성과 견제 장치를 마련할 수 있다는 점에서 이러한 주장의 주요 근거로 인용된다.
반면, 안보와 규제 관점에서 보면, 고성능 모델의 공개는 오히려 새로운 형태의 위협을 확산시킬 수 있다는 우려가 존재한다. 특히 사이버 공격 자동화, 생물학 무기 설계 지원, 대규모 여론 조작과 같은 악의적 활용 가능성은 기술의 개방성과 확산을 근본적으로 재검토해야 한다는 주장에 타당성을 부여한다. 미국과 영국은 이러한 우려를 바탕으로 국제적 논의의 장을 확대하고 있으며, 일부에서는 초거대 AI 모델을 핵무기와 유사한 ‘이중용도 기술(dual-use technology)’로 분류해야 한다는 다소 극단적 주장도 등장하고 있다.
물론 AI를 핵무기와 동일 선상에 놓는 비유는 과도한 공포를 조장하고, AI가 핵무기와 달리 누구나 쉽게 복제하고 접근할 수 있다는 근본적 차이 때문에 실질적인 거버넌스 논의를 위축시킨다는 점에서 신중할 필요가 있다. 그러나 AI가 다른 기술을 압도하는 접근성, 복제 가능성, 조합 가능성을 갖는다는 점에서, 일정 수준 이상의 모델에 대해 국제적 수준의 규제 체계를 마련해야 한다는 주장의 정당성까지 부정할 수는 없다.
이처럼 AI 모델 공개를 둘러싼 논쟁은 단순히 “열 것이냐, 말 것이냐”는 이분법으로 환원될 수는 없다. 진짜 질문은 “무엇을, 누구에게, 어떤 조건으로 열 것이냐”에 있다. 예를 들어, 모델의 가중치는 공개하되 위험 가능성이 높은 특정 기능은 비활성화하거나, 공공기관과 학술기관에 우선적 접근권을 부여하되 상업적 활용에는 제한을 두는 식의 조건부·차등적 개방이 고려될 수 있다. 이처럼 '위험 수준별 차등 규제'를 포함하는 다층적인 규제 설계 없이는, 기술의 개방성과 안전성 사이에서 실질적인 균형을 도모하기 어렵다.
무엇보다 중요한 것은, 이 논쟁이 단지 기술적 선택의 문제가 아니라는 점이다. AI 모델을 개방할 것인지 제한할 것인지의 문제는 곧 위험을 누가 정의하고, 통제 권한을 누구에게 부여할 것인가라는 정치적 판단과 직결된다. 따라서 기술을 ‘열지 말지’라는 선악의 문제로 접근하기보다, 상반된 주장들이 지닌 타당성을 존중하면서도, 현실적인 거버넌스 조건 속에서 상충하는 가치들 간의 균형을 어떻게 설계할 것인가에 대한 성찰이 필요하다. 단순한 이분법적 사고는 상호 신뢰 구축을 어렵게 만들고, 결국 어느 한쪽의 극단으로 기울어진 비효율적이고 취약한 규제를 낳을 수밖에 없다. AI 시대의 기술 거버넌스는 바로 이 균형을 정치적으로 성숙하게 다루는 능력 위에서 가능해질 것이다.
두 번째 질문: 실존적 위험인가, 일상적 피해인가?
초거대 AI를 둘러싼 논의 중 일부는 인류의 멸망 가능성, 이른바 ‘실존적 위험(X-risk)’에 집중하고 있다. 자율성을 갖고 스스로 목표를 설정하는 초지능(Superintelligence) 급의 AI가 금융 시스템, 주요 인프라, 무기 체계 등을 장악하여 인간의 통제를 벗어나는 시나리오(Loss of Control)가 대표적이다. 이러한 사고 실험은 단순한 공상적 상상이 아니라, 잠재적 위험을 선제적으로 탐지하고 대비해야 한다는 문제의식과 연결되며, 자연스럽게 AI 개발 속도를 조절하고 국제적 안전 규범을 마련해야 한다는 주장으로 이어진다. 즉, 장기적 관점에서 AI의 ‘통제 상실’ 위험을 제도적으로 차단하는 것이 무엇보다 중요하다는 주장이다.
그러나 다른 한편에서는 지금 이 순간 이미 작동하고 있는 알고리즘적 차별, 감시 강화, 조작적 콘텐츠 확산의 피해가 훨씬 더 즉각적이며 심각하다는 비판이 나온다. 채용·대출·보험 심사·사법 판단 등 사회 핵심 영역에서 활용되는 AI 시스템은 불완전한 데이터와 설계상의 편향을 그대로 반영하며 특정 집단을 구조적으로 불리하게 만드는 '알고리즘적 차별(Algorithmic Discrimination)'의 문제를 낳고 있다.
여기에 더해 플랫폼 기반의 맞춤형 추천 알고리즘은 여론을 왜곡하거나 특정 정치적 메시지를 과도하게 부각시키는 방식으로 이미 민주주의적 의사 형성 과정에 영향을 주고 있다. 이런 현실의 문제들은 단순한 기술적 오류가 아니라 사회적 약자에게 실질적 피해를 주는 구조적 문제로, 비판자들은 실존적 위험 담론이 이러한 구체적 피해를 오히려 은폐하고 대응을 지연시키는 효과를 낳는다고 우려한다.
이 두 관점은 서로 대립할 필요는 없지만, 단기적 위험(일상적 피해)을 위한 투명성 및 규제 강화와 장기적 위험(X-risk)을 위한 개발 속도 조절 및 심층 안전 연구는 정책적 우선순위와 자원 배분에서 상충하는 지점(트레이드오프)을 가질 수밖에 없다. 다만 정책과 자원은 유한하며, 안전을 둘러싼 모든 가치를 동시에 최대화할 수는 없다.
결국 사회는 단기적 피해를 최소화하기 위한 규제와 감독 체계를 강화하는 동시에, 장기적 위험을 대비하기 위한 안전 연구와 국제 협력에도 자원을 배분해야 한다. 어떤 위험을 우선할지, 어느 정도의 비용을 들여 대비할지, 그리고 그 판단 기준을 누가 설정할지는 단순한 기술적 선택이 아니라 정치적·윤리적 결단의 문제다.
따라서 ‘실존적 위험’ 대 ‘일상적 피해’라는 대립 구도는 사실 위험 자체의 성격이 아니라, 우리가 사회적 우선순위와 책임 분배를 어떻게 정립할 것인지에 대한 논쟁이다. AI가 가져올 미래의 위험은 예측 불가능하지만, 지금 우리가 어떤 위험을 중요하게 여기고 어떤 위험을 뒤로 미루느냐는 명백히 사회적 선택이며, 그 선택이 향후 AI 거버넌스의 방향을 규정하게 될 것이다.
세 번째 질문: 누가 위험을 정의할 것인가?
초거대 AI와 같은 고위험 기술을 규제하기 위한 방법으로 ‘허가제’가 자주 거론된다. 일정 수준 이상의 성능이나 연산 자원을 사용하는 모델을 개발하는 기업이나 기관은 정부 또는 규제기관에 사전 등록을 하고, 안전성 평가와 사고 대응 계획을 제출한 뒤 허가를 받아야 한다는 방식이다. 이 제도는 표면적으로는 강력한 기술에 대한 선제적 통제 수단으로 작동할 수 있으며, 고위험 AI의 무분별한 확산을 방지하려는 목적과 부합한다.
이러한 허가제는 의도와 달리 기술 접근성의 불균형을 심화시킬 가능성도 크다. 고비용의 인증 절차와 복잡한 법적 기준은 결국 거대 자본과 정치적 로비 능력을 갖춘 기업에게만 유리하게 작동할 수 있으며, 기술 혁신의 문턱을 높여 공공 연구소, 대학, 비영리 단체, 오픈소스 커뮤니티의 실험과 개발을 위축시킬 수 있다 즉, ‘안전을 위한 규제’가 결과적으로 높은 진입 장벽을 만들어 기술 주도권의 사적 집중을 강화하고 경쟁을 제한하는 장치로 기능하게 될 위험이 있는 것이다.
이에 대한 대안으로 제시되는 것은 ‘사후 책임 중심’의 접근이다. 이 방식은 기술의 개발과 활용 자체를 제약하기보다는, 피해가 발생했을 경우 명확하고 강력한 책임을 물을 수 있도록 법적 구조를 정비하자는 취지다. 이는 표현의 자유와 기술 혁신을 보장하면서도 사회적 책임을 확보할 수 있다는 점에서 매력적인 해법처럼 보인다.
하지만 현실은 그렇게 간단하지 않다. AI 시스템은 그 결과가 다단계의 연산 과정을 거쳐 나타나며, 알고리즘의 결정 과정은 설명 가능성(Explainability)이 낮은 블랙박스처럼 불투명하게 작동한다. 이 때문에 피해와 AI 결정 간의 인과관계를 정확히 추적하고 입증하는 것이 매우 어렵다는 비판이 꾸준히 제기되고 있다.
따라서 두 방식은 상호 배타적인 제도가 아니며, 유럽연합의 AI Act처럼 위험 수준별로 사전 예방(허가)과 사후 책임 원칙을 결합하는 '위험 기반 접근 방식(Risk-Based Approach)'으로 상보적인 거버넌스 구조를 설계하는 것이 타당하다.
핵심은, 단순히 어떤 규제가 더 효과적인지를 따지는 것이 아니다. 더 중요한 질문은 바로 누가, 어떤 기준과 시각에 따라 ‘위험’을 판단할 권한을 가지며, 그 판단을 누구에게 강제할 수 있는가이다. 위험은 기술 안에서 자동으로 정의되지 않는다. 그것은 정치적·사회적 맥락 속에서 구성되며, 그 정의가 정당성을 가지기 위해서는 다양한 사회 집단의 참여와 공론 과정이 필수적이다.
네 번째 질문: 전략 자산인가, 공공 인프라인가?
오늘날 초거대 AI는 더 이상 단순한 기술적 진보로만 간주되지 않는다는 것은 분명하다. 많은 국가들이 이를 AI 주권의 핵심 축으로 인식하고 있으며, 전략적 자산으로 보호하려는 움직임이 뚜렷해지고 있다. 일부 국가는 초거대 AI 모델을 개발하는 데 필요한 GPU나 고성능 반도체의 수출을 경쟁국에 한해 제한하고, 이를 통해 안보와 경제적 우위를 동시에 확보하려는 정책을 내놓고 있다. 여기에 더해, 주요 기술 강국은 반도체의 자체 설계·생산 역량 확보뿐 아니라, AI 학습용 데이터·모델·클라우드 인프라 전반에 걸쳐 완전한 기술 자율성과 독립성을 추구하는 방향으로 움직이고 있다.
이러한 흐름은 표면적으로는 국가 안보와 경쟁력 확보를 위한 전략적 선택으로 보이지만, 한편으로는 AI의 개방성과 글로벌 협력을 저해할 수 있다는 비판으로 이어진다. AI 개발을 소수 국가 혹은 빅테크 기업이 독점하게 되면, 다른 국가나 공동체는 AI 생태계의 ‘수동적 사용자’로 전락할 위험이 있다. 이는 핵심 기술 및 정책 결정(규범, 안전기준)의 종속을 의미하며, 데이터 주권 상실로 이어질 수 있다. 특히 세계 여러 지역에서 활동하는 중소기업, 시민사회, 개발자 공동체는 핵심 기술에 대한 접근 자체가 봉쇄되거나, 거대한 API 제공자의 정책에 종속될 수밖에 없는 구조에 놓이게 된다.
이와 같은 맥락에서, 오픈소스 진영과 일부 국제기구, 그리고 유럽의 공공정책 영역에서는 다른 선택지를 모색하고 있다. 이들은 초거대 AI 기술이 사적 독점이 아닌 공공재적 성격을 띠어야 한다는 전제 위에서, 공공 또는 비영리 기반의 오픈 모델 개발을 추진하고 있다.
대표적으로 유럽연합은 공공 자금으로 ‘공익형 AI 모델’을 개발하고, 특정 성능 기준 이상의 AI 기술을 ‘공적 인프라’로 분류하여 다자간 감시와 감사가 가능하도록 하는 제도를 구상 중이다. 이처럼 AI를 전력망, 도로, 통신망처럼 모두의 기반 시설로 다루려는 시도는 소수 기업의 독점과 과잉 통제에 대한 견제 장치가 될 수 있다.
하지만 이러한 접근 역시 단순하지 않다. AI를 공공 인프라로 설계한다는 것은 곧, 책임 주체와 운영 방식, 가치 기준을 명확히 사회적으로 설정해야 한다는 뜻이다. 누가 공공 모델을 설계하고, 어떤 데이터로 훈련하며, 어떤 사회적 가치 기준을 적용할 것인가? 이 질문에 대한 합의 없이 추진되는 공공 AI 모델은 다시금 소수 전문가 집단의 기술 독점으로 전락할 위험도 있다.
따라서 ‘전략 자산’과 ‘공공 인프라’라는 이분법은 본질적으로 기술을 둘러싼 거버넌스의 문제로 확장된다. 안보와 공익, 개방성과 통제 사이의 균형을 어떻게 설계하느냐에 따라 향후 AI 기술의 접근성, 민주성, 지속가능성은 전혀 다른 방향으로 나아갈 수 있다. 초거대 AI는 이제 기술적 문제를 넘어, 사회적 권한 분배의 중심 축이 되었다. 우리는 지금 그 분기점 위에 서 있다.
다섯 번째 질문: AI의 중립성은 가능한가?
AI가 ‘중립적’이어야 한다는 요구는 매우 강력한 수사로 작동한다. 기술이 공정하고 객관적이며 어느 누구의 편도 들지 않는 상태로 작동해야 한다는 기대는, 기술의 신뢰성과 정당성을 확보하려는 사회적 욕망과 맞닿아 있다. 하지만 실제로 이러한 ‘중립성’은 기술적 환상에 가까우며, 특히 언어모델이나 생성형 AI처럼 인간 담론과 세계관을 흡수해 작동하는 기술 구조 안에서는 더욱 그러하다.
실제로 모든 AI 모델은 특정한 사회적 가치와 판단 기준을 내포하고 있다. 어떤 질문에는 답변을 회피하게 만들고, 어떤 주제에 대해서는 정제된 언어를 사용하도록 설계하는 것, 어떤 데이터셋을 학습에 포함하고 어떤 표현을 ‘비사실’로 간주할지를 결정하는 과정 모두에 비가시적인 정치적·윤리적 선택들이 개입된다. 이러한 선택적 개입은 단지 기술 설계의 부수적인 현상이 아니라, AI 모델이 세계를 구성하는 방식 자체에 내재된 구조이다.
최근 일부 진영에서는 AI 모델의 안전 필터(Guardrail)와 콘텐츠 정책이 특정 주제에 대한 답변을 지나치게 제약하거나 특정 이념에 편향되어 있다고 비판해 왔다. 반면 시민사회나 인권 관련 단체들은 오히려 모델들이 편향된 훈련 데이터를 통해 역사적 차별과 사회적 불균형을 그대로 재생산하고 있다고 경고한다. 두 주장 모두 일리가 있지만, 핵심은 AI가 그 자체로 ‘중립적 존재’일 수 없으며, 언제나 사회적 판단과 설계자의 의도가 투영되어 있다는 사실을 받아들이는 데 있다.
이러한 현실을 고려할 때, 우리가 AI에 요구해야 할 것은 ‘중립성’ 그 자체가 아니다. 오히려 중요한 것은,첫째, 어떤 기준을 선택했는지를 투명하게 공개하고, 둘째, 그 기준의 수립 과정에 시민사회, 소수자 집단, 사용자 등 다양한 이해당사자들이 참여할 수 있도록 구조화하며, 셋째, 표현의 자유와 인권 보호 사이에서의 긴장 관계를 공론화된 논의와 독립적인 감사 메커니즘 속에서 지속적으로 조율하고 개선할 수 있는 시스템을 마련하는 일이다.
궁극적으로 AI의 ‘중립성’ 논쟁은 기술적 특성에 대한 토론을 넘어, 누가 말할 수 있고, 누가 침묵당하게 되는지를 결정하는 권력의 문제로 확장된다. AI 모델은 단지 정보를 처리하는 도구가 아니라, 특정한 방식으로 세계를 재현하고 구성하며, 그 안에서 허용되는 지식·정체성·감정의 범위를 재단한다. 따라서 우리는 ‘기술이 편향되었는가’라는 질문에 머무를 것이 아니라, ‘편향을 어떻게 관리하고, 누구의 목소리를 포함·배제할 것인가’라는 더 넓은 거버넌스의 질문으로 나아가야 함은 분명하다.
맺으며: 초거대 AI의 규칙은 아직 쓰이는 중이다
이제 초거대 AI를 둘러싼 진짜 질문은 “누가 가장 큰 모델을 먼저 만들 것인가”가 아니라, “누가, 어떤 방식으로 그 기술을 정의하고 통제할 것인가”로 전환되고 있다. 더 이상 AI는 기술의 문제만이 아니다. 그것은 거버넌스의 문제이며, 사회적 상상력의 분배 방식에 대한 문제다. 기술의 발전 속도 못지않게 중요한 것은 그 기술이 작동할 제도적 환경과 규범적 질서를 어떻게 설계하느냐에 달려 있다.
같은 기술도 어떤 사회적 구조 안에 위치하는가에 따라 전혀 다른 결과를 낳는다. 소수의 이해관계자에게 집중된 폐쇄적 체계 안에서는 AI는 감시와 통제를 강화하는 권력의 도구로 작동할 수 있다. 반대로 더 많은 사람과 집단이 그 기술의 설계와 운용에 관여할 수 있는 조건이 마련된다면, AI는 더 넓은 사회적 역량과 시간을 회복하는 기반 인프라로 기능할 수 있다. 다시 말해, AI는 어떤 규범 아래 놓이느냐에 따라 위협이 되기도 하고 공공재가 되기도 한다.
우리는 지금 그 규범과 규칙을 쓰고 있는 매우 이른 시점에 서 있다. 규칙이란 나중에 바꿀 수도 있지만, 일단 정해진 기술 표준, 권력 구조, 그리고 이해관계는 '경로 의존성(Path Dependency)'을 띠며 쉽게 바뀌지 않는다. 지금이야말로 기술 경쟁의 구도에서 잠시 물러나, 국가 간/시민사회와 산업계 간의 다자적 거버넌스 플랫폼을 통해, 어떤 사회를 위해 어떤 기술을 설계할 것인지에 대한 집단적 토론이 절실한 시점이다.
초거대 AI가 어떤 미래를 향해 나아갈지는 아직 결정되지 않았다. 그것은 우리가 어떤 질문을 던지고, 어떤 위험을 우선하고, 어떤 선택을 사회적으로 합의해 나가는가에 달려 있다. 기술은 이미 달리고 있다. 이제 그 방향키를 어떻게 잡을지를 논의해야 할 시간이다.
***
조인호 대표의 [시민형 AI] 기사들
![[인사이트] 김순규 목포MBC 사장 | AI 기반 기후시민의회, 지역에서 민주주의를 다시 짓다](https://static.wixstatic.com/media/c15d53_21e919d8d6344fa688381cf6f9d09956~mv2.jpg/v1/fill/w_408,h_547,al_c,q_80,enc_avif,quality_auto/c15d53_21e919d8d6344fa688381cf6f9d09956~mv2.jpg)
댓글