조인호의 AI와 기후 ⑤ | 생성형 AI의 숙명, ‘환각’ 줄이기: RAG부터 사후 검증까지

---

인공지능(AI)는 텍스트뿐 아니라 이미지나 영상에서도 거짓말을 한다. 어떻게 줄일 수 있을까? 구조적으로 피할 수 없는 LLM의 환각 현상을 줄이기 위해서 RAG(10~15% 개선), CoVe와 Self-Consistency(20~30% 개선), 계산기나 코드 API와 같은 도구를 호출 등 기술이 활용되고 있다. 나아가 위험도에 따른 역할 분담, 인용과 증빙의 의무화 등이 필요하다.

2025-10-17 조인호

조인호 포스트에이아이 대표이사

서강대 정치외교학과를 졸업, Michigan State University에서 Telecommunication으로 석사학위를, University of Texas at Austin에서 Communication Studies-Organization Science로 박사학위를 받았다. 2018년부터 오피니언라이브의 공동대표로 자연어처리와 인공지능 학습데이터 구축 지원 사업을 주도했다. AX(AI Transformation)와 개인화 기반의 Virtual Persona를 지향하는 포스트에이아이를 설립했다. 현재 이화여자대학교 신산업융합대학과 한국외국어대학교 미디어커뮤니케이션 학부의 겸임교수이기도 하다.

[편집자 주] 기후위기 솔루션으로서 AI의 역할은 어떤 것들이 있을까? 이미 AI는 기상 예측, 기후재난 대응, 탄소 감축, 에너지 그리드 등 기후 관련 다양한 솔루션에 쓰이고 있다. 기후 문제는 지구 상의 모든 곳, 모든 사건에 닿아 있기에 그만큼 복잡하고 다층적이어서 해결이 쉽지 않다. 그런 점에서 AI와 시민의 협업을 개념화하고 알려 온 필자에게서 기후위기 솔루션으로서 AI를 활용한 국내외 다양한 사례들을 듣고자 한다. 인간과 AI의 차이점이 낳은 협력의 근거들을 찾아 '우일신又日新'해 보자.

지난 기사

① 원거리까지 ‘찾고’, 로컬에서 ‘결정하는’ 협업

② 시민이 제보한 데이터, AI가 여는 재난 경보

③ 나는 진리를 모릅니다! LLM, 인공지능의 고백

④ 내가 작성한 프롬프트의 저작권을 인정받으려면

---

최근 생성형 인공지능(AI)은 놀라운 언어 구사 능력으로 사회 전반의 변화를 이끌고 있지만, '환각(Hallucination)'이라는 간과할 수 없는 약점을 안고 있다. 그리고, 이제 환각은 단순한 기술적 오류를 넘어 사회적 신뢰를 위협하는 핵심적인 이슈로 다뤄지고 있는 상황이다. 이 글에서는 LLM 환각 현상의 본질적인 원인을 알아보고, 현실적인 해결 전략과 운영 방안을 질의에 답하는 형식으로 알아보고자 한다.

환각은 무엇이고, 왜 생기는 걸까?

환각은 대규모 언어 모델(LLM)이 근거가 없거나 사실과 현저히 다른 내용을 마치 진실인 것처럼 그럴 듯하고 자신 있게 생성해 내는 현상을 일컫는다. 이는 단순한 실수나 기술적 오류, 버그를 넘어, LLM의 근본적인 작동 방식에서 기인하는 구조적 문제에서 기인한다는 주장이 보편적으로 받아들여지는 듯하다. 풀어서 설명하면, LLM은 방대한 텍스트 데이터를 학습하지만, 그 학습 목표는 ‘정답’을 맞추는 것이 아니라 주어진 문맥 뒤에 올 가장 자연스럽고 확률적으로 높은 단어의 패턴을 예측하는 것이다. 즉, 모델은 내용의 사실성(Factuality)보다 문장의 유창성(Fluency)을 극대화하도록 설계되어 있어, 틀린 정보라도 문법적으로 자연스럽다면 생성이 가능하다.

특히 훈련 과정에서 거의 접하지 못한 주제(OOD, Out-of-Distribution)에 직면하거나, 답변의 다양성을 높이는 설정(Temperature, Top-p/k)이 과도하게 적용되면, 모델은 저장된 지식 대신 패턴을 조합하여 사실이 아닌 내용을 확신에 찬 어조로 쏟아내기 쉽게 된다. 실제 뉴스 룸 환경에서도 숫자나 기관명을 틀리게 기재하거나 반어법을 오해하는 등의 심각한 사례들이 보고되면서 AI 신뢰성에 대한 우려가 현실화하고 있다.

환각을 완전히 없앨 수는 없나?

전문가들은 환각을 완전히 제거하는 것은 어렵다는 시각에 무게를 싣고 있다. 그리고, 너무 강력하게 통제될 경우, 모델은 아는 정보에 대해서도 “모른다”는 답변을 반복하게 되어 활용성이 현저히 떨어진다. 따라서 현실적인 해법은 AI가 모든 것을 주도하는 것이 아니라 리스크 수준에 따라 역할과 책임을 명확히 분담하는 것이다. 단순 집계와 같은 저위험 작업은 AI에게 자동으로 맡기고, 해설이나 추론은 반자동으로, 그리고 법률 자문이나 단독 보도처럼 정확성과 윤리적 책임이 중요한 고위험 영역은 인간이 주도하여 최종 검증을 거치는 것이 타당하다.

또한, 운영 규칙을 확립하여 실수를 줄이는 것도 중요하다. 예를 들어 인용 없는 문장 금지, 숫자는 근거 스니펫으로 증빙, 그리고 답변의 확신도가 낮을 경우 자동 기권 후 인간에게 이관하는 등의 구체적인 절차를 두면 환각 발생을 실질적으로 줄일 수 있다.

환각을 줄이는 기술과 지금까지 확인된 효과는 어떠한가?

환각을 줄이기 위한 기술적 접근은 크게 '외부 근거를 활용하는 방식'과 '모델 자체의 검증 능력을 높이는 방식'으로 발전하고 있다.

외부 근거 활용의 대표적인 방법은 RAG(Retrieval-Augmented Generation, 검색 증강 생성)이다. 이 기술은 모델이 답변을 만들기 전에 검색 결과나 신뢰할 수 있는 외부 문서를 함께 참조하여 사실성을 높이는 것이다. 여러 실험 사례에서 RAG를 적용한 후 답변의 정확도가 10~15%p 개선되는 효과가 입증되었다. 다만, 검색 결과의 품질이 좋지 않으면 오히려 잘못된 정보를 확정하는 역효과가 발생할 수 있다는 한계도 존재한다.

모델 자체의 검증 능력을 높이는 사후 검증 기법으로는 CoVe(Chain-of-Verification)와 Self-Consistency 등이 있다. 초안 답변 뒤에 스스로 확인 질문을 만들어 틀린 내용을 고치는 CoVe는 사실 오류를 약 20~30% 줄인다는 보고가 있다. 그리고 같은 질문을 여러 번 풀게 한 뒤 가장 자주 나오는 답변을 선택하는 Self-Consistency는 수학과 같은 추론 문제에서 정확도 향상에 도움을 줄 수 있다. 또한, 외부 검증기(Verifier)를 활용하여 생성된 문장을 원문과 대조해 거짓을 잡아 주는 안전 장치 역할을 추가할 수도 있다.

마지막으로, 숫자 계산이나 환율처럼 정확한 연산이 필요한 경우에는 LLM이 직접 처리하는 대신 도구 호출(계산기·코드·API) 기능을 함께 쓰도록 하여 수치 오류를 크게 줄이는 전문적인 접근도 필수적으로 활용되고 있다.

이미지나 영상에서도 환각이 발생하나?

환각 현상은 비단 텍스트 모델에만 국한되지 않고, 사진, 영상, 오디오 등 다양한 형태의 데이터를 다루는 멀티모달 AI 모델에서도 광범위하게 발생한다. 예를 들어 사진에 없는 물체가 있다고 설명하거나, 객체의 색을 잘못 말하는 식의 오류가 나타날 수 있다. 이러한 오류는 이미지 정보와 글 사이의 연결 오류나 학습 데이터의 편향성에서 비롯되며, 일부 연구에서는 객체 환각이 30% 이상 보고된 바도 있다.

이에 대한 대응으로는 이미지의 특정 영역과 텍스트를 강하게 연결하는 학습을 진행하고, 불필요한 문장 생성을 막는 개입 기술을 적용하며, 생성된 문장을 실제 이미지와 대조하는 검사를 통해 신뢰성을 확보하려는 노력들이 있다.

AI의 신뢰 확보를 위한 끝없는 노력

LLM 환각은 AI 기술의 급격한 발전 속에서 필연적으로 맞닥뜨린 구조적 한계이자, 우리가 AI 시대를 살아가기 위해 반드시 통제해야 할 근본적인 문제이다. 환각을 완전히 제거하는 것은 어렵더라도, RAG나 사후 검증 기법 같은 기술을 도입하고, 위험도에 따른 역할 분담, 그리고 인용 및 증빙 의무화와 같은 명확한 운영 정책을 확립함으로써 환각의 위험을 크게 낮출 수 있다. 텍스트를 넘어 멀티모달 영역까지 확장된 환각 문제에 대응하기 위한 기술적 진보와 함께, 윤리적·절차적 책임감을 바탕으로 AI를 ‘그럴듯한 거짓말쟁이’가 아닌 ‘신뢰할 수 있는 협력자’로 만들어 나가기 위한 노력이 필요한 이유이다.

***

조인호 대표의 [시민형 AI] 기사들

① 소버린 AI를 채우는 민주적 장치

② 지식의 불확정성을 알고 나면

③ 관점이 다른 지식들의 집합이자 민주적 공론장의 시뮬레이터

④ 인공지능, 물리적 현실과 만나고 사회문제 해결의 새 지평을 열다

⑤ 국지성 기상 이변 대응의 새 해법