독서 시간 9분일관되지 않은 ChatGPT 응답을 경험한 적이 있다면 아마도 AI 환각 문제에 직면했을 것입니다. 이는 AI 시스템, 특히 ChatGPT와 같은 대규모 언어 모델(LLM)이 오해의 소지가 있거나 완전히 허구적인 응답을 생성하는 이상하지만 중요한 문제입니다. AI 환각은 AI 처리 메커니즘의 복잡성을 반영하며 전 세계 연구자들이 해결하려고 하는 가장 큰 LLM 과제 중 하나입니다. LLM과의 가벼운 대화에서는 별 문제가 아닐 수도 있지만, 중요한 문제가 발생하면 심각한 문제를 일으킬 수 있습니다. 특히 의료, 법률, 금융 등 정보의 정확성이 가장 중요한 산업에서는 AI 환각이 발생하지 않도록 예방하는 것이 중요합니다. 이 글에서는 생성적 AI 환각의 원인과 결과를 자세히 살펴봅니다. 이러한 실수의 원인과 실제 영향을 살펴보겠습니다. 더 중요한 것은 AI의 정확성과 신뢰성을 향상시킬 수 있는 방법을 모색할 것입니다.
AI 환각이란 무엇입니까?
AI 환각은 언어 모델이 사실이 아니거나 오해의 소지가 있는 콘텐츠를 생성하는 현상입니다. 이는 훈련 데이터의 제한이나 모델이 신뢰할 수 있는 소스와 신뢰할 수 없는 소스를 구별할 수 없기 때문에 발생합니다. 이러한 환각은 자신감 있는 반응으로 나타나지만 거짓 사실, 무의미한 반응 또는 허구의 이야기로 나타납니다. 이 문제는 응답의 신뢰성을 높이기 위해 AI 생성 콘텐츠를 평가하는 것이 중요하다는 점을 알려줍니다.
AI 환각이 발생하는 방법
AI 환각이 발생하는 이유를 이해하려면 먼저 언어 모델(LLM)이 일반적으로 작동하는 방식을 이해해야 합니다. 이 모델은 인간처럼 단어를 이해하지 못하지만 대신 문자의 시퀀스로 인식합니다. 마찬가지로 문장은 단어의 연속으로 간주됩니다. 모델의 ‘지식’은 대규모 텍스트 모음인 훈련 데이터에서 나옵니다. 이제 모델은 이 데이터의 통계적 패턴을 사용하여 문장에서 논리적으로 다음에 올 수 있는 단어나 문구를 예측합니다. 이는 고도로 발전된 패턴 인식 시스템과 유사합니다. 그러나 실제로 내용을 ‘이해’하기보다는 통계적 가능성에 의존하기 때문에 때로는 실수를 할 수도 있습니다. 이러한 실수 또는 ‘환상’은 모델이 자신 있게 부정확하거나 의미 없는 정보를 생성할 때 발생합니다. 훈련 데이터에 표시된 패턴에서 파생되므로 실제 정확도나 논리와 항상 일치하지 않을 수도 있습니다. 학습을 기반으로 그럴듯한 반응을 만들려고 할 때 모델은 합리적인 반응을 생성할 수 있지만 사실과 거리가 멀거나 논리적으로 일관성이 없을 수 있습니다. 이 예에서 ChatGPT는 독도가 일본 영토라고 대답합니다.
인공지능이 환각을 일으키는 이유
LLM 환각은 여러 가지 이유로 발생합니다.
훈련 데이터 문제
훈련 데이터는 AI 환각이 발생하는 이유의 핵심입니다. 이러한 문제를 일으킬 수 있는 학습 데이터의 세 가지 중요한 측면을 살펴보겠습니다. 훈련 데이터 부족: 데이터가 너무 적은 AI 모델은 언어의 뉘앙스와 맥락을 포괄적으로 이해할 수 없습니다. 훈련 데이터가 부족한 데는 여러 가지 이유가 있습니다. 의료 분야의 환자 데이터나 엄격한 프로토콜로 보호되는 은행 고객 데이터와 같이 극도로 비공개적이고 교육에 사용할 수 없는 데이터일 수도 있습니다. 이러한 경우 데이터 보안 및 거버넌스에 대한 노력이 알려져 있지 않으면 관련 데이터를 사용할 수 없으며 수집 프로세스에 노동 집약적일 수 있습니다. 예, 데이터는 ML 모델 품질에 매우 중요합니다. 데이터가 충분하지 않으면 질문이 지나치게 단순하거나 전혀 관련성이 없는 결과를 낳게 됩니다. 낮은 품질의 훈련 데이터: 데이터의 품질은 매우 중요합니다. 불행하게도 훈련 자료에 결함이 있는 경우 모델은 오류, 편향 및 관련 없는 정보를 학습하게 됩니다. 이로 인해 AI는 사실에 기반하거나 편향되거나 의도한 쿼리와 일치하지 않는 답변을 생성할 수 있습니다. 오래된 훈련 데이터: 모델의 훈련 데이터가 최신 데이터를 따라가지 못하는 경우 AI 출력이 오래될 수 있습니다. 기술이나 시사 등 급변하는 분야에서는 모델이 최신 개발 내용을 이해하지 못하고 오래된 참고 자료를 사용하거나 새로운 용어와 개념을 놓칠 수 있습니다. 이는 현실과 동떨어지거나 관련성이 부족한 답변으로 이어질 수 있습니다.
실수를 유도하다
누군가에게 혼란스럽거나 상충되는 질문을 하면 그 대답은 질문의 질을 반영합니다. 프롬프트는 언어 모델과의 의사 소통이므로 잘못된 방식으로 만들어지면 모델에 논리적 오류가 발생합니다. 프롬프트는 세 가지 주요 이유로 AI를 오도할 수 있습니다. 혼란스러운 프롬프트: 언어 모델에 대한 입력이 모호하거나 모호한 경우 AI가 쿼리의 정확한 의도나 컨텍스트를 이해하기 어렵습니다. 이는 의미 있는 답변을 위한 충분한 맥락을 제공하지 않고 질문을 하는 것과 같습니다. 결과적으로 모델은 의도를 ‘추측’하고 사용자의 요구에 맞지 않는 응답을 제공할 수 있습니다. 일관성이 없거나 모순되는 프롬프트: 프롬프트가 일관성이 없거나 상충되는 정보를 포함하면 모델에 문제가 발생합니다. 모델은 이러한 불일치를 조정하려고 시도하고 비논리적인 결과를 생성합니다. 원하는 응답 유형으로 모델을 안내하려면 명확하고 일관된 지침을 제공하는 것이 중요합니다. 적대적인 프롬프트: 이는 모델을 혼동하거나 속여 부정확하거나 부적절하거나 무의미한 응답을 생성하도록 의도적으로 제작된 입력입니다. 이러한 공격은 모델의 취약점이나 통계 패턴에 대한 의존성을 악용합니다.
모델 오류
특히 GPT-4와 같은 모델에서 AI 환각은 이러한 시스템이 기존 데이터로부터 학습을 최적화함에 따라 자연스럽게 발생합니다. 이를 방지하려면 인간의 피드백을 통합하는 것이 중요합니다. 혁신과 실용성 사이의 딜레마는 이를 더욱 복잡하게 만듭니다. 새로움에 너무 집중하면 독특하지만 오해의 소지가 있는 결과가 나올 수 있고, 유용성을 우선시하면 뻔하고 예측 가능하며 지루한 답이 나올 수 있습니다. 그리고 AI 모델 언어 처리의 기술적 문제도 환각을 일으킬 수 있습니다. 이러한 문제에는 잘못된 데이터 연결 또는 다중 응답을 목표로 하는 결함 있는 생성 전략이 포함됩니다. 또한 광범위한 사전 훈련으로 인해 모델이 저장된 지식에 지나치게 의존하게 되어 학습된 콘텐츠와 새로 생성된 콘텐츠를 혼합하여 응답을 생성할 때 오류 위험이 높아질 수도 있습니다. AI 커뮤니케이션 도구에 대한 의존도가 높아짐에 따라 해당 모델의 기능에 대한 과도한 신뢰를 방지하려면 이러한 모델의 한계를 인식하고 해결하는 것이 필수적입니다.
AI 환각의 종류와 실제 사례
AI 환각은 여러 가지 방법으로 분류될 수 있습니다. 사람들을 혼란스럽게 할 뿐만 아니라 심각한 문제를 일으키는 다양한 유형의 챗봇 환각이 있습니다.
사실적 오류
LLM 환각의 일반적인 유형은 허위 콘텐츠 생성입니다. 다시 말하지만, 모델은 가장 터무니없는 거짓말을 말할 수 있으며 여전히 자신감 있고 그럴듯하게 들리는 답변을 생성할 수 있습니다. 예를 들어 James Webb 우주 망원경에 대한 Google Bard의 환각이 있습니다. Google Bard에 따르면 James Webb 우주 망원경은 태양계 외부의 외계 행성에 대한 최초의 이미지를 촬영했습니다. 그러나 유럽남부천문대가 운영하는 칠레 파나라 천문대의 거대망원경이 2004년 처음으로 포착에 성공했다고 한다.1) 조작된 정보도 매우 위험합니다. 2023년 초, 항공사를 고소한 고객은 ChatGPT가 작성한 법적 서류를 맨해튼의 연방 판사에게 제출했습니다. 챗봇은 정보를 조작하고 가짜 인용문을 포함했으며 존재하지 않는 법원 판례를 인용했습니다. 뉴욕 연방 판사는 문서를 제출한 변호사에게 제재를 가했습니다. 이는 챗봇 환각이 실제로 존재하며 매우 조심스럽게 피해야 한다는 증거입니다.
유해한 정보
ChatGPT와 같은 언어 모델도 사람들의 평판을 쉽게 망칠 수 있습니다. 2023년 4월, 2018년 3월 워싱턴포스트 기사를 출처로 인용해 한 대학 교수가 알래스카 수학여행 중 학생에게 성적인 발언을 하고 신체 접촉을 시도했다고 주장하는 ChatGPT 사건이 발생했다. 문제는 그런 기사가 없었고, 알스카 수학여행도 없었고, 해당 교수가 학생을 성추행한 혐의로 기소된 적도 없다는 점이다. 같은 달, GPT는 햅번 샤이어(Hepburn Shire) 시의회 시장 브라이언 후드(Brian Hood)가 호주국립은행(Australian National Bank) 자회사에서 근무하던 중 뇌물 수수 혐의로 투옥되었다고 잘못 믿었습니다. 실제로 후드 시장은 내부 고발자였으며 범죄 혐의로 기소된 적이 없습니다.(2) 에어캐나다는 AI 챗봇이 고객에게 잘못된 정보를 제공하고 나중에 환불을 신청할 수 있다고 생각하여 정가 항공권을 구매하도록 유도하면서 심각한 고객 서비스 문제에 직면했습니다. 이 사건으로 인해 고객과 항공사 모두의 시간, 비용, 신뢰가 손실되었습니다.(삼)
AI 환각을 예방하는 방법
AI에서 환각을 줄이는 데는 좋은 프롬프트가 중요한 것으로 나타났습니다. 환각을 예방하기 위해 집중해야 할 가장 즉각적인 팁은 다음과 같습니다. 명확한 프롬프트 사용: 최대한 명확하게 설명하세요. 또한 모델을 가능한 결과의 수로 제한하십시오. 관련 정보 제공: 상황 내 학습 및 Few-Shot 학습과 같은 기술은 모델에서 원하는 결과를 얻는 데 큰 도움이 될 수 있습니다. 모델이 반환할 것으로 예상하는 결과의 예를 간단히 보여주세요. 모델에 역할 할당: 교사, 친구, 전문가 등의 역할을 할당하면 모델의 반응을 선택한 직업에 맞게 조정하여 상호 작용을 더욱 상황에 맞게 만들고 매력적으로 만들 수 있습니다. AI 환각 문제는 대규모 언어 모델 시대가 열릴 때부터 존재해왔다. 환각을 감지하는 것은 복잡한 작업이며 생성된 콘텐츠를 수동으로 확인해야 하는 경우도 있습니다. 복잡하기는 하지만 프롬프트, 관련 데이터 사용, 모델 자체 실험을 포함하여 구현해야 하는 환각의 위험을 최소화하는 여러 가지 방법이 있습니다.