비즈니스에 설명 가능한 AI가 필요한 이유

게시자
울랩 팀
켜기
2024년 6월 6일 오전 6:41

ChatGPT, Claude, Gemini와 같은 상용 생성 AI 모델의 인기로 인해 기업들은 AI를 비즈니스에 구현할 방법을 모색하고 있습니다.

이들은 인공지능(AI)이 운영을 간소화하고, 비즈니스 의사 결정을 더 빠르게 내리고, 평소보다 훨씬 짧은 시간 내에 데이터를 선별하는 데 도움이 될 수 있다는 사실을 잘 알고 있습니다.

기업의 80% 이상이 2025년까지 AI 자동화를 도입할 계획이며, 33%의 기업은 이미 AI 자동화를 사용하고 있습니다.

기업이 예측 모델과 머신 러닝 알고리즘을 도입함에 따라 심각한 문제가 발생하기 시작합니다:

  • 제너레이티브 AI 모델을 신뢰할 수 있나요?
  • 편향된 결과가 나올 수 있나요?
  • 출력되는 데이터는 얼마나 정확한가요?
  • 다른 어떤 대안을 선택할 수 있었을까요?
  • 당사의 데이터와 고객의 데이터는 안전한가요?
  • 결과물이 우리에게 가장 적합한 옵션인지 어떻게 알 수 있나요?

AI 모델의 결과를 사용하여 비즈니스에 미션 크리티컬한 의사 결정을 내리려면 한 가지가 필요합니다:

신뢰.

AI의 조언에 따라 의사 결정, 고객과의 상호 작용, 비즈니스 운영 방식을 바꾸려면 모델을 신뢰해야 합니다.

이것이 바로 설명 가능한 AI의 역할입니다.

설명 가능한 AI란 무엇인가요?

제너레이티브 AI 모델은 종종 해석이 불가능한 블랙박스로 간주됩니다. 

사용자가 프롬프트를 입력하면 AI 모델이 적격 리드 찾기, 매력적인 콘텐츠 작성, 이전 트렌드에 기반한 매출 예측 등 가치 있는 결론에 도달하고, 사용자는 이를 받아들이거나 남겨둘 수 있습니다.

AI 모델이 어떤 방식으로 결과를 생성했는지, 어떤 데이터에서 가져왔는지, 그 결정에 얼마나 확신을 가지고 있는지에 대한 인사이트는 제공되지 않았습니다. 

설명 가능한 AI는 사용자에게 AI 모델의 모든 측면에 대한 가시성을 제공함으로써 투명성이 부족한 문제를 해결합니다.

사용자가 AI 모델을 구동하는 머신러닝(ML), 딥러닝, 신경망 알고리즘을 이해할 수 있도록 도와줌으로써 생성형 AI의 블랙박스를 열어줍니다.

퍼플렉시티의 개발팀은 공개적으로 사용 가능한 애플리케이션에 몇 가지 XAI 개념을 도입했습니다. 실제로 작동하는 모습은 다음과 같습니다:

퍼플렉서티는 사용자에게 답을 제공하는 데 사용된 출처를 제공합니다. 또한 각주가 답변 내에 포함되어 있어 사용자를 소스로 직접 연결합니다. 설명은 결과에 대한 맥락을 제공하므로 사용자가 모델의 결정을 더 쉽게 이해하고 신뢰할 수 있습니다.

설명 가능한 AI가 중요한 이유

생성형 AI 모델에는 한계가 있습니다:

  • 인종, 성별, 연령 또는 위치에 따른 편견
  • 프로덕션 데이터와 학습 데이터 차이로 인한 모델 성능 저하
  • 학습 세트에 부정확하거나, 저작권이 있거나, 도덕적으로 다른 데이터가 있는 경우
  • 모델이 답을 모를 때 환각이 발생하는 경우

이러한 제한 사항 등으로 인해 AI를 신뢰하기 어렵고, 미션 크리티컬한 비즈니스 의사 결정에 AI를 맹목적으로 신뢰하는 것은 위험할 수 있습니다.

설명 가능한 AI는 사용자에게 AI를 이해하는 데 필요한 7가지 핵심 영역을 제공합니다:

  • 투명성: 이해관계자가 형식과 언어 측면에서 모델의 결정을 이해하고 있나요?
  • 인과관계: 입력 교란으로 인해 예측된 출력의 변화가 실제 시스템에서도 발생하나요?
  • 개인정보 보호: 민감한 사용자 정보를 보호할 수 있나요?
  • 공정성: 모델 결정이 보호 대상 그룹에 대해 공정한지 확인할 수 있나요?
  • 신뢰: 사용자가 시스템 작업에 대해 얼마나 확신하고 있나요?
  • 사용성: 사용자가 작업을 수행할 수 있는 안전하고 효과적인 환경을 제공할 수 있는 시스템인가?
  • 안정성: 매개변수 및 입력 변경에 대해 시스템 성능이 얼마나 견고한가요?

사용자는 모델 결과물에 대해 단순히 받아들이거나 남겨둘 수 있는 옵션만 있는 것이 아닙니다. 대신 사용자는 결과의 이면에 숨겨진 맥락을 분석하여 비즈니스에 더 심도 있고 더 나은 결정을 내릴 수 있습니다.

설명 가능한 AI가 비즈니스에 도움이 되는 4가지 방법

설명 가능한 AI가 내 비즈니스에 어떤 이점을 제공할 수 있을까요?

생성형 AI와 달리 설명 가능한 AI를 운영에 도입하는 기업은 네 가지 주요 이점을 누릴 수 있습니다.

생산성 향상

특히 모델이 광범위한 MLOps 시스템을 기반으로 구축되지 않은 경우 AI 시스템을 모니터링하고 유지 관리하는 것은 복잡할 수 있습니다.

설명 가능한 AI의 기술은 오류와 개선이 필요한 부분을 찾아내는 프로세스를 가속화하여 MLOps 팀이 시스템을 보다 효율적으로 모니터링하고 유지 관리할 수 있도록 지원합니다.

사용자 신뢰 구축 및 채택

설명 가능성은 사용자가 AI 모델을 신뢰할 수 있게 해줍니다.

이 글 전체에서 설명한 것처럼, 사용자가 모델이 예측, 추천 또는 결과를 도출하는 이유를 알면 해당 결과를 더 신뢰할 가능성이 높아집니다.

이렇게 생각하세요.

전문가와 함께 작업할 때는 전문가가 왜 그 추천이 나에게 적합한지 설명해 주면 그 추천을 더 쉽게 신뢰할 수 있습니다.

AI도 마찬가지입니다. 모델이 어떤 결과를 도출한 이유를 알려주면 그 논리를 따르고 추천을 신뢰하기가 더 쉬워집니다. 

그리고 사람들이 AI를 더 많이 신뢰할수록 AI를 사용할 가능성이 높아지며, 이것이 바로 목표가 되어야 합니다.

새로운 문제 개입 표면화

많은 경우, AI 예측의 이유에 대한 깊은 이해가 예측이나 추천 자체보다 훨씬 더 가치가 있을 수 있습니다.

AI를 사용하여 4분기에 어떤 고객이 이탈할 가능성이 높은지 파악한다고 가정해 보겠습니다.

생성형 AI는 유용한 고객 목록을 제공하지만, 설명형 AI는 동일한 목록과 함께 모델이 해당 결론에 도달하는 데 도움이 된 특성 및 지표를 제공합니다.

즉, 고객 이탈을 방지하는 데 필요한 정보를 얻을 수 있으며, 이는 단순히 이탈을 예측하는 것보다 비즈니스 리더에게 훨씬 더 가치 있는 정보입니다.

규제 및 기타 위험 완화하기

설명 가능성은 기업이 위험을 완화하는 데 도움이 됩니다.

법무 및 리스크 팀은 AI 모델의 설명과 의도된 비즈니스 사용 사례를 사용하여 시스템이 관련 법률 및 규정을 준수하는지 확인할 수 있습니다.

어떤 경우에는 설명 가능성이 필수 요건이거나 곧 필수 요건이 될 것입니다. 

캘리포니아 보험국은 보험사가 복잡한 알고리즘을 기반으로 취한 불리한 조치를 설명하도록 요구하고 있으며, EU AI 규정의 새로운 초안에는 구체적인 설명 의무 준수 단계가 포함되어 있습니다.

설명 가능한 AI를 도입하면 이러한 위험을 완화하고 비즈니스가 향후 규정을 준수하는 데 도움이 됩니다.

설명 가능한 AI 사용 사례

그렇다면 현장에서 설명 가능한 AI는 어떤 모습일까요?

다음은 기업이 설명 가능한 AI를 사용하여 운영, 안전 및 의사 결정을 개선하는 방법의 몇 가지 예입니다.

금융 서비스:

금융 서비스 회사(은행, 재무 설계사, 투자자 등)는 설명 가능한 AI를 사용하여 다음과 같은 작업을 수행하고 있습니다:

  • 투명한 대출 및 신용 승인 프로세스로 고객 경험 개선
  • 사기 행위 탐지에 대한 설명 제공 
  • 고객의 목표에 부합하는 재무 결정을 내리는 방법에 대한 고객 교육
  • 특히 인종, 성별, 연령, 민족에 따른 편견이 재정적 의사 결정에 영향을 미치지 않도록 합니다.
  • 투자 추천의 근거 설명하기

모델이 출력을 생성한 이유에 대한 설명은 지역 및 연방법을 준수하는 데도 도움이 됩니다.

설명 가능한 AI를 통해 스마트 머니가 움직이기 시작합니다.

사이버 보안 :

마찬가지로 사이버 보안 비즈니스와 팀에서는 설명 가능한 AI를 사용하여 운영을 개선하고 있습니다.

사이버 팀은 종종 경보 피로에 직면합니다.

사이버 운영 센터는 많은 보고서, 로그 및 경고를 생성하는 기술에 크게 의존하며, 이 모든 것을 팀이 검토해야 합니다.

그 결과 많은 경고가 음소거되어 사이버 분석가가 검토하지 않거나 네트워크 모니터링 기술에 의해 위협이 올바르게 분류되지 않는 경우가 많습니다.

그래서 많은 팀이 설명 가능한 AI로 눈을 돌리고 있습니다.

AI 모델은 알림이 표시된 이유와 중요한 이유를 신속하게 설명하고 알림에 대한 신뢰도를 평가할 수 있습니다.

이러한 설명은 일반적으로 인력이 부족한 사이버 팀이 위협을 신속하게 분석하고 대응하는 데 도움이 됩니다.

안전하고 투명한 커뮤니케이션:

제너레이티브 AI의 부상은 예상치 못한 결과를 낳았습니다:

데이터와 대화가 항상 안전한 것은 아닙니다.

Slack을 예로 들어보겠습니다.

이 통신 회사는 교묘한 AI 훈련 방법으로 인해 조사를 받고 있습니다.

테크크런치에 따르면, 이 회사는 "특히 고객 데이터를 사용하여 '글로벌 모델'을 훈련하고 있으며, Slack은 채널 및 이모티콘 추천과 검색 결과를 강화하는 데 이를 사용합니다."라고 합니다. 

또는 Microsoft의 Copilot.

기술 전문업체 Computer Care의 디렉터인 Simon Pardo는"Copilot+ Recall은 사용자의 컴퓨터 활동을 스크린샷으로 찍고 AI로 분석하여 파일, 사진, 이메일, 검색 기록 등 과거 활동을 검색할 수 있게 해줍니다."라고 말합니다.

여기서 기업이 직면하는 보안 위험을 상상해 보세요.

민감한 개인정보가 한곳에 수집되고 통합되어 시스템이 해킹될 경우 방대한 양의 정보가 노출될 수 있습니다.

이는 Slack이나 Microsoft와 같은 기업이 사용자 대화를 통해 어떻게 수익을 창출하고 있는지를 고려하지 않은 수치입니다.

그렇기 때문에 울랩은 파트너와 협력하여 안전하고 신뢰할 수 있는 대화를 녹취하지 않고 제품 개발에 사용할 수 있는 커뮤니케이션 플랫폼을 개발하고 있습니다.

개인정보는 보호되며 사용자 대화가 영리 목적으로 악용되지 않습니다.

이 모든 것은 한 가지 핵심 목적을 가지고 임시 알고리즘을 실행하고 리소스 사용 방식을 관리하는 설명 가능한 AI를 기반으로 구축되고 있습니다:

대화가 안전한 곳에서 안전하고 투명한 커뮤니케이션을 할 수 있습니다.

상업용 부동산:

상업용 부동산 투자자와 개발자들도 설명 가능한 AI의 유행에 동참하고 있습니다.

기업들은 설명 가능한 AI를 다음과 같은 용도로 사용하고 있습니다:

  • 특정 사이트가 개발 프로젝트에 가장 적합한 이유를 이해합니다.
  • 프로젝트 기준에 따라 각 부동산에 대한 점수를 확인하세요.
  • 교통 패턴, 유틸리티, 부동산 가치에 미치는 영향과 부정적인 영향을 피하기 위해 취할 수 있는 조치를 조사합니다.
  • 각 숙소의 장단점을 명확하게 설명하는 프레젠테이션과 제안서를 준비합니다.

설명 가능성을 어렵게 만드는 요소

AI를 설명할 수 있는 역량을 개발하는 것은 어려운 일입니다.

이를 위해서는 AI 모델의 작동 방식과 학습에 사용되는 데이터 유형에 대한 깊은 이해가 필요합니다. 이는 간단해 보일 수 있지만, AI 모델이 정교해질수록 특정 결과에 도달한 방법을 정확히 파악하기가 더 어려워집니다.

AI 모델은 시간이 지남에 따라 데이터를 수집하고, 다양한 알고리즘의 성능을 측정하고, 기존 모델을 몇 분 또는 몇 초 내에 업데이트하는 등 '더 똑똑해집니다'. AI 모델이 더 많이 학습할수록 인사이트 감사 추적을 따르기가 더 어려워집니다.

이렇게 생각하세요.

오늘 입으신 셔츠를 선택한 이유는 무엇인가요? 날씨, 기분, 깨끗하고 이용 가능한 옷, 그날 무엇을 할 예정인지... 아니면 이 모든 것이 복합적으로 작용했나요?

인사이트의 흔적을 따라가는 것은 그리 쉬운 일이 아닙니다.

이제 엑셀 스프레드시트에서 수천 개의 행을 검토하여 고객의 패턴을 찾고 이탈 가능성이 높은 고객을 예측하는 등 더 복잡한 작업의 인사이트 추적을 시도한다고 상상해 보세요.

그렇기 때문에 설명 가능성을 구현하기가 어렵습니다.

기업이 AI를 설명 가능하게 만드는 방법

설명 가능성을 위한 프레임워크를 구축하면 기업은 AI의 모든 가치를 포착하고 AI의 발전에서 앞서 나갈 수 있습니다. 

이 프레임워크는 정확성, 보안, 업계 및 정부 규정 준수를 보장하기 위해 회사 내에서 AI의 개발과 사용을 관리해야 합니다.

AI 거버넌스 위원회:

AI 거버넌스 위원회를 설립하는 것은 AI를 설명 가능하게 만드는 첫 번째 단계입니다.

이 위원회의 역할은 다음과 같이 설정해야 합니다: 

  • 책임감 있는 AI 가이드라인
  • 다양한 AI 사용 사례를 분류하는 위험 분류 체계
  • 모델 개발 팀이 각 사용 사례를 평가하는 프로세스
  • 중앙 인벤토리 내 평가 추적
  • AI 시스템이 법적 요구 사항을 준수하고 책임감 있는 AI 원칙을 준수하는지 모니터링합니다.

AI 거버넌스 위원회는 준수해야 할 설명 가능성 수준을 고려해야 합니다. 기본적인 설명 가능성 요구 사항으로 충분할까요, 아니면 더 높은 신뢰, 채택 및 생산성을 달성하기 위해 그 이상으로 나아가야 할까요?

이렇게 생각하세요.

AI 모델의 메커니즘을 단순화하면 사용자 신뢰도는 향상될 수 있지만 모델의 정확도는 떨어질 수 있습니다.

귀사와 특정 사용 사례에 따라 어느 것이 더 중요할까요?

AI 거버넌스 위원회에서 이러한 우선순위를 결정하여 팀이 AI 모델을 개발할 수 있도록 안내해야 합니다.

책임감 있는 AI 가이드라인:

AI 거버넌스 팀의 첫 번째 임무 중 하나는 설명 가능성을 책임 있는 AI 가이드라인의 일부로 만드는 것입니다.

기업의 가치만으로는 충분하지 않습니다. 기업이 일상적인 업무에 AI를 도입하고 사용할 때 일련의 가이드라인을 준수하면 브랜드 평판, 직원, 개인, 사회에 의도하지 않았지만 심각한 피해를 입히는 것을 방지할 수 있습니다.

책임감 있는 AI 가이드라인에는 다음이 포함되어야 합니다:

  • 적절한 데이터 수집
  • 데이터 세트 적합성
  • AI 결과의 공정성
  • 규정 준수 및 참여
  • 설명 가능성

올바른 기술, 인력, 도구에 투자하세요:

마지막으로, AI 설명 가능성에 대한 기술 및 법적 변화에 앞서 나가기 위해서는 적절한 투자가 필요합니다.

적합한 사람들:

설명 가능한 AI 요구 사항에 적합한 인재를 채용하고 교육하기 위한 인재 전략을 개발하세요. 고려하세요:

  • 비즈니스 및 기술 전문가와 함께 일할 수 있는 법무 및 리스크 인재
  • 법적 문제에 익숙하거나 기술 윤리에 중점을 둔 기술자
  • 다양한 관점을 가진 인재가 다양한 청중에게 설명이 직관적이고 효과적인지 테스트합니다.

적합한 인재를 채용하는 것은 AI 모델에 적합한 설명력을 개발하는 데 큰 차이를 만듭니다.

올바른 기술 및 도구:

개발팀에서 파악한 요구 사항을 충족하는 데 적합한 기술과 도구를 확보하세요.

상용 LLM이나 기성 솔루션은 초기 비용이 저렴할 수 있지만 AI 도구에 적합한 솔루션이 아닐 수 있습니다.

예를 들어, 일부 설명 가능성 도구는 시스템 결과의 검토만을 기반으로 관련 요인을 추론하는 사후 설명에 의존하기 때문에 결과를 초래한 요인에 대한 설명이 정확하지 않을 수 있습니다.

AI 사용 사례의 설명 가능성 요구 사항을 검토하여 올바른 기술에 투자할 수 있도록 하세요.

맞춤형 솔루션의 초기 비용은 더 높을 수 있지만, 대상 사용자와 법적 또는 규제 요구 사항 등 모델이 배포되는 상황을 고려할 수 있기 때문에 장기적으로는 더 나은 결과를 가져올 수 있습니다. 

적합한 설명 가능한 AI 파트너 찾기

설명 가능한 AI를 비즈니스에 구현하려면 올바른 파트너, 즉 AI 모델을 형성할 의사 결정을 안내해 줄 사람이 필요합니다.

설명 가능한 AI 파트너가 도움을 드릴 것입니다:

  • 공급업체 종속을 방지하고 필요할 때 모델을 이동할 수 있는 솔루션을 찾아보세요.
  • 구축할 적절한 오픈 소스 기술을 선택하세요.
  • 모델이 올바르게 작동하도록 올바른 라이선스를 선택하세요.
  • 필요에 따라 적절한 LLM을 선택하세요.
  • 설명 가능한 AI를 도입하기 위해 모델을 개발하거나 모델을 수정합니다.

울랩은 상업 조직과 정부 기관이 설명 가능한 AI를 모델에 구현하는 데 적합한 인력, 도구, 기술을 선택할 수 있도록 안내해 왔습니다.

시간을 예약하여 어떻게 도와드릴 수 있는지 알아보세요.