제너레이티브 AI는 빠르게 성장하고 있습니다.
Open AI의 ChatGPT, Google의 Gemini, Anthropic의 Claude와 같은 대규모 언어 모델(LLM) 덕분에 사용자들은 생성형 AI를 일상 생활에 통합하고 있습니다.
간단한 질문에 대한 답변 찾기, 단어나 문장 번역, 연구 논문 작성, 맞춤형 컴퓨터 코드 개발, 심지어 이미지나 아트웍 생성까지 모두 생성형 AI와 LLM을 통해 가능합니다.
웹 브라우저, 이메일, SaaS 제품, 소셜 미디어 플랫폼 및 파일 시스템에 있습니다.
국방부(DOD)에서도 제너레이티브 AI의 급속한 발전을 탐색하고 있습니다.
어디서나 제너레이티브 AI에 액세스할 수 있고 사용자가 다양한 GPT에 비즈니스 데이터를 입력하는 상황에서, 이는 민간 기업 조직과 국방부에게 중요한 질문을 던집니다:
생성 AI를 더 안전하고 신뢰할 수 있게 만들 수 있는 방법이 있을까요?
생성적 AI의 위험
생성형 AI와 LLM에는 상업 기업과 국방부 조직이 위험에 노출될 수 있는 상당한 한계가 있습니다.
모델은 저작권으로 보호되는 데이터, 오래된 데이터를 제공하거나 심지어 환각을 일으켜 미션 크리티컬한 질문에 부정확한 답변을 제공할 수도 있습니다.
사용자는 AI 모델이 특정 응답을 제공한 이유에 대한 가시성이 없으며, AI 모델의 결과를 추적할 방법도 없습니다. 즉, 모델이 제공한 응답을 검증하는 것은 말할 것도 없고 수신한 데이터의 정확성을 보장하는 것도 거의 불가능합니다.
출처: 출처: https://www.darpa.mil/program/explainable-artificial-intelligence
국방부 내 연구 결과, 제너레이티브 AI 모델 배포 시 다음과 같은 위험 영역이 발견되었습니다:
- 데이터 소스: 모델 학습 및 업데이트에 사용되는 데이터에는 저작권 자료, 대체 견해가 있는 국가 또는 조직의 정보, 기밀 정보, PHI(보호 대상 건강 정보), CUI(통제 대상 기밀 정보) 또는 생성 AI 모델에 포함하지 않으려는 기타 민감한 데이터 소스가 포함될 수 있습니다.
- 모델 거버넌스: OpenAI를 비롯한 상업적 조직에서 제공하는 생성형 AI 모델은 모델이 어떻게 개발, 학습, 모니터링 또는 조정되는지에 대한 인사이트를 제공하지 않습니다. 이러한 프로세스에 대한 이해가 없으면 최종 사용자가 모델의 목표와 결과를 잘못 해석할 수 있습니다.
- 모델 투명성: 생성형 AI 모델은 최종 사용자에게 결과를 제공하기 전에 수많은 데이터 포인트를 평가합니다. 대부분의 경우, 모델은 사용자에게 결과를 제공하기 전에 여러 옵션을 평가해야 합니다. 상용 제품은 모델 불확실성에 대한 가시성, 설명, 응답에 대한 맥락 또는 모델이 제공할 수 있었던 대체 응답을 제공하지 않습니다.
- 모델 편향: 생성형 AI 시스템은 학습 데이터 세트와 알고리즘 구조에서 사회적, 인구통계학적 변수의 영향을 받아 편향성을 보일 수 있습니다. 적절하게 해결하지 않으면 이러한 모델은 소스 데이터에 내재된 인종, 성별, 연령, 민족 등과 관련된 기존의 사회적 편견을 흡수하고 확대할 가능성이 있습니다.
많은 조직이 이미 프로세스 내에 생성 AI 기술을 보유하고 있지만 이러한 기능을 어떻게 사용해야 하는지에 대한 지침이나 정책이 부족합니다.
Microsoft Office와 GitHub를 예로 들어보겠습니다.
두 회사 모두 제품에 제너레이티브 AI 기능을 내장하고 있습니다. 사용자는 일상적인 작업을 가속화하는 도구와 마법사에 액세스할 수 있지만 모델이 제공한 데이터를 어떻게 사용하는지 알지 못합니다.
이는 몇 가지를 의미합니다:
- 기밀 또는 개인 정보를 모델에 입력할 수 있습니다.
- 출력에 저작권이 있거나 부정확한 데이터가 포함될 수 있습니다.
- 데이터는 안전하고 비공개적이지 않을 수 있습니다.
일부 조직에서는 이것이 문제가 되지 않을 수도 있습니다. 그러나 이는 많은 상업 조직과 국방부에게 심각한 안전 문제를 야기합니다.
그렇다면 생성 AI와 관련된 위험을 어떻게 피할 수 있을까요?
단순 - 설명 가능한 AI 모델을 구현합니다.
설명 가능한 AI란 무엇인가요?
많은 조직에서 생성형 AI 모델을 더욱 안전하게 만들기 위해 설명 가능한 AI(XAI)에 투자하고 있습니다.
간단히 말해, 설명 가능한 AI는 인간 사용자에게 AI 모델의 모든 측면에 대한 투명성과 가시성을 제공합니다. 이를 통해 사용자는 AI 모델과의 상호 작용, 특히 모델 결과물을 이해하고 신뢰할 수 있습니다.
설명 가능한 AI는 다음을 포함하여 AI를 이해하는 데 필요한 7가지 핵심 영역을 제공합니다:
- 투명성: 이해관계자가 형식과 언어 측면에서 모델의 결정을 이해하고 있나요?
- 인과관계: 입력 교란으로 인해 예측된 출력의 변화가 실제 시스템에서도 발생하나요?
- 개인정보 보호: 민감한 사용자 정보를 보호할 수 있나요?
- 공정성: 모델 결정이 보호 대상 그룹에 대해 공정한지 확인할 수 있나요?
- 신뢰: 사용자가 시스템 작업에 대해 얼마나 확신하고 있나요?
- 사용성: 사용자가 작업을 수행할 수 있는 안전하고 효과적인 환경을 제공할 수 있는 시스템인가?
- 안정성: 매개변수 및 입력 변경에 대해 시스템 성능이 얼마나 견고한가요?
출처: 출처: https://www.researchgate.net/publication/365954123_Explainable_AI_A_review_of_applications_to_neuroimaging_data
다음과 같은 추가 조사 결과 시나리오 기반 설계를 통한 코드용 제너레이티브 AI의 설명 가능성 조사 는 신뢰할 수 있는 AI 기능의 개발, 배포 및 운영의 모든 측면을 이해하기 위한 목표, 프레임워크, 연구 및 최종 사용자와의 실시간 인터뷰를 제공합니다.
설명 가능한 AI로 위험 감소
생성 AI 모델의 결과물을 신뢰할 수 있어야 하는 국방부 및 민간 기업 내 사용자는 모델에 대한 자세한 이해가 필요합니다.
여기에는 다음이 포함됩니다:
- 데이터의 출처
- 모델 알고리즘에 대한 가시성
- 모델 개발, 훈련, 모니터링 및 튜닝 방법
아래 이미지에서는 설명 가능한 AI가 최종 사용자에게 모델 결과를 설명하는 높은 수준의 기능을 제공하는 방법을 자세히 설명합니다.
출처: 출처: https://www.darpa.mil/program/explainable-artificial-intelligence
국방부와 설명 가능한 AI
특히 국방부는 일상 업무의 모든 측면, 더 중요한 것은 임무 계획 및 실행을 지원하는 미션 크리티컬 기능을 지원하는 애플리케이션을 필요로 합니다.
오류나 중단이 발생하면 작전에 큰 영향을 미쳐 적에게 전술적 이점을 제공할 수 있습니다.
국방부 최종 사용자는 생성형 AI 모델과의 모든 상호 작용에 대한 가시성과 투명성을 요구합니다.
금융 서비스 및 설명 가능한 AI
금융 서비스 산업을 살펴볼 수도 있습니다. 애널리스트와 개인 트레이더는 항상 자신의 포트폴리오에서 더 나은 성과를 낼 수 있는 자산을 찾고 있습니다.
유능한 애널리스트는 고객 포트폴리오에 추가할 종목을 AI 모델이 추천하는 대로 받아들이지 않을 것입니다.
고객은 추천 종목의 배경, 종목 선정 방법, 종목 선정을 위해 평가된 다른 종목, 해당 종목에 대한 모델의 신뢰도 등을 알고 싶어 합니다.
설명 가능한 AI의 기본 기능
설명 가능한 AI는 조직에서 AI 모델을 구축, 배포 및 운영하는 데 도움이 되는 몇 가지 기본 기능을 제공합니다.
여기에는 다음이 포함됩니다:
- 알려진 데이터: 모델 훈련 및 업데이트에 포함된 데이터는 데이터 출처가 알려져 있고 추적 가능한 데이터 계보가 있는 출처에서만 가져와야 합니다. 국방부의 2023 데이터, 분석 및 인공 지능 채택 전략에 자세히 설명된 대로 모델에 포함된 데이터는 다음을 제공할 수 있어야 합니다:
- 정확성: 입증된 실제 값 또는 지정된 작업, 사람 또는 실체를 정확하게 반영하는 데이터입니다. 여기에는 데이터 구조, 콘텐츠 및 가변성이 포함됩니다.
- 완전성: 지정된 시간에 존재하는 데이터에는 데이터 집합, 행 또는 열 수준에서 측정된 예상 정보 또는 통계가 포함되어야 합니다.
- 적합성: 데이터 세트는 합의된 내부 정책, 표준, 절차 및 아키텍처 요구 사항을 따릅니다.
- 일관성: 일관성: 값이 데이터 집합 내 및 데이터 집합 간에 균일하게 표현되는 정도입니다.
- 고유성: 관찰된 각 이벤트와 해당 이벤트를 설명하는 레코드가 일대일로 일치하는지 확인합니다.
- 무결성: 데이터 집합의 혈통, 출처 및 계보가 알려져 있고 관련 비즈니스 규칙에 부합합니다.
- 적시성: 적시성: 이벤트 발생과 데이터 사용 가능 시간 사이의 시간을 측정합니다.
- 모델 거버넌스: 모델이 현지 법적 요건과 기밀 및 비기밀 데이터의 국방부 데이터 처리 요건을 준수하는지 검증하려면 조직은 프레임워크를 정의하고 모델에서 수집하고 처리하는 데이터의 계보를 추적하는 자동화된 프로세스를 구현해야 합니다. 또한 프레임워크는 모델과의 인간 및 시스템 상호 작용을 모니터링하고 추적해야 합니다.
- 모델 투명성: 모델 투명성은 신뢰할 수 있는 AI를 구현하기 위한 가장 중요한 요소입니다. 이는 사용자가 알고리즘이나 모델이 어떻게 출력을 생성했는지, 모델이 어떤 옵션을 평가했는지, 모델이 제공한 응답의 신뢰도를 이해하지 못하는 AI의 '블랙박스'를 깨뜨리는 것을 목표로 합니다. 모델 투명성을 지원하기 위한 주요 범주는 Liao Et Al의 ' AI에 질문하기: 설명 가능한 AI 사용자 경험을 위한 설계 관행 정보 '에 게시된 XAI 질문 은행에서 확인 및 문서화되었습니다.
출처: arXiv:2001.02478 [cs.HC]
설명 가능한 AI 구현
제너레이티브 AI는 상업 기업과 국방부 조직에 강력한 도구이지만 심각한 위험을 수반합니다.
설명 가능한 AI 모델을 구현하면 생성 AI 모델의 모든 측면을 투명하게 파악할 수 있으므로 사용자는 신뢰할 수 있는 AI 기능을 개발, 배포 및 운영하는 모든 측면을 이해할 수 있습니다.
Ulap에서는 중요한 설명 가능한 AI 기능을 포함하도록 머신 러닝 워크스페이스를 업데이트하고 있습니다.
언제나 그렇듯이 목표는 국방부와 기업 사용자에게 신뢰할 수 있는 제너레이티브 AI를 제공하는 AI/ML 플랫폼을 제공하는 것입니다.
.png)
