【 청년일보 】 2025년 1월 20일 중국 스타트업 Deepseek에서 오픈소스 LLM 모델인 Deepseek를 출시하며, 세계가 혼란에 빠졌다. 오픈소스 LLM의 최강자로 군림한 meta의 LLaMA와 Mistral, Gemma, Bloom 및 상업적으로 배포되고 있는 Open ai의 GPT모델에 비해 저비용을 통해 여러 벤치마크에서 좋은 성능을 보였다는 점에서 충격을 안겨주었다.

이렇듯, 생성형 AI에 대한 투자가 급속도로 빨라지면서, 이를 산업군에 올바르게 적용시키는 관점에서도 생각해볼 필요가 있다.

산업에서는 모델이라던지 신기술 적용에서의 신뢰성과 정당성, 설명가능성이 중요하다. 이런 측면에서 전통적인 기계학습 모델인 의사결정나무, 선형 회귀, 로지스틱 회귀의 분석 과정은 프로그램 소스코드로 투명하게 표현될 수 있었다.

하지만 최근의 딥러닝 기반 AI 알고리즘은 여러가지 대용량의 데이터를 통한 좋은 성능을 보여주지만, 세부적인 내부 작동 방식을 기존 소스코드처럼 명시하거나 해석하기 어려워 블랙박스 모델로 비유된다. 이러한 모델의 블랙박스의 구조 문제를 해결하고, 결정의 인과관계를 투명하게 규명하고자 하는 활동을 XAI(eXplainable AI)라고 한다.

현재 XAI는 모델이 만들어지고 난 이후에 설명(Post-hoc)하는 방법을 대상으로 하고 있다. 실무적으로 많이 활용하고 있는 대리모델(Surrogate Model)은 전역 설명을 위해 사용되기도 하고(Global Surrogate Model) 국소 설명을 위해 사용되기도 하는데(Local Surrogate Model), 국소 설명을 위해서는 LIME 및 SHAP기법이 쓰인다.

LIME의 경우, 원본모델 학습에 사용된 데이터의 일부 변형으로 학습했을 때 어떤 현상이 발생하는지를 파악하여 해당 모델의 특정 예측 결과를 설명한다.

SHAP은 예측 결과를 산출하는 데 각 Feature가 얼마나 공헌했는지를 판단하여 단순히 개별 Feature의 유무에 따른 영향도가 아니라 다른 Feature와의 관계까지 고려하고 있다는 점이 특징이다.

NLP 모델에 SHAP를 적용하고 소셜 데이터에서 사용자의 특정 기술 및 제품 군에 대한 감성분석을 진행할 때 어떤 요소가 가장 큰 영향을 미쳤는지 확인할 때 쓸 수 있다.

실제 Siemens 현장 실험을 통해 제조 분야의 XAI 적용의 중요성을 알 수 있는데, XAI를 이용한 그룹 사람들은 언제 AI를 신뢰해야 하는지, 언제 자신의 전문 지식에 의존해야 하는지 더 잘 알았고, 이로써 이를 사용하지 않고 블랙박스 AI의 도움만 받은 그룹보다 더 좋은 성과를 얻을 수 있었다.

또, 대출 심사에 사용되는 인공지능 신용평가모형의 설명 가능성을 제공하기 위해 만들어진 Surrogate Model은 금융소비자에게 신용평가모형의 결정에 대한 직관적인 설명을 제공할 수 있다.

최근 LLM의 설명가능성을 위한 연구도 이루어지고 있다. 기존의 머신러닝 모델과 비교하기 어려운 만큼의 복잡도를 가지고 있어 아직 설명 가능성에 대한 연구는 시작 단계에 있다. 특정 input token을 제거하고 masking하여 output의 변화를 관찰하거나, input의 민감도로 해석될 수 있는 gradient값을 관찰해 특정 token의 중요도를 파악하는 방식, Attention score를 기반으로 lo cal explanation을 통해 설명가능성을 탐색하는 방식들이 있다.

이외에도, LLM이 자체적으로 보유하고 있는 지식을 설명으로 제공하는 방식, 생성형 AI 모델의 동작 원리를 설명하기 위한 접근법인 CoT(Chain of Thought) prompting을 통해 설명가능성을 탐구하는 방식이 있다.

CoT는 추론 방식을 보다 일관적이며 잘 유추할 수 있도록 여러 단계로 Prompting를 분해해서(Chain) 수행하게끔 유도함로써 이에 따라 어떻게 문제 LLM이 해결하는지 절차적으로(Chain) 답하게(Thought) 하는 원리이다.

이런 LLM의 설명가능성을 이용하여, 시장 동향과 소비자 행동을 분석해 요인을 면멸히 파악하고, 예측 수요에 따른 최적의 재고 수준을 설정할 수 있다면, 산업 현장에서도 유용하게 사용될 수 있다.

특히나 오픈 소스로 제공되는 모델의 fine-tuning을 통한 도메인 특화 모델 설정과정과 RAG를 이용한 hallucination 문제 해결까지 이뤄진다면, 산업공학 문제를 더욱 효율적으로 해결할 수 있을 것이다.

앞으로의 산업은 더 고도화될 것이다. LLM과 더불어, 딥러닝의 블랙박스 문제를 해결하기 위한 노력은 사용자 친화적 설계, 실시간 의사결정 지원에 도움을 줄 것이며, 비용 효율적이고 확장 가능한 솔루션을 제공하는 동시에, 결과에 대한 투명성과 신뢰성을 보장하여 인간-기계 협력을 강화할 것으로 기대된다.
 

【 청년서포터즈 8기 홍준기 】