【 청년일보 】 나에게 뜨는 동영상은 내가 친한 지인에게는 뜨지 않고, 어제 무심코 봤던 쇼츠 영상이 오늘은 자주 보이는 것처럼, 일상생활 속에서는 이제 맞춤형 추천이 당연시 여겨지고 있다.
여러 산업군에 이 추천시스템이 녹아들고 있지만, 특히 이커머스 업계는 고객의 충성도 향상과 플랫폼 내 구매력 증진을 위한 고객 맞춤형 추천시스템 개발에 노력을 다하고 있다.
여기서 추천시스템이란, 사용자의 선호도 및 과거 행적 데이터를 바탕으로 개인에게 맞춤형 관심사를 제공하는 분야를 말한다.
더 나아가 추천된 항목 혹은 콘텐츠 내에서 순위를 배열하여 거시적인 상위 추천항목을 제시하는 랭킹시스템도 존재하며 서비스나 기업 이윤 관점에서 중요하게 여겨지고 있다.
현대 사회에서 기업 및 고객 친화적 의사결정을 위한 하나의 도구인 추천시스템이 그럼 과거부터 지금까지 어떤 양상으로 발전되어왔을까?
처음에는 단순한 협업 필터링(Collaborative Filtering)으로 시작되었다. 협업 필터링은 유저-콘첸츠 간의 관계로부터 콘텐츠를 추천하는 방식이다. 사용자 그룹을 형성하여 그들이 소비한 콘텐츠, 점수, 선호도 등을 고려하여 서로 소비하지 않은 콘텐츠를 추천해주는 방식이다.
이 방식은 실제로 콘텐츠의 정보(메타 데이터) 구성이 필요없다는 점에서 강점을 가지지만, Cold Start문제(새로운 콘텐츠나 사용자에 대응하기 어려움)라던지, Sparsity(유저-콘텐츠는 상호작용하지 않은 경우가 더 많아 발생하는 희소 행렬 문제), Scalability(유저와 콘텐츠는 시간이 지날수록 누적되는데 이때 드는 계산 비용의 증가) 문제가 있다.
이를 위해 MF(Matrix Factorization)방식, Cold Start유저에는 인기 콘텐츠를 추천해주는 방식으로 대체할 수는 있으나 한계가 있다.
Memory-based filtering은 유저간의 유사도, 콘텐츠간의 유사도 기반(ex: Cosine/Jaccard Similarity)으로 콘텐츠를 추천해주는 방식이다. 이때 더 유사한 유저나, 콘텐츠에 가중치를 두어 더 정확한 추천을 하기 위한 방식이 쓰이곤 한다.
이 방식 외에도, 콘텐츠 기반 필터링(Content-based filtering)방식이 쓰인다. 이는 콘텐츠의 속성을 분석하여, 새로운 콘텐츠를 추천해주는 방법이며 유저가 관심을 가지고 있는 콘텐츠와 비슷한 다른 것을 추천해주는 방식이다. 이때는 결국 유저의 정보가 활용되지 않지만 콘텐츠 메타 정보가 많이 필요로 한다. 이때, 콘텐츠가 표현되는 자연어, 음성, 영상 정보를 데이터로 구축하는 과정에서 벡터 임베딩을 수행할 수 있지만 이것이 쉽지 않다.
최근에는 이런 한계점을 보완하기 위해 전문가 기반 지식 기반 필터링을 통해 사전에 추천 분야에 대한 전체적인 지식 구조를 마련해놓은 상태에서 활용하는 방식이 이용되기도 하고 이외에도 여러 추천시스템 알고리즘이 개발되고 있다. Transformer기반의 Attention 알고리즘을 이용해 추천 정확도를 향상하고자 하고 있으며, 이 외에도 정확한 평점예측을 위해 NCF(Neural Collaborative Filtering)이 사용되기도 한다.
또한 네트워크 구축을 통한 LightGCN(Graph Convolutional Networks) 방식을 사용하기도 한다. 또한 최근에는 대형언어모델(LLM)기반 추천시스템, 멀티모달(Multi-modal) 기반 추천시스템이 등장해 혁신이 이뤄지고 있다.
이러한 추천시스템이 실제로 산업현장에서는 어떻게 적용되고 있을까? 한국에서는 개인화 추천시스템의 성공사례로 무신사의 사례를 뽑아올 수 있다. 검색, 클릭, 장바구니에 담긴 이력, 구매 이력 등 고객이 남긴 여러 데이터를 종합적으로 고려하여 각각의 고객에게 최적화된 상품을 추천하는데 이때, AI와 머신러닝을 활용하여 지속적으로 갱신되는 고객 데이터에 따른 적합한 추천을 제공하고 있다.
이때 무신사는 콘텐츠 기반 필터링을 통해 색상, 스타일, 브랜드 등 고객이 선호하는 상품의 속성을 분석하고 협업 필터링을 통해서는 여러 가입자의 구매 패턴, 유사 취향을 반영하는 하이브리드 방식을 사용하고 있으며, 실시간 추천을 통해 앱, 푸시 알림, 이메일을 통해 구매 전환율을 높이고자 하고 있다.
외국의 사례를 보면, Spotify는 LLM을 사용하여 사용자의 검색 쿼리를 생성 및 최적화하여 탐색 검색 쿼리 추천 방식을 사용하고 있으며 이때 Doc2Query, InPars 기법을 활용하였다. Youtube의 경우 기존 해시기반 ID 대신, Semantic한 ID 기반 추천을 하고 있다. 비디오 인코더를 통한 고밀도 콘텐츠 임베딩을 생성하고, 이를 Semantic ID로 변환하는 기법이다.
이외에도 여러 기업에서 추천시스템 고도화를 위해 최근 많이 연구되는 LLM 및 Multimodal을 활용하고자 노력하고 있다.
앞으로의 추천시스템은 변화하는 기술 트렌드에 맞춰 고도화될 것이다. 하지만 개인 맞춤형 추천시스템 속에서도 Serendipity(우연성) 요소가 매우 중요하다.
보던 내용만 보고, 익숙한 내용만 접하게 되는 추천시스템이 아닌 보다 다양한 요소를 추천해주면서도, 개인화를 추구할 수 있는 방향이 앞으로의 추천시스템의 방향이 되어야 할 것이다.
【 청년서포터즈 8기 홍준기 】
