[독서 기록📚] 비전공자도 이해할 수 있는 AI 지식 (7): 추천 알고리즘

9. 추천 알고리즘 - 알 수 없는 유튜브 알고리즘이 여기로 이끈다 

---

추천 서비스, 넷플릭스에서 유튜브까지 

넷플릭스는 추천 알고리즘에 꾸준히 투자해왔고, 지금은 넷플릭스 시청의 80%가 추천을 거쳐 이뤄집니다. 넷플릭스도 유튜브처럼 서비스 전체가 추천으로 구성되어 있다 해도 과언이 아닙니다. 넷플릭스를 벤치마킹한 우리나라의 왓챠 플레이도 마찬가지죠. 팔로워의 리스트에 있는 영화를 추천해주는 등 방식만 조금 다를 뿐, 추천을 기반으로 서비스를 구성하고 있다는 점은 사실상 넷플릭스와 동일합니다.

 

스포티파이는 추천 알고리즘의 이름을 BaRTBandits for Recommendations as Treatments로 지었는데, 직역하면 ‘(고객을) 만족시키는 여러 가지 추천 시도’ 정도가 됩니다. 고객이 만족할 때까지 다양한 음악을 추천해주겠다는 거죠. 실제로 추천 시스템을 실험한 논문3에 따르면, 플레이리스트를 랜덤으로 했을 때에 비해 청취율이 40% 정도 더 높았다고 합니다.

페이스북 

이제 뉴스피드는 정교한 추천 알고리즘에 따라 어떤 게시물을 먼저 보여줄지 결정합니다. 누가 게시했는지, 게시자가 영향력 있는 인물인지, 내가 선호하는 게시자인지, 평소에 ‘좋아요’나 댓글을 주고받는 사이인지 등 모든 면을 종합하여 뉴스피드에 노출할 확률을 계산합니다. 게시물이 반응이 좋다면, 예를 들어 ‘좋아요’가 많이 달리거나 사용자가 오랫동안 머무는 게시물이라면 그 게시물은 뉴스피드에 오랫동안 노출되기도 합니다.

추천시스템의 원조: 아마존 

추천 시스템의 핵심은 사용하면 할수록 정교해진다는 데 있습니다. 데이터가 늘어나고 정보가 많아질수록 훨씬 더 정확한 추천이 가능하죠. 전체 매출에서 추천 시스템이 차지하는 비중은 상당히 높습니다. 아마존 제품 판매의 35%는 추천에서 발생한다고 하니까요. 아마존의 추천 방식은 매우 다양합니다. 최근에 살펴본 상품과 유사한 상품을 추천하고, 상품 조회 목록을 기반으로 추천하기도 하며, 이 상품을 구매한 사람이 함께 구매한 상품을 추천해주기도 합니다.

 

---

추천 서비스를 하는 이유 = 사람들의 기호에 강한 '연관성'이 있기 때문 (๑╹o╹)✎

맥주와 기저귀는 함께 팔린다 

이처럼 고객의 구매 내역을 분석하는 방식을 장바구니 분석Market Basket Analysis이라고 합니다. 꽤 잘 어울리는 이름이죠. 상품 간의 연관성을 분석했다고 하여 연관성 분석이라고도 합니다.
이는 데이터 마이닝Data Mining이라는 학문의 기반이 됩니다.

추천 시스템의 시작 

1) 콘텐츠 기반 필터링 : 내가 선호하는 영화와 비슷한 영화를 추천하는 방식

= 코사인 거리가 가장 가까운 영화를 비슷한 영화로 추천

= 단점 : 영화의 특징 분류하는게 보통 일 아님 / 다른 카테고리 영화를 추천하지 못함 

 

2) 협업 필터링: 나와 비슷한 고객이 시청한 영화를 추천하는 방식

 

* 협업 필터링의 1가지 기법: 행렬 인수분해 

행렬 인수분해는 숨어 있는 특징을 자동으로 추출하기 때문에 이를 두고 잠재요인Latent Factors을 발굴해낸다고 표현합니다. 예제는 K=2이므로 2가지 잠재요인을 발굴해낸 거죠. 실제로 쓰일 때는 K=25, 적어도 25개 이상의 잠재요인을 발굴해내며 이 과정에는 사람이 개입하지 않고 컴퓨터가 자동으로 찾아냅니다.
계산에 필요한 데이터는 평점 정보입니다. 평점 정보가 많을수록 이들의 관계를 컴퓨터가 더욱 정교하게 찾아낼 수 있죠. 유사한 평점을 받은 영화 데이터를 학습하다 보면 비슷한 장르끼리 비슷한 점수를 부여받는 경우를 자동으로 발견해냅니다. 자동으로 계산하기 때문에 특징은 25개가 아니라 100개라도 문제가 없습니다. 다만, 특징의 개수를 크게 지정하려면 그만큼 훨씬 더 많은 데이터가 필요합니다.

 

* 유튜브 알고리즘 

유튜브는 사람들이 오래 시청하는 영상을 추천하도록 보상 함수를 개선했다고 밝힙니다. 그뿐 아니라 ‘이어 보기’에도 매우 높은 가중치를 부여했죠. 보상은 기존처럼 ‘많이 클릭’하는 게 아니라 ‘덜 클릭하고, 더 오래 보는’ 영상에 집중했고, 실제로 영상의 품질을 높이는데 많은 도움이 되었습니다.

그래서 뜻밖의 발견Serendipity이 중요합니다. 멋진 영어 단어만큼이나 설레는 표현이기도 하죠. 여기에는 2가지 조건이 충족되어야 합니다. 지금까지 본 적 없는 것이어야 하지만, 희한하게도 마음에 드는 것이어야 하죠. 다시 말해 나에게 편하고 익숙한 구역 바깥에 있어야 하지만 또 아예 엉뚱하지는 않아야 합니다. 참, 어렵죠. 하지만 많은 사람들이 “알 수 없는 알고리즘이 여기로 이끌었다”라고 자주 감탄하는 것은 그래도 이 2가지 조건을 잘 만족하고 있다는 거겠죠? (