[이글은 예전에 검색을 통해 찾은 것인데, 출처 링크를 할려니 찾지를 못하겠네요. 혹시 문제가 된다면, 글을 삭제하도록 하겠습니다.]
정말, 인터넷 마케팅은 과연 더 과학적일까?
조 희 창 I 미국 Cornell University 박사과정
hc71[at]cornell.edu
요즘 인터넷에 관한 논의를 들어보면 모두 다 비관적이다. 한편으로는 책임론도 등장하고, 한편에서는 자성론도 있다. 모두 수긍이 가는 말이다. 그러나 돌이켜 보면 언뜻 이해가 안 되는 부분도 있다. 5, 6년 전 인터넷 사용자 5만 명도 안 되는 시점에서 미래에 대한 가능성만을 가지고 사업을 준비했던 시기와 비교하면 지금은 비록 여러 가지 어려운 문제점들을 내포하고 있다고 할지라도 훨씬 나을 수밖에 없는 시장 상황이다. 시장 규모도 수백 배 이상 커졌고, 기술적 기반도 숙성했으며, 인적 자원도 훌륭하다. 그럼에도 불구하고 사람들은 모두 비관적이고, 실제로 시장의 움직임도 불안하기만 하다.
무너진 기대, 새로운 요구
뭐가 문제일까? 여러 가지 경제적, 사회적 요인들이 있겠지만 아마도 그 중에서 가장 중요한 건 인터넷에 대한 시장의 기대가 깨졌다는 점일 것이다. 기술지향적인 시장에서, 특히 인터넷과 같이 전혀 새로운 기술을 전제로 운영되는 시장에서 미래에 대한 지속적인 가치제공은 아주 중요한 작용을 한다. 그러기에 우리는 인터넷에 대해 그간 수많은 기대와 환상을 접해 왔다.
그러나 그것이 환상이었든 가능성이었든, 또는 허구였든 간에 이제 미래에 대한 논의는 더욱 과학적이어야 함을 요구하고 있다. 또 향후 중요한 것은 옥석을 가려내는 객관적인 눈과 가능성을 현실화할 수 있는 업계, 학계 모두의 노력일 것이다. 왜냐하면 인터넷에 대해 무너진 환상을 대체할 수 있는 것은 또 다른 새로운 환상이 아니라 진보적인 과학이어야 하기 때문이다.
인터넷 마케팅은 과연 더 과학적일까? 이 질문은 지난 몇 년간 인터넷 마케팅이라는 주제를 떠 올릴 때마다 항상 품고 있던 생각이었다. 어차피 현란한 크리에이티브를 발휘하기에는 제약이 많은 미디어라면 인터넷이 효과적인 마케팅 툴(tool)로 인정받을 수 있는 방법은 보다 더 과학적이고, 그래서 더욱 나은 마케팅 효과를 제공하는 것이어야 하기 때문이다.
타깃 가능성·수시성·고객관계 강화 등 인터넷 마케팅의 수많은 가능성들을 벌써 5, 6년 전부터 계속 외쳐왔다면 이제는 과연 어디까지가 환상이고 현실인지, 그리고 어디까지가 실현 가능한 미래인지를 한번 돌이켜 볼 때가 되지 않았나 싶다.
이 글에서는 지금까지 흔히 거론된 인터넷 마케팅의 대표적 장점 중의 하나인 추천 시스템 (recommendation system)의 현주소와 그 가능성에 대해 논의하고자 한다. 많은 주제 중에서 이 주제를 택한 이유는 비교적 간단하다. 이를 지탱하는 기술적 요소가 가장 진보적이며, 또한 이에 관한 학계의 방법론적 논의도 인터넷이 등장하기 오래 전부터 이미 활발히 이루어져 왔기 때문이다. 이 글은 먼저 추천 시스템의 정의, 그리고 최근 학계의 논의와 업계의 사례, 그리고 향후 가능성을 소개하는 순으로 진행된다. 그리고 마지막으로 과연 소비자들은 정말로 과학적인 인터넷 마케팅을 원하는가에 대한 원론적인 물음과 대답이 이어진다.
추천 엔진 (Recommendation Engine)이란?
Recommendation engine이란 소비자(이용자)와 제품 또는 서비스 사이에 최상의 궁합(fit)을 예측, 제공하는 알고리즘을 말한다. 한마디로 특정 소비자의 취향(preference)에 맞는 제품 및 서비스를 예측하여 추천(re-commendation)해 주고, 이를 통해 마케팅의 최종적인 목적인 제품 판매를 끌어내는 시스템인 것이다. 시간에 쫓기고 방대한 정보 속에서 헤매는 소비자들에게 이와 같은 추천 시스템은 분명히 유용한 수단임에 틀림없다. 게다가 정보의 바다라고 불리는 인터넷의 경우 이러한 추천 시스템은 소비자에게 부담되는 탐색 비용(search cost)를 줄여준다는 점에서 더 진가를 발휘할 수 있다.
인터넷 마케터로서도 요즘같이 경쟁이 심화되는 인터넷 시장에서 보다 더 정교한 프로모션 메시지를 통해 제품의 판매를 늘리고 소비자 충성도를 담보한다면 굉장히 매력적인 수단임에 틀림없을 것이다. 그래서인지, 이러한 추천 시스템은 요즘 쇼핑 사이트에서는 (로)봇 ((Ro)Bot)이라는 이름으로 많이 사용되고 있으며, 서치 엔진에서는 관련성이 적은 정보를 걸러내고 오차를 줄임으로써 탐색 결과의 수준을 높이는 데 사용되고 있다. 예를 들어 Amazon.com이나 Barnesandnoble.com은 추천엔진을 이용해 소비자들에게 음반과 도서를 추천해 주고 있으며
추천 시스템의 매력과 효과는 이미 여러 쇼핑 사이트에서 직접 매출 신장으로 보고된 바 있다. 일례로 home entertainment equipment의 마케팅 회사인 800.com은 지난해 holiday 세일이 61%나 성장하여 1/4분기 수익이 무려 2천 2백만 달러나 증가하였다. 또한 마케팅 비용도 30%나 절감하였다. 이 회사의 관계자는 “직접마케팅(direct mearketing) 전략과 함께 collaborative filtering을 이용한 personalization tool이 주요 원인”이라고 그 배경을 설명하고 있다. 즉, 소비자가 보고 있는 제품 페이지 하단에 추천 엔진에 의해 선정된 다른 제품 정보를 같이 제공한 것이 판매 급신장의 요인이었던 것이다.
이와 같은 장점 때문에 해외는 물론 국내에서도 이미 많은 기업들이 추천 시스템 개발에 매달리고 있다. 하지만, 한편에서는 이와 같은 추천 엔진의 사용에 대한 부정적인 견해를 보이는 사람들도 적지 않다. 아직 이 기술을 이용하기에는 미숙한 점이 많고 어설픈 기술을 사용하다가는 자칫 소비자들로부터 외면당하기 십상이라는 주장이다. 그렇다면 추천 엔진이라는 마케팅 툴은 지금 어디까지 발전했을까? 항상 그렇듯이 그 대답을 위해서는 보다 심층적인 분석이 필요하다.
추천 엔진의 기반 -collaborative and content filtering
Recommendation engine을 구축하는 방식으로는 collaborative filtering과 content filtering(attribute-based filtering)이란 기법이 현재 가장 널리 쓰이고 있다. collabo-rative filtering은 타깃 소비자와 유사한 소비 취향이나 행동양식을 보이는 소비자 그룹을 분류한 후 이들 그룹이 선택한 제품을 해당 소비자에게 추천하는 형태를 취한다. 쉽게 얘기하면, 서로 취향이 비슷한 소비자들끼리 자신의 경험에 근거해 적합한 상품이나 정보를 주고받자는 컨셉트인 것이다.
반면 content filtering은 제품의 특성에 대한 개별 소비자의 취향이나 선호도를 파악해 이에 근거한 예측 모델을 제공한다. 예를 들어, 특정 취향의 추리소설을 계속 구입해 온 독자에게는 19세기의 미술사 이론보다는 이와 비슷한 취향의 미스터리물, 또는 비슷한 장르의 책을 추천해 주는 것이 구매로 이어질 확률이 높다는 것이다.
경우에 따라서 이와 같은 추천 시스템은 소비자나 마케터에게 아주 유용한 수단이 될 수 있다. 그 예로서 비디오 대여점의 경우를 보자. 많은 경우 우리는 비디오대여점에 갔다가 막상 보고자 하는 최신작이 없어서 그냥 빈손으로 집에 돌아온 경험을 갖고 있다. 혹시 다른 볼 만한 비디오가 없나 하고 대여점을 한번 둘러보긴 하지만 어느 걸 봐야 할지 도대체 감이 안 잡혀서 망설이다가 포기한 경험은 누구나 한번쯤 있을 법하다. 사실 이 경우 소비자들이 선택할 수 있는 상품의 종류는 수천 개이다. 또한 상품을 선택할 때 고려해야 될 요소도 취향에 따라 다르고 일일이 주어진 정보를 탐색하기에는 시간도 없다.
그런데 전문가의 추천은 좋은 가이드 라인을 제공하기도 한다. 즉, 비디오 표지에 붙어있는 영화평을 읽는다든지, 비디오대여점 주인으로부터 추천을 받는다는지 하는 것이다. 하지만 이 경우에도 많은 사람들은 낭패를 겪곤 한다. 아주 재미있다고 해서 빌려 왔지만 막상 보고 나서는 시간만 아까웠다는 생각이 드는 게 한두 번이 아니다. 왜냐하면 그러한 추천은 다분히 개인적인 경험이나 느낌에 근거한 것이므로 해당 소비자에게 유용한 정보를 제공하기에는 편견이 있을 수 있기 때문이다.
그러나 만약 비디오대여점 주인이 개별 소비자들의 비디오 대여 취향을 정확하게 파악하고 있다면 어떨까? 게다가 소비자 A와 아주 비슷한 취향 및 구매 패턴을 지닌 소비자 그룹을 선택하여 그들이 즐겨본 비디오를 추천한다면? 추천 시스템은 바로 이와 같은 가능성을 현실화하는 기법이다.
해결되어야 할 몇 가지 문제점들
일견 그럴듯해 보이지만, 이러한 추천 시스템이 성공적인 마케팅 툴로 자리잡기에는 몇 가지 해결해야 할 문제들이 있다. 첫째로, 마케터는 소비자의 취향 및 활동 패턴을 모델링할 수 있는 충분한 데이터를 확보해야 한다. 가령 앞의 비디오대여점의 경우, 컴퓨터에 기록된 고객의 대여 기록(purchasing data)은 좋은 자료가 될 수 있다. 하지만 일정 정도의 믿을만한 예측 모델을 만들려면 수십, 수백 만의 사용자들의 구매행태 기록은 물론, 그들의 인구 통계학적, 정성적인 데이터를 확보해야 한다.
이때 인터넷은 이와 같은 데이터를 확보할 수 있는 중요한 창고이다. 알다시피 소비자들이 어느 웹사이트를 방문했는지는 coo-kie나 proxy server log on file을 이용해서 쉽게 확보할 수 있다. 문제는 믿을만한 추천 모델을 만들기 위해서는 이와 같은 정보(clickstream data)외에 소비자들의 과거 행위에 대한 회상(recall), 제품 선호도 조사, 또 개별 판매 사이트에 흩어져 있는 구매 행위 기록, 그리고 구매한 제품에 대한 만족도 조사 등 개별 마케터로서는 쉽게 구하기 힘든 데이터 확보가 요구된다는 점이다. 또 설령 데이터가 확보됐다 하더라도 이와 같이 방대한 양의 정보를 가공 처리(datamining)하는 일은 고도의 기술적 노하우가 필요하다.
두 번째로 중요한 것은 추천 엔진의 기술적 기반인 인공지능(artificial intelligent) 기술이 아직 불완전하다는 것이다. 추천엔진 개발에 필요한 인공지능 기능이 기존의 컴퓨터 프로그램과 다른 점은 이들이 사람의 행동을 비슷하게 흉내내는 것을 목표로 하고 있다는 점이다. 인간이란 어떤 일을 판단함에 있어 반드시 단계적인 절차를 밟지는 않는다. 특히 상품 소비에 있어서 소비자들이 반드시 논리적인 구조를 통해서 상품 선택을 하지 않는다는 것은 주지의 사실이다. 따라서 이를 모델링하는 컴퓨터 프로그래밍 방법도 기존과 같이 순차적인 방식을 따르지는 않아야 하기 때문에 상대적으로 프로그래밍이 어렵고 시간이 많이 걸릴 수밖에 없는 것이다.
한 가지 예를 들어보자. 인공지능 연구의 첨단주자 중 하나인 MIT 공대의 인공지능 연구실에서는 탁구를 치는 로봇을 개발하고 연구원들이 흥분하여 담당교수를 불러왔다. 그리고 시연을 통해 정말 로봇이 탁구공을 제대로 인식하여 서로 공을 주고받는 모습을 보여주었다. 이에 흥분한 교수가 로봇을 자세히 보기 위해 가까이 얼굴을 들이밀자 마침 대머리였던 교수의 머리를 탁구공으로 인식한 로봇이 탁구채를 세게 휘둘러 그 교수를 기절시킨 이야기는, 아직도 인간을 정확히 닮아 행동하는 로봇의 인공지능 제작이 얼마나 어려운 것인가를 보여주는 단적인 예라 하겠다.
아직까지 이들 에이전트의 학습기능은 매우 초보적인 수준이어서 만족할 만한 지능을 보여주지는 못하고 있다. 하지만 최근 들어 그 발전 속도가 더해가고 있는 인공신경망(artificial neural network) 프로그래밍 기술을 이용한 에이전트들이 개발되고 있으므로 보다 나은 수준의 에이전트 등장이 그리 멀지는 않았으리라 본다.
셋째로, 전문가들은 인공지능에 근거한 추천 엔진의 몇 가지 근본적인 단점들을 언급하고 있다. 가령 collaborative filtering은 특정 제품에 대한 다른 이들의 선호도에 기반하고 있기 때문에 신제품은 추천할 수 없다는 점이다. 또한 구입한 물품이 선물용일 경우, 또 소프트웨어가 이를 인식하지 못할 경우 전혀 엉뚱한 데이터가 입력된다는 것 또한 단점으로 지적되고 있다. 이같은 경우를 위해 쇼핑 사이트들은 무료 선물포장이나 카드를 제공하여 소비자가 이를 선택할 경우 소프트웨어에 따로 인지를 하도록 하고 있다.
아울러 제품의 종류가 너무 다양하여 제품끼리의 연관성이 적은 경우는 collaborative filtering이 효과적이지 않다고 볼 수 있다. 또한 제품끼리 서로 작동에 의한 연관성이 있는 경우, 예를 들자면 컴퓨터의 경우 프로세서에 따라 주변 기기가 정해지므로 이런 경우에는 collaborative filtering을 쓰면 전혀 엉뚱한 추천을 하는 경우도 생긴다.
마지막으로, 인공지능은 엄밀히 말하면 통계적 방안에 기반을 두고 있지 않다. 따라서 예측된 결과(추천된 상품 아이템)가 얼마나 정확한가에 대한 판단 기준도 서있지 않고 또한 그 예측을 가능케 한 논리도 설명이 불가능하다. 영화나 음반같이 리스크가 적은 상품이면 상관없지만 만약 선택결정이 매우 중요한 물품이라면 이와 같은 정보의 결핍은 매우 큰 약점이 될 수밖에 없다.
추천 엔진의 발전 방향
앞에서 열거한 바와 같은 문제점을 보완하기 위해서 학계나 업계에서는 많은 방안이 연구되고 있다. 그 중 한 가지는 collaborative filtering과 individual-based approach를 결합하는 것이다. 소위, markov-chain monte-carlo(MCMC)를 이용한 ‘hierar-chical bayesian recommendation system’이라고 불리는 이 방법은 소비자들의 취향이나 행동 패턴 정보 외에 전문가들의 의견, 소비자의 정량적·정성적 특성, 그리고 제품의 특성 등 좀더 다양한 정보를 기반으로 추천시스템을 운영한다. 실제로 한 연구결과에서는 collaborative filtering을 통하여 실지 구매가 이루어진 것이 50~60%에 그친 데 비해 이 새로운 방식을 도입했을 때는 약 80%의 구매 성공률을 보여 보다 효과적인 툴(tool)임을 증명하고 있다.
소비자간의 커뮤니티 형성도 인공지능에 기반한 추천 엔진의 허점을 메워줄 수 있는 대안으로 제시되고 있다. 가령 성향이 비슷한 사람들에게 온라인 커뮤니티를 제공해주면 처음에는 비교적 다른 소비 패턴을 보이던 사람들도 점차 더욱 동일한 소비 패턴을 보인다는 조사 결과가 있었다. 그런데 이러한 온라인 커뮤니티에서 제공되는 제품 추천은 보통 상품 리뷰(review)보다 해당 커뮤니티의 멤버들에게는 훨씬 설득력이 있기 때문에 구매에 상당한 영향을 미칠 것으로 예상된다. 특히 이러한 커뮤니티 안에는 오피니언 리더라든지 영향력 있는 소그룹들이 자연 발생하게 되므로 이러한 개인을 이용한 마케팅 전략의 효과는 아주 높다고 할 수 있겠다.
소비자들은 과학적인 마케팅을 좋아할까?
지난 수십 년간 마케팅 과학이 급변, 진보했음에도 불구하고 결코 변하지 않은 절대 명제는 결국은 소비자들이 과학의 옳고 그름을 결정한다는 것이다. 마찬가지로 제 아무리 인터넷 마케팅이 과학적이고 첨단을 달린다고 해도 정작 소비자들이 외면한다면 이는 모두 공염불인 것이다. 그간 인터넷 시장은 기술 지향적인 시장이었다. 그래서인지는 몰라도 인터넷 마케팅에 관한 그간의 논의도 그 궁극적인 지향점이 소비자임에도 불구하고 과연 소비자들이 해당 기술을 선택할 것인가는 오히려 언급되지 않은 면이 많았다.
최근의 한 조사 결과는 앞서 언급된 추천 시스템에 대한 소비자들의 시큰둥한 반응을 보고함으로써 인터넷 업계에 경종을 울린 바 있다. 최근 300명의 온라인 소비자를 대상으로 한 조사에서 소비자들은 컴퓨터가 자신의 취향과 기호를 알아내어 자신이 틀림없이 좋아할 제품을 추천받는 놀라움과 기쁨(?) 을 누리기보다는 웹 사이트를 자신의 기호에 맞게 스스로 맞추는 customization을 선호하는 것으로 보고되었다.
Customization 과 personalization은 개인의 기호와 취향에 맞춘 ‘맞춤 서비스’라는 점에서는 일맥상통하지만 행위의 주체가 누구냐라는 점에서는 서로 180도 다른 서비스이다. customization은 소비자 스스로가 개인의 취향에 따라 웹 사이트의 디자인이나 내용을 지정하는 서비스이다. 예를 들면 MyYahoo처럼 소비자가 날씨·주식·뉴스 등의 콘텐츠를 자신의 필요에 맞게 지정할 수 있도록 하는 서비스이다.
이와는 반대로 personalization은 소비자의 지시에 의존하지 않고 인공지능을 이용하여 해당 소비자들의 성향을 도출하는 방식이다. 최근 personalization과 customi-zation에 대한 소비자의 반응 조사에서 소비자들은 스스로 통제할 수 있는 customization을 더 선호하는 것으로 나타났다.
한 사례로, customization을 제공하는 사이트와 personalization을 제공하는 두 온라인 식료품 사이트를 사용하게 한 후 각각의 반응을 측정한 결과 6%의 소비자만이 personalization 사이트를 선호한다고 답한 바 있다. 뉴스 사이트·투자 사이트·스포츠 사이트를 대상으로 한 조사 또한 비슷한 결과를 보고하고 있다.
이와 같이 personalization 사이트에 대한 소비자들의 낮은 선호도는 아직은 인공지능 기술이 기대에 미치지 못하고 있으며 한편으로는 customization이 기대 이상의 적절한 마케팅 툴이 될 수 있음을 시사하고 있다. 소비자들은 customization에 드는 시간이 낭비라고 생각할 것이라는 견해 때문에 많은 인터넷 업체들이 personalization으로 방향을 전환하고 있지만 소비자들은 피부로 느끼는 가치가 있으면 투자를 하게 된다. 실제로 조사에 참여한 93%의 소비자들은 한 개 이상의 customi-zation 사이트를 가지고 있으며, 25% 이상은 4개 이상의 customization 사이트를 가지고 있는 것으로 나타났다.
맺음말
지금까지 우리는 인터넷 마케팅의 가장 대표적 주자격인 personalization과 추천 엔진에 대해 알아보았다. 인터넷에 대한 논의는 현재 진행형이고 미래지향적이어야 한다. 그렇기에 그 변화를 일으키는 축이 무엇인가에 대한 논의는 좀더 진지하게 이루어져야 한다. 그렇다면 처음의 문제 제기로 돌아가서, 과연 인터넷 마케팅은 더 과학적인가? 아마도 대답은 “yes”. 그럼 인터넷 마케팅은 더 효과적인가? 글쎄... 그 명확한 대답을 구하는 일은 아마도 우리 모두의 숙제가 아닐까 싶다.