LiFiDeA의 검색 이야기 

연초에 시작한 삶의 행복도 측정 실험이 별써 8주, 두달째를 맞이했습니다. 오늘은 그간의 결과를 돌이켜보고 앞으로를 계획하고자 합니다. 

전체 결과
우선, 1~2월의 주요 지표에 대한 월간/주간 수치를 알아봅시다. 우선, 아래 표는 지난 두달간의 주간 / 월간 결과를 요약합니다. 2월의 기상시간이 많이 늦어졌지만, 저녁 시간대를 위주로 만족도가 전반적으로 개선된 것을 볼 수 있습니다. 결론적으로 2월의 평균 행복도는 전달에 비해 눈에띄게 올라간 것으로 나타났습니다. 결정적으로, 1월에 가장 큰 문제였던 저녁시간 활용을 많은 부분 해결했습니다. 

최근에 산업체 연구소에 지원을 시작했습니다. 지원하는 회사 중 대형 전자상거래 업체가 있는 관계로 '추천 시스템(Recommendation System -- 이하 RecSys)'에 관심을 가지게 되었습니다. 추천 시스템이라는 분야 및 RecSys라는 컨퍼런스는 알고 있었지만, 좀더 자세히 들여다보면서 검색 분야와 재미있는 차이 및 연관성을 발견할 수 있었습니다. 오늘은 검색의 사촌(?)이라고 할 수 있는 RecSys라는 분야에 대해 소개해볼까 합니다.

추천 시스템 개관

우선 추천 시스템 및 연구의 흐름을 살펴봅시다. 넷플릭스 시스템이 사용자에게 다음에 볼 영화를 추천하는 것, 혹은 아마존이 초기화면 및 상품 페이지에 'You might be interested…'라는 식으로 구매를 유도하는  것이 추천 시스템의 대표적인 사례입니다. 더 자세한 소개는 위키피디아 아티클을 참고합시다.

최근에 읽은 Recommender Systems: An Introduction이라는 책에는 추천 시스템 연구에 대한 최근 동향이 잘 소개되어 있습니다. 이책에 따르면, 사용자 집단의 품목 선호도를 바탕으로 사용자가 아직 경험하지 못한 품목을 추천하는 문제에서 추천 분야의 연구가 시작되었다고 합니다. 사용자 집단에 대한 정보를 개별 사용자의 품목 추천을 위해 사용한다는 의미에서 이를 Collaborative Filtering이라고 통칭합니다. 

Collaborative Filtering은 결국 User-Item Matrix에서 아직 관찰되지 않은 값은 예측하는 문제로 귀결되는데, 사용자 혹은 항목간의 Similarity를 기반으로 예측하는 Memory-based Approach와 Matrix 전체를 대상으로 예측을 위한 알고리즘을 적용하는 Model-based Approach가 있습니다. Memory-based Approach가 복잡성이나 효율면에서 우위를 갖지만, Model-based Approach가 적은 데이터에서 더 잘 동작하며, 전반적으로 더 나은 성능을 내는 것으로 알려져 있습니다.

전통적인 검색 모델에서는 Query와 문서의 유사도를 바탕으로 문서를 랭킹하기에, 여기까지는 검색과 추천이 상당히 다른 이야기입니다. 하지만 추천을 하기에 충분한 양의 선호도 및 기타 정보가 존재하지 않는 경우, 사용자의 프로파일과의 매칭을 바탕으로 추천 결과를 생성하는데, 이를 Content-based Approach라고 부릅니다. 이 경우 매칭을 위해 TF-IDF, 혹은 이와 유사항 Metric을 사용하기 떄문에 결국은 사용자의 프로파일이 질의어가 되는 검색이라고 볼 수도 있습니다. 

이외에도 다양한 추천 기법이 존재하는데, 예컨데 디지털 카메라 선택과 같이 특정 도메인의 지식이 필요한 경우, 이를 직접 모델링하는 (예를들어 가격에 민감한 사용자에게 Low-pixel 카메라를 추천) Knowledge-based Approach도 눈여겨볼만 합니다. 최근에는 위에서 설명한 여러 기법을 결합하여 성능을 향상시키는 Hybrid Approach가 주로 사용되는데, 이는 검색 Feature를 기계학습을 통해 결합하는 Learning-to-Rank기법과 유사합니다. 
 

검색 vs. 추천?

이처럼 추천과 검색은 비슷하면서도 다른 문제입니다. 검색에서는 질의어와 품목(주로 문서)를, 추천에서는 사용자와 품목(주로 상품)을 매칭합니다. 검색이 사용자가 입력한 질의에 대한 응답으로 이에 적합한 문서를 찾는 반면, 추천은 사용자의 선호도 정보를 바탕으로 (굳이 사용자의 요청이 없이도) 품목을 추천하여 사용자의 의사결정을 돕는 것을 목표로 합니다. 검색과 추천 리서치 커뮤니티의 주요 컨퍼런스 역시 전혀 다릅니다. 

하지만, 검색과 추천이라는 전통적인 사고의 틀을 조금만 벗어나면 이 둘의 유사성이 눈에 들어옵니다. 우선 검색과 추천 둘다 대상은 다르지만 (Query-Item / User-Item) 유사도 분석을 필요로 하는 매칭의 문제입니다. 또한 개인화 검색에서는 사용자의 선호도를 직접 모델링하니, 추천과 검색의 Hybrid라고 볼 수 있습니다. 반면에, 많은 추천 시스템에서 키워드 검색을 함께 제공하고 있습니다. 아래 표는 검색과 추천의 유사점과 차이점을 요약합니다. 

검색 + 추천

여기까지 읽으신 분이라면 어느정도 감을 잡으셨겠지만, 검색과 추천은 목표에 있어서나 기법상으로나 연관성이 많은 분야입니다. 위에서 언급한 Content-based Recommendation이나 Personalized Search같은 경우에는 이미 검색과 추천의 구분이 별 의미가 없습니다.

굳이 나누자면, 사용자에 대해 별 정보가 없고 사용자의 정보욕구가 질의어를 통해 잘 표현되는 경우 검색 기법이, 사용자에 대한 정보가 많이 존재하여 사용자의 정보욕구에 대한 좀더 정확한 예측이 가능할수록 추천 기법이 유용하다고 볼 수 있습니다. 아래 다이어그램은 어떤 상황에서 검색과 추천 기법이 적용가능한지를 나타냅니다.

시스템 관점에서는 이렇게 검색과 추천을 구분할 수 있습니다만, 사용자의 입장에서는 시스템이 자신이 찾는 정보를 보여주는 것과 알아서 자신에게 정보를 보내주는 것이 둘 다 중요할 것입니다. 따라서, 제대로 된 서비스를 위해서는 검색과 추천 기능이 모두 필요할 텐데, 여기서 중요한 것이 검색과 추천 기능의 통합입니다. 

여기서 통합은 단순히 두 기능을 동시에 제공하는 것이 아니라, 두 기능의 동작을 유기적으로 결합하는 것을 뜻합니다. 예컨데, 사용자가 추천 알고리즘의 결과에서 어떤 항목을 선택했다면, 이를 검색 결과에도 반영하고, 반면에 검색 질의어 및 선택결과가 추천 결과에도 반영되는 것입니다. 검색을 검색으로, 추천을 추천으로 바라보는 기존 시각으로는 이렇게 검색과 추천을 아우르는 사용자 경험을 제공할 수 없을 것입니다.

마치며 & 관련자료

오늘은 검색과 사촌간이라고 할 수 있는 추천 시스템 연구를 검색과의 비교를 통해 알아보았습니다. 궁극적으로는 사용자와 시스템의 모든 인터렉션을 바탕으로 프로파일을 구성하고, Siri와 같은 사용자에게 친화적인 인터페이스를 통해 개인화된 서비스를 제공하는 것이 검색 및 추천 연구의 비전일 것입니다. 위에서 언급한대로, 이런 비전을 현실화하기 위해서는 여러 분야로 파펀화된 연구성과를 융합해야 할 것입니다.

RecSys 역시 검색처럼 상업 애플리케이션이 활발한 분야라 관련 Tutorial이나 Survey가 많습니다.  더 자세한 소개는 위에 언급한 책 및 다음에 소개하는 주요 논문을 참고하시기 바랍니다. 

• Evaluating collaborative filtering recommender systems
  Beyond Algorithms: An HCI Perspective on Recommender Systems
  Collaborative Prediction and Ranking with Non-Random Missing Data

p.s. 강민석( @minsuk1015 )님께서 CACM에 나온 관련기사를 추천해 주셨습니다. 

오랜만의 책소개입니다. 오늘은 "How to Measure Anything"이라는 제목의 (실용서를 가장한) 통계학 책입니다. 물론 '측정'에 관심있는 분들에게는 실용서가 되겠지만, 저는 통계학 교과서보다 통계 이론의 요점을 더 명쾌하게 전달하는데 가장 높은 점수를 주고 싶습니다. 

이 책은 제목 그대로 '모든 것은 측정할 수 있다'는 명제에서 출발합니다. 저자의 핵심 주장은 결국 측정이란 어떤 종류의 의사결정을 뒷받침하기 위한 수단이며, 어떤 종류의 측정이건 의사결정의 불확실성을 낮춰줄 수 있다면 유효하다는 것입니다. 예컨데 인간의 지능을 정확히 측정하기란 불가능에 가깝겠지만, 두 사람중 누구를 채용할 것인가를 결정하는 데에 필요한 정보를 얻는 것을 훨씬 쉽다는 것입니다. 이 책에서 제시하는 정의를 몇가지 살펴봅시다.

Measurement : 
  A quantitatively expressed reduction of uncertainty based on one or more observations.

Uncertainty :
  The lack of complete certainty; the existence of more than one possibility

Risk :
  A state of uncertainty where some of the possibilities involve undesirable outcome.

이를 바탕으로, 이 책은 모든 종류의 측정 문제에 적용할 수 있는 5단계 지침을 제공합니다. 우선 의사결정 및 측정 대상을 명확히 하고, 현재 지식 수준을 파악한 후, 의사결정을 위해 추가적인 정보가 얼마나 필요한지 추정합니다. 마지막으로 적절한 측정 수단을 사용하여 정보를 얻고 결정을 내리는 것입니다. 

• Define a decision problem and relevant uncertainties
• Ask first : 'What is your dilemma?' instead of 'How do we measure X?'
• Determine what you know now
• Describe your uncertainty in terms of ranges and probs.
• Assess the risk involved in the decision
• Compute the value of additional information
• How much of risk can it reduce?
• Apply the relevant measurement instrument(s) to high-value measurements
• Until the economically justifiable amount of uncertain is removed
• Make a decision and act on it
• Track results and return to step 1

이렇게 나열해보면 '코끼리 냉장고 넣기'처럼 자명해 보이지만, 대부분의 경우 어떤 문제를 풀기 위해 어떤 측정값이 얼마나 많이 필요한지 생각하지 않고 무작정 측정에 들어가는 경우가 많기에, 이 책의 조언은 유의미합니다.

이 책에서는 이밖에도 통계에 관한 여러 팁을 제공합니다. 예컨데, Rule of Five는 모집단의 크기에 관계없이 5개의 측정값만 있다면 집단의 중간값(median)의 범위를 (측정값의 최소 및 최대값 사이) 93%의 정확도로 예측할 수 있다는 것입니다. 또한 모집단 전체 크기를 측정할 수 있는 Catch-recatch, 모집단내 측정 부분집합의 비율을 측정하는 Population proportion sampling등의 방법도 소개됩니다. 

측정되지 않는 것은 개선할 수 없다는 데밍의 말을 인용하지 않더라도, 데이터에 근거한 의사결정은 비즈니스 혹은 검색, 추천 등 인공지능 시스템 설계에 핵심적인 역할을 합니다. 제가 최근에 시작한 Self-tracking역시 삶의 만족도를 일종의 Measurement Problem으로 접근하는 시도입니다. 

7주차 반성 및 계획
앞으로 주간 반성은 독립된 포스팅으로보다는 다른 포스팅에 뭍어 올리려 합니다 ;-) 이번주는 WSDM에서 돌아온 직후 월요일에 SIGIR 논문 마감으로 (전례없이) 밤을 새야했고, 그 이후는 시차 적응 및 인터뷰 준비로 시간을 보냈습니다. 주 막바지에 약간의 오점(?)을 남기기는 했지만, 전체적으로 무난히 보낸 한주였습니다. 

이번주 배우고 느낀점은 위 서평으로 대신할까 합니다.^^ 

지난주에는 시애틀에서 열린 WSDM학회에 다녀왔습니다. WSDM은 올해로 5회째를 맞는 젊은 학회이지만, 비교적 적은 양의 논문을 Single Track 형식으로 발표하여, 참가자들간의 활발한 소통이 이루어지는 것이 특징인 학회입니다. 저에게는 작년 여름의 인턴 프로젝트 및 연구실에서 공저한 논문을 발표하고, 진로 모색을 위해 사람들을 만나는 자리였습니다. 학회 일정을 돌아보며 배운 점을 기록하고, 마지막에 주간 리뷰를 적어볼까 합니다 ;)

Doctoral Symposium 
Doctoral Symposium은 학위과정에 있는 대학원생들이 논문 주제에 대해 발표하고 학계 Senior들의 의견을 들을 수 있는 자리입니다. 논문을 마쳐가는 저같은 사람보다는 한창 진행중인 학생들을 위한 자리이지만, 오후에 열리는 Career Workshop에서 연구 및 진로에 대해 학계 및 산업계 종사자인 패널의 다양한 의견을 들을 수 있었습니다. 

우선 흥미있었던 주제는 Engineering, Applied Science, Basic Science의 경계에 관한 것이었습니다. 과학은 새로운 지식이나 원리를 발견하고, 공학은 이를 현실 문제에 적용한다는 것이 교과서적 대답입니다. 하지만 실제로는 원리 발견을 위한 노력이 문제 해결에 가장 큰 Impact를 가져오기도 하고, 현실적인 문제 해결이 새로운 발견의 지름길이 되기도 하니, 이들간의 뚜렸한 경계를 짓기란 쉬운 일이 아닙니다. 

물론 이 모든 것을 다할 수 있으면 좋겠지만, 모든 직업을 다 가질수는 없으니 어느 시점에서는 선택을 해야 합니다. 하지만, 성공한 과학 / 공학자인 패널중 상당수가 처음에 학자로서 경력을 시작하여 어느 시점에 업계에 투신하는 경험을 이야기했습니다. 학문의 존재이유가 궁극적으로 현실 세계에 긍정적인 영향을 끼치기 위함이라면, 현실 세계의 문제를 직접 해결하는 일에는 분명 보람이 있을 것입니다. 

 WSDM Conference
최근 IT 전반의 주요한 트렌드인 '소셜' 열풍은 WSDM 본 학회에서도 예외가 아니었습니다. 많은 논문들이 소셜 데이터를 가지고 다양한 분석 및 테스크를 수행했습니다. 트위터 데이터에서 사람이나 장소등의 엔티티를 추출하는 논문만 수편에 달했습니다. 또한 다양한 소셜 서비스가 생기다보니 여러 소셜 서비스의 데이터를 묶어서 분석한 논문이 많았는데, Groupon딜이 소매업체에 미치는 영향을 Yelp리뷰와 Facebook Like를 가지고 추측해보는 식입니다. 

Identifying Content for Planned Events Across Social Media Sites

Hila Becker, Dan Iter, Mor Naaman and Luis Gravano

 

Daily Deals: Prediction, Social Diffusion, and Reputational Ramifications

John Byers, Michael Mitzenmacher and Georgios Zervas

또한 WSDM의 전통적 주제인 클릭 모델에 대한 논문도 많이 눈에 띄었습니다. 기존의 클릭 모델에 각기 다양한 요소를 추가한 것을 볼 수 있습니다. 

Incorporating Revisiting Behaviors into Click Models

Danqing Xu, Yiqun Liu, Min Zhang, Shaoping Ma and Liyun Ru

 

A Noise-aware Click Model for Web Search

Weizhu Chen, Dong Wang, Yuchen Zhang, Zheng Chen, Adish Singla and Qiang Yang

 

Personalized Click Model through Collaborative Filtering

Si Shen, Botao Hu, Weizhu Chen and Qiang Yang

 

저의 주된 참가목적은 MSR에서 수행한 인턴 프로젝트 논문을 발표하는 것이었습니다. 또한 연구실에서 공저한 학생이 개인 소셜 데이터의 검색 기법에 대한 논문을 발표하였습니다. 논문 및 발표자료는 아래서 보실 수 있습니다. 

Characterizing Web Content, User Interests, and Search Behavior by Reading Level and Topic _{[paper] [slide]}
Jin Young Kim, Kevyn Collins-Thompson, Paul N. Bennett, Susan T. Dumais. To Appear in Proceedings of WSDM'12, Seattle, WA, USA, 2012.

Evaluating Search in Personal Social Media Collections _{[paper] [slide]}
Chia-Jung Lee, W. Bruce Croft and Jin Young Kim. To Appear in Proceedings of WSDM'12, Seattle, WA, USA, 2012. 

PIM Workshop
학회를 마치고는 저의 관심분야인 개인정보관리(PIM)를 주제로 하는 워크샵에 참석했습니다. 워크샵은 보통 학회보다 논문 개제가 쉬운 까닭에 실적으로의 가치는 높게 평가받지 못하지만, 한정된 주제에 관심있는 사람들이 모이는 까닭에 좋은 피드백을 받을 수 있습니다. 저는 이번에 '연구자들이 개인정보관리 프로그램을 계속 개발하게 아니라, 있는 프로그램을 더 잘 활용할 수 있게 도와주어야 한다'는 주제로 발표를 했습니다. 

주간 반성 및 계획
마지막으로 조금 늦었지만 주간 리뷰를 올립니다. 이번주에는 놀랍게도 5점 (기억에 남을만큼 잘 보낸 시간)이 두번이나 됩니다. 학회 도착하여 발표때까지 적당한 긴장속에 매우 생산적인 시간을 보냈던 것입니다. 발표를 마친 다음날, 그리고 마지막 날 피로에 컨디션이 조금 떨어지기는 했지만, 전체적으로는 잘 보낸 한주였습니다. 




마치며
이제 10번째 참석하는 학회여서 이제 새로움보다는 익숙한 환경과 사람들을 만나는 편안함을 느꼈습니다. 하지만, 매 학회마다 발표되는 신선한 연구들과 다양한 사람들과의 교류는 학자로서의 길을 보람되게 합니다. 취업 직전이라 어찌보면 Networking(?)에 신경써야 되는 상황이었지만, 그런 생각 없이 즐겁게 시간을 보낸 것이 더 좋은 결과를 낳지 않았나 합니다.

연구실에서 대부분 참가비를 지원해주는 까닭에 그동안 기회가 없었는데, 이번 학회에서는 Student Volunteer를 했습니다. 등록비 등을 면제해주는것 이외에도, 같이 Volunteer를 하는 학생들과 친해지고, 또한 세션 Chair 및 스피커들과 좀더 가까히할 수 있는 좋은 기회가 되었던 것 같습니다. 이름 그대로 학생때만 할 수 있는 일이니 가급적 꼭 지원하시기를 바랍니다. 같은 의미에서 Doctoral Consortium같은 이벤트 역시 큰 도움이 됩니다. 

반성 및 계획
SIGIR논문 마감에 WSDM 학회 준비가 겹쳐 바쁜 한주였습니다. 주중 내내 밤까지 일해야 했고, 주중 대부분의 시간을 학교가 있는 앰허스트에서 보냈습니다. 여러모로 좋은 여건이 아니었지만, 결과는 비교적 좋았습니다. 특히 평소 취약점이었던 저녁 및 주말 시간을 효과적으로 보냈습니다. 


저의 평가기준이 스스로를 얼마나 한계 너머로 밀어올리느냐에 좌우되는 점을 감안하면,  이번 한주간 외부적인 이유로 가졌던 긴장감이 제 자신의 한계를 뛰어넘게 도와준것 같습니다. 평소에 느슨함에 제대로 보내지 못하던 저녁 및 주말 시간어 더 좋은 성과가 나왔다는 점에서 더 그렇습니다. 안철수교수님이 게을러지는것을 막기 위해 잡지에 일부러 투고요청을 했다고 하셨는데, 앞으로도 끊임없이 긴장할 수 있는 요인을 만들어주는 것은 좋은 습관으로 보입니다. 

또한, 예전에는 일단 컨디션이 악화되면 하루 종일 저조했던 경향이 있었는데, 이번주에는 오후보다 밤에 더 좋은 성과를 거둔 경우가 3번이나 나왔습니다. 또한 컨디션이 아주 좋지 않은 경우는 아예 푹 쉬어주었습니다. 자주 느끼는 것이지만, 뭘 할까 망설이다 이도 저도 못하는 경우가 가장 후회스러운데, 이번주 저녁은 일을 하거나 쉬거나 만족스런 시간을 보낼 수 있었습니다. 

어쨌든 이번주 성과는 외부적 요인의 영향이 크기에, 지속 여부는 좀더 지켜봐야할 것 같습니다.

읽고 배운 것

이번주에는 SWIRL에 소개된 논문을 몇편 읽었습니다. SWIRL은 IR 분야 대가급 연구자들이 5년에 한번씩 모여 분야 전체의 전망 및 현안을 논의하는 자리입니다. 참가자들이 자신이 중요하다고 생각하는 논문/기사를 3개씩 추천하도록 요청받아, 이를 행사 홈페이지에 올려놓았습니다. 검색 연구의 현재 및 미래를 훑고싶은 분들이라면 추천작들의 제목만 보셔도 큰 도움이 될 듯 합니다. 

http://www.cs.rmit.edu.au/swirl12/discussion.php