LiFiDeA의 검색 이야기 

지난주에는 시애틀에서 열린 WSDM학회에 다녀왔습니다. WSDM은 올해로 5회째를 맞는 젊은 학회이지만, 비교적 적은 양의 논문을 Single Track 형식으로 발표하여, 참가자들간의 활발한 소통이 이루어지는 것이 특징인 학회입니다. 저에게는 작년 여름의 인턴 프로젝트 및 연구실에서 공저한 논문을 발표하고, 진로 모색을 위해 사람들을 만나는 자리였습니다. 학회 일정을 돌아보며 배운 점을 기록하고, 마지막에 주간 리뷰를 적어볼까 합니다 ;)

Doctoral Symposium 
Doctoral Symposium은 학위과정에 있는 대학원생들이 논문 주제에 대해 발표하고 학계 Senior들의 의견을 들을 수 있는 자리입니다. 논문을 마쳐가는 저같은 사람보다는 한창 진행중인 학생들을 위한 자리이지만, 오후에 열리는 Career Workshop에서 연구 및 진로에 대해 학계 및 산업계 종사자인 패널의 다양한 의견을 들을 수 있었습니다. 

우선 흥미있었던 주제는 Engineering, Applied Science, Basic Science의 경계에 관한 것이었습니다. 과학은 새로운 지식이나 원리를 발견하고, 공학은 이를 현실 문제에 적용한다는 것이 교과서적 대답입니다. 하지만 실제로는 원리 발견을 위한 노력이 문제 해결에 가장 큰 Impact를 가져오기도 하고, 현실적인 문제 해결이 새로운 발견의 지름길이 되기도 하니, 이들간의 뚜렸한 경계를 짓기란 쉬운 일이 아닙니다. 

물론 이 모든 것을 다할 수 있으면 좋겠지만, 모든 직업을 다 가질수는 없으니 어느 시점에서는 선택을 해야 합니다. 하지만, 성공한 과학 / 공학자인 패널중 상당수가 처음에 학자로서 경력을 시작하여 어느 시점에 업계에 투신하는 경험을 이야기했습니다. 학문의 존재이유가 궁극적으로 현실 세계에 긍정적인 영향을 끼치기 위함이라면, 현실 세계의 문제를 직접 해결하는 일에는 분명 보람이 있을 것입니다. 

 WSDM Conference
최근 IT 전반의 주요한 트렌드인 '소셜' 열풍은 WSDM 본 학회에서도 예외가 아니었습니다. 많은 논문들이 소셜 데이터를 가지고 다양한 분석 및 테스크를 수행했습니다. 트위터 데이터에서 사람이나 장소등의 엔티티를 추출하는 논문만 수편에 달했습니다. 또한 다양한 소셜 서비스가 생기다보니 여러 소셜 서비스의 데이터를 묶어서 분석한 논문이 많았는데, Groupon딜이 소매업체에 미치는 영향을 Yelp리뷰와 Facebook Like를 가지고 추측해보는 식입니다. 

Identifying Content for Planned Events Across Social Media Sites

Hila Becker, Dan Iter, Mor Naaman and Luis Gravano

 

Daily Deals: Prediction, Social Diffusion, and Reputational Ramifications

John Byers, Michael Mitzenmacher and Georgios Zervas

또한 WSDM의 전통적 주제인 클릭 모델에 대한 논문도 많이 눈에 띄었습니다. 기존의 클릭 모델에 각기 다양한 요소를 추가한 것을 볼 수 있습니다. 

Incorporating Revisiting Behaviors into Click Models

Danqing Xu, Yiqun Liu, Min Zhang, Shaoping Ma and Liyun Ru

 

A Noise-aware Click Model for Web Search

Weizhu Chen, Dong Wang, Yuchen Zhang, Zheng Chen, Adish Singla and Qiang Yang

 

Personalized Click Model through Collaborative Filtering

Si Shen, Botao Hu, Weizhu Chen and Qiang Yang

 

저의 주된 참가목적은 MSR에서 수행한 인턴 프로젝트 논문을 발표하는 것이었습니다. 또한 연구실에서 공저한 학생이 개인 소셜 데이터의 검색 기법에 대한 논문을 발표하였습니다. 논문 및 발표자료는 아래서 보실 수 있습니다. 

Characterizing Web Content, User Interests, and Search Behavior by Reading Level and Topic _{[paper] [slide]}
Jin Young Kim, Kevyn Collins-Thompson, Paul N. Bennett, Susan T. Dumais. To Appear in Proceedings of WSDM'12, Seattle, WA, USA, 2012.

Evaluating Search in Personal Social Media Collections _{[paper] [slide]}
Chia-Jung Lee, W. Bruce Croft and Jin Young Kim. To Appear in Proceedings of WSDM'12, Seattle, WA, USA, 2012. 

PIM Workshop
학회를 마치고는 저의 관심분야인 개인정보관리(PIM)를 주제로 하는 워크샵에 참석했습니다. 워크샵은 보통 학회보다 논문 개제가 쉬운 까닭에 실적으로의 가치는 높게 평가받지 못하지만, 한정된 주제에 관심있는 사람들이 모이는 까닭에 좋은 피드백을 받을 수 있습니다. 저는 이번에 '연구자들이 개인정보관리 프로그램을 계속 개발하게 아니라, 있는 프로그램을 더 잘 활용할 수 있게 도와주어야 한다'는 주제로 발표를 했습니다. 

주간 반성 및 계획
마지막으로 조금 늦었지만 주간 리뷰를 올립니다. 이번주에는 놀랍게도 5점 (기억에 남을만큼 잘 보낸 시간)이 두번이나 됩니다. 학회 도착하여 발표때까지 적당한 긴장속에 매우 생산적인 시간을 보냈던 것입니다. 발표를 마친 다음날, 그리고 마지막 날 피로에 컨디션이 조금 떨어지기는 했지만, 전체적으로는 잘 보낸 한주였습니다. 




마치며
이제 10번째 참석하는 학회여서 이제 새로움보다는 익숙한 환경과 사람들을 만나는 편안함을 느꼈습니다. 하지만, 매 학회마다 발표되는 신선한 연구들과 다양한 사람들과의 교류는 학자로서의 길을 보람되게 합니다. 취업 직전이라 어찌보면 Networking(?)에 신경써야 되는 상황이었지만, 그런 생각 없이 즐겁게 시간을 보낸 것이 더 좋은 결과를 낳지 않았나 합니다.

연구실에서 대부분 참가비를 지원해주는 까닭에 그동안 기회가 없었는데, 이번 학회에서는 Student Volunteer를 했습니다. 등록비 등을 면제해주는것 이외에도, 같이 Volunteer를 하는 학생들과 친해지고, 또한 세션 Chair 및 스피커들과 좀더 가까히할 수 있는 좋은 기회가 되었던 것 같습니다. 이름 그대로 학생때만 할 수 있는 일이니 가급적 꼭 지원하시기를 바랍니다. 같은 의미에서 Doctoral Consortium같은 이벤트 역시 큰 도움이 됩니다. 

작년부터 검색 서비스 업계의 화두는 '실시간 검색'이었다고 해도 과언이 아닙니다. 검색엔진 빅3(구글, 야후, 빙)에 이어 국내 포탈에서도 실시간 검색 서비스를 제공하고 있습니다. 최근 구글의 카페인 인덱싱 발표를 계기로, 더 신속한(fresh) 결과를 제공하기 위한 경쟁이 더욱 치열해질 것으로 보입니다. 구글의 발표 및 그리고 실제 사용자들의 테스트 결과에 따르면 블로그 및 뉴스 페이지가 업데이트된 후 검색에 표시되기까지 1분도 걸리지 않는다고 합니다.

윤석찬님 블로그에 소개된 소셜 검색엔진 Aardvark(아드박이라고 읽는군요;)에 관한 논문을 읽어 보았습니다. 아드박은 사용자의 질문에 대한 대답을 주는 문서를 찾는 대신에 가장 적절한 답변자를 찾아준다는 아이디어를 기반으로 합니다. 수십년간 지속되었으나 아직도 상용화되지 못한 자동 QA시스템 연구에 멋진 카운터를 먹인 셈이라고나 할까요. 

이번 CIKM Conference의 한국인 저자 논문을 모아 보았습니다. SIGIR에서보다 더 많은 논문이 눈에 띄는군요.  저희 연구실의 서장원 선배, 그리고 SIGIR에서 뵈었던 나승훈님 이외에는 처음 뵙는 분들이라 기대가 큽니다. 영문 블로그의 CIKM의 제 논문 관련 포스팅, 그리고 저자 및 타이틀 통계도 참조하세요.

Full Paper
Generating Comparative Summaries of Contradictory Opinions in Text
Hyun Duk Kim (University of Illinois at Urbana-Champaign), ChengXiang Zhai (University of Illinois at Urbana-Champaign)

Towards Real-Time Measurement of Customer Satisfaction Using Automatically Generated Call Transcripts
Youngja Park (IBM T. J. Watson Research Center), Stephen C. Gates (IBM T. J. Watson Research Center)

Improving Web Page Classification by Label-propagation over Click Graphs
Soo-Min Kim (Yahoo! Labs), Patrick Pantel (Yahoo! Labs), Lei Duan (Yahoo! Labs), Scott Gaffney (Yahoo! Labs)

Short Paper
Online Community Search Using Thread Structure
Jangwon Seo (University of Massachusetts Amherst), W Bruce Croft (University of Massachusetts Amherst), David A Smith (University of Massachusetts Amherst)

An Improved Feedback Approach Using Relevant Local Posts for Blog Feed Retrieval
Yeha Lee (Pohang University of Science and Technology (POSTECH)), Seung-Hoon Na (National University of Singapore), Jong-Hyeok Lee (Pohang University of Science and Technology (POSTECH))

Extraction of a Latent Blog Community Based on Subject
Seok-Ho Yoon (Hanyang University), Jung-Hwan Shin (Hanyang University), Sunju Park (Yonsei University), Sang-Wook Kim (Hanyang University)

데스크톱 검색을 주제로 쓴 두번째 논문 ‘Retrieval Experiments in Pseudo-desktop Collections’이 CIKM2009에 실리게 되었다는 소식입니다. 데스크톱 검색, 더 넓게 말하자면 개인 정보의 검색은 은 제 연구 관심사인 개인정보관리와 검색 연구의 접점으로써 앞으로 주력하고 싶은 분야입니다.

이번 논문의 주제는 크게 두가지입니다. 우선, 데스크톱 검색 연구를 위한 데이터가 프라이버시 문제로 공개되지 못하는 문제점을 해결하기 위해, 검색 실험을 위한 테스트 데이터(문서+질의)를 자동으로 만드는 기법을 제시하였습니다.

좀더 구체적으로 데스크톱과 유사한 성격의 문서를 모으고 질의-문서의 쌍을 자동으로 생성합니다. 질의-문서의 쌍을 생성하는방법이 재미있는데, 데스크톱에서 사용자들이 주로 자신이 이미 본 문서(known-item)를 찾는 점에 착안하여 임의의 문서에서추출한 단어를 질의어로 사용하는 것입니다.

예를 들자면 Tom이라는 가상의 유저가 HTML 표준과 Web Accessibility의 전문가라고 가정하고 그 토픽에 해당하는 문서(e-mail, pdf, doc등등)를 모읍니다. 그 중 Mary가 보낸 ‘HTML Standard Draft’라는 제목의 메일을 Tom이 찾는다고 가정해 봅시다. 그러면 ‘Mary HTML Draft’와 같이 문서에서 추출한 단어를 질의어로 사용할 수 있을 것입니다. 이런 방식으로 프라이버시 문제가 없는 데스크톱 검색용 컬렉션(test collection)을 만드는 것입니다.

본 논문에서는 컬렉션 생성 방법과 더불어 만들어진 컬렉션을 실제 사용자의 질의와 비교하여 이 둘이 통계적으로유사(indistinguishable)하다는 것을 증명하고 있습니다. 물론 이렇게 만들어진 컬렉션이 실제 사용자가 사용하는데스크톱의 검색 환경과 동일하지는 않을 것입니다. 하지만 연구자들간에 공유가 가능하며(reusable) 다양한 특성을 갖는테스트 컬렉션을 자동으로 생성할 수 있다는 장정이 이러한 한계를 상쇄할 것입니다.

향후 과제로서 이렇게 자동 생성된 컬렉션에서의 실험 결과와 실제 데스크톱에서의 실험 결과를 비교해보는 일을 들 수있습니다. 또한 요즘 개인 정보가 데스크톱보다는 각종 웹 서비스에 흩어져 있는 경우가 많기에 이를 모두 아우르는 검색 기술을개발하는 것도 재미있을 것 같군요.

컨퍼런스는 홍콩에서 11/2~11/6일에 있으며, 돌아가는 길에 한국에 들를 생각입니다. 전화와 블로그로만 뵙던 그리운 분들을 직접 뵙는다고 생각하니 설레는군요.

참조 : 영문 포스팅

이번 달에 첫 논문 A Probabilistic Retrieval Model for Semistructured Data 을 발표하러 프랑스 툴루즈에서 열리는 ECIR (유럽 정보검색 학회)에 다녀왔습니다. ‘첫’ 기억은 항상 소중하지만, 연구자에게 첫 논문이 주는 감회는 남다른 것 같습니다.

이번 작업은 굉장히 단순한 관찰에서 시작되었습니다. ‘감독’, ‘배우’, ‘제목’ 등의 정보가 항목(element or field)별로 기록된 문서(XML or Database record)를 생각해봅시다. 저의 착안점은 이런 종류의 구조화된 데이터베이스를 검색하는 사용자의 질의어는 문서의 각 항목에 매핑(mapping)될 수 있다는 것입니다. 예를 들어 ‘meg ryan romance’라는 질의어에 대해서 문서를 평가할 때 ’meg’과 ’ryan’은 배우의 이름이고, ’romance’는 장르일 것이라는 것을 어렵지않게 알 수 있습니다.

더 중요한 것은 이러한 매핑을 간단한 (그리고 효율적인) 분류(bayesian classification) 알고리즘을 통해 찾을 수 있으며, 이 관계를 바로 검색 결과를 향상시킬 수 있다는 사실입니다. 앞의 예제를 계속 살펴보면 질의어 ’meg’과 ’ryan’에 대해서는 ‘배우’ 항목에 더 큰 가중치를 부여하고, ’romance’에 대해서는는 ’장르’에 더 큰 가중치를 부여하는 것입니다. 또한 이렇게 계산된 가중치는 기존 language modeling 검색 모델에 자연스럽게 통합됩니다.

이렇게 각 질의어에 대해 적절한 문서의 항목을 찾고 이를 검색 모델의 항목별 가중치로 활용하는 기법은 문서를 통째로(bag-of-words) 처리하거나 각 항목에 대해 고정된 가중치를 부어햐는 기법에 비해 훨씬 나은 성능(20~30% 향상)을 보입니다. 예컨대 영화 문서를 찾는 데에는 “’제목’이 ’줄거리’보다 2배 더 중요하다”고 일괄적으로 단정짓기보다는 각 질의어(query-term)에 대해 적절한 항목을 찾아주는 것이 효과적이라는 거죠.

논문에서는 영화(IMDB)와 이력서(Monster.com) 데이터베이스를 사용한 실험을 소개했지만, 대부분의 웹 서비스가 이렇게 구조화된 형태로 데이터를 보관하며 웹 문서를 구조화하려는 XML, Semantic Web등의 움직임을 미루어볼때 이러한 알고리즘의 쓰임새는 점점 넓어질 것입니다.

이번 연구를 통해 느낀 것은 꼭 복잡한 기법이 더 가치있는 것은 아니며, 나은 성능을 가져다주는 것도 아니라는 점입니다. 오히려 직관적이며 어쩌면 너무나 당연해 보이는 모델이 놀랄만큼 좋은 결과를 나타낼 수 있다는 생각을 했습니다. 인간의 편단 과정을 흉내내려는 검색 연구에 있어서 어쩌면 너무나 당연한 일일까요?

P.S. 더 자세한 정보는 영문 포스팅 과 발표 슬라이드 를 참조하시면 됩니다.

자연어 처리(NLP)를 중심으로 관련 분야를 폭넓고 싶게 다루었던 ‘Foundation of Statistical Natual Lanugage Processing(일명 주사위책)’을 기억하시는 분이 많으실 겁니다. 그 필진에 야후 리서치 책임자이신 분이 가세하여 집필한 IR책이 나와서 오늘 받아서 몇 챕터를 읽어보았습니다. 이미 국내 블로그에 소개된 바 대로, 웹에 초판이 꾸준히 공개되면서 널리 알려진 책입니다.

사실 처음 시작하는 입장이 아니라, IR이라는 분야를 1년간 주로 논문 및 실제 연구를 통해 공부한 후에 ’교과서’로 다시 읽는 기분은 조금 남다른 데가 있습니다. 학부때처럼 ‘요걸 언제 다 읽어’가 아니라, ‘이걸 이렇게 쓰셨구나.. 그런데 이 부분은 좀 이상한데?’가 되기 때문입니다. 산 아래에서 올려다보는 아득함과, 조금 올라와서 한숨 돌리며 내려다보는 여유의 차이라고 할까요? 아직은 아득함이 압도적이지만 말입니다.

이 책의 존재를 접하고 처음 들었던 의문이 있었습니다.

‘왜 IR책을 NLP연구자가 쓰는거지?’

사실 1저자인 Christopher D. Manning의 출판물 목록을 보면 IR쪽 연구는 거의 하지 않는다는 것을 알 수 있습니다. 연구 관심사를 살펴 보아도 IR은 빠져있군요. NLP와 IR이 그만큼 깊은 관련을 맺고있다는 측면에서 이해할 수도 있고, 그만큼 IR이라는 분야가 널리 각광을 받고 있다고 생각할 수도 있지만, 관련 분야의 연구자가 교과서를 쓰겠다고 나설 수 있을 정도로 아직 IR이라는 분야의 역사나 저변이 충분치 못해서라는 생각이 듭니다. 사실 DB 교과서를 OS 연구자가 쓴다는 건 말이 안 되지 않습니까.

어쨌든 책을 받아들고 읽으면서 이런 우려를 상당 부분 떨쳐버릴 수 있었습니다. 정통 IR에 해당하는 인덱싱이나 검색 모델 부분, 웹 검색에 대부분의 지면이 할애되어 있고, 예전에 주사위책에 있던 Latent Semantic Indexing도 거의 새로 씌인 것 같습니다. 오히려 NLP의 색채를 지우기 위한 노력의 일환인지, 제가 관심을 가졌던 NLP와 IR의 연계 연구에 대해서는 내용이 빈약하다는 느낌을 받을 정도였습니다.

하지만, 역시 본격 IR 교과서로는 미흡하다고 할만한 부분도 눈에 띕니다. 우선 지난번 책에 이어 Clustering과 Classification을 지나치게 많이 (그것도 비슷한 내용으로) 다루면서 IR의 주요 분야인 Question Answering이나 Cross Language IR, Multimedia IR을 누락시킨 것은 이해하기 힘듭니다. 또한 정통 IR 연구의 핵심인 검색 성능 평가(evaluation)부분에서는 평가 결과의 유의성 테스트(significance test)가 전혀 다루어지지 않으며, 평가의 효율성을 높이기 위한 최근 연구성과가 많이 누락되어 있음을 확인했습니다. (사실 이 부분은 실제 IR 연구를 하지 않고서는 깊이있게 쓰기 힘든 점이 있습니다.)

검색 모델 측면에서도 거의 모든 부분에 걸쳐 Vector Space Model(VSM) 을 기준으로 설명이 이루어집니다. 단, 별도로 독립된 Language Model(LM)관련 챕터에서는 LM의 상대적 장점을 분명히 인정하고 있습니다. 작년 말 Draft에서는 좀더 LM쪽에 인색한 평가를 내렸던 점으로 미루어볼때, 그사이에 IR 연구자들의 의견을 반영한 듯 합니다. 어쨌든 이론적으로나 성능으로나 이미 학계의 대세가 된 LM 관련 내용이 부족한 것은 사실입니다. (LM과 관련된 대부분의 연구가 최근에 이루어졌다는 것은 인정합니다만)

이처럼 구성 측면의 아쉬움에도 불구하고 복잡한 개념을 명쾌한 예와 간결한 문장으로 풀해내는 저자들의 능력은 이 책에서도 유감없이 발휘되고 있습니다. 조만간 정통 IR에 더 가까운 책이 나오겠지만, 이 책은 앞으로도 많이 쓰일 것 같습니다. 단, IR로 밥멀이를 하시는 분이 아닌 분이라면 (특히 주사위 책을 갖고계시다면) 웹사이트에서 부분적으로 출력해 보시는 것도 좋지 않을까 하는 판단입니다.

P.S. 이 책의 별명(~책)은 뭐가 될까요? 파란 색이라 물결?, 아니면 표지의 태그?