LiFiDeA의 검색 이야기 

블로그 주소를 이전하였습니다. 한글 블로그는 다시 예전의 티스토리 주소로 되돌아가고, 영문 블로그는 워드프레스에 새로 둥지를 틀었습니다. 현재의 http://www.lifidea.com 에는 향후 LiFiDeA Project페이지가 들어설 예정입니다.

원래는 직접 개발한 lifidea.com에 한글 및 영문 블로그를 같이 운영한다는 계획이었습니다만, 전혀 다른 독자를 대상으로 하는 두 블로그를 한곳에 두는 일에는 많은 무리가 따랐습니다. 직접 개발한 엔진을 유지보수하는 어려움, 설치형을 사용할 경우 트래픽 유치가 쉽지 않다는 것도 문제였습니다.

앞으로 한글/영문 블로그를 동시에 운영합니다. 둘다 테마는 정보검색과 개인정보관리 연구이지만, 한글 블로그에는 입문에 해당하는 내용을, 영문 블로그는 좀더 전문적인 내용을 올릴 생각입니다. 한글/영문 블로그 모두 구독(feed) 주소에는 변화가 없습니다.

2년만에 돌아온 티스토리에는 많은 변화가 있군요. 이번 이전이 좀더 활발한 소통을 위한 기반이 될 수 있도록 노력하겠습니다.

• 한글 블로그 주소 : http://lifidea.tistory.com/ (구독하기)
• 영문 블로그 주소 : http://lifidea.wordpress.com/ (구독하기)

데스크톱 검색을 주제로 쓴 두번째 논문 ‘Retrieval Experiments in Pseudo-desktop Collections’이 CIKM2009에 실리게 되었다는 소식입니다. 데스크톱 검색, 더 넓게 말하자면 개인 정보의 검색은 은 제 연구 관심사인 개인정보관리와 검색 연구의 접점으로써 앞으로 주력하고 싶은 분야입니다.

이번 논문의 주제는 크게 두가지입니다. 우선, 데스크톱 검색 연구를 위한 데이터가 프라이버시 문제로 공개되지 못하는 문제점을 해결하기 위해, 검색 실험을 위한 테스트 데이터(문서+질의)를 자동으로 만드는 기법을 제시하였습니다.

좀더 구체적으로 데스크톱과 유사한 성격의 문서를 모으고 질의-문서의 쌍을 자동으로 생성합니다. 질의-문서의 쌍을 생성하는방법이 재미있는데, 데스크톱에서 사용자들이 주로 자신이 이미 본 문서(known-item)를 찾는 점에 착안하여 임의의 문서에서추출한 단어를 질의어로 사용하는 것입니다.

예를 들자면 Tom이라는 가상의 유저가 HTML 표준과 Web Accessibility의 전문가라고 가정하고 그 토픽에 해당하는 문서(e-mail, pdf, doc등등)를 모읍니다. 그 중 Mary가 보낸 ‘HTML Standard Draft’라는 제목의 메일을 Tom이 찾는다고 가정해 봅시다. 그러면 ‘Mary HTML Draft’와 같이 문서에서 추출한 단어를 질의어로 사용할 수 있을 것입니다. 이런 방식으로 프라이버시 문제가 없는 데스크톱 검색용 컬렉션(test collection)을 만드는 것입니다.

본 논문에서는 컬렉션 생성 방법과 더불어 만들어진 컬렉션을 실제 사용자의 질의와 비교하여 이 둘이 통계적으로유사(indistinguishable)하다는 것을 증명하고 있습니다. 물론 이렇게 만들어진 컬렉션이 실제 사용자가 사용하는데스크톱의 검색 환경과 동일하지는 않을 것입니다. 하지만 연구자들간에 공유가 가능하며(reusable) 다양한 특성을 갖는테스트 컬렉션을 자동으로 생성할 수 있다는 장정이 이러한 한계를 상쇄할 것입니다.

향후 과제로서 이렇게 자동 생성된 컬렉션에서의 실험 결과와 실제 데스크톱에서의 실험 결과를 비교해보는 일을 들 수있습니다. 또한 요즘 개인 정보가 데스크톱보다는 각종 웹 서비스에 흩어져 있는 경우가 많기에 이를 모두 아우르는 검색 기술을개발하는 것도 재미있을 것 같군요.

컨퍼런스는 홍콩에서 11/2~11/6일에 있으며, 돌아가는 길에 한국에 들를 생각입니다. 전화와 블로그로만 뵙던 그리운 분들을 직접 뵙는다고 생각하니 설레는군요.

참조 : 영문 포스팅

한때 지금과 같은 형태의 컨퍼런스가 사라질 것이라고 생각한 적이 있었습니다. 모든 분야의 최신 정보가 실시간으로 전파되며 그 수단 역시 텍스트 위주에서 비디오 등으로 다양화되는 요즈음, 왜 굳이 몇달 전부터 논문을 준비하여 심사를 받고, 막대한 비용을 들여가며 만나야 하는지 이해할 수 없었습니다. 사람들이 조금만 더 합리적으로 생각한다면 번거로운 컨퍼런스 대신 발표 동영상을 올리고 실시간으로 comment를 받는 식으로 바뀌리라는 상상을 하기도 했습니다.

첫 컨퍼런스인 ECIR에 참석하고 나서야 이것이 얼마나 단견이었는지를 느꼈습니다. 컨퍼런스는 정보와 지식만큼이나 관계 형성과 감정의 교류를 위한 장이라는 깨달음을 얻었기 때문입니다. 공부는 인터넷으로도 할 수도 있지만, 지구 저편에서 온 연구자와 공감할 때 느껴지는 쾌감을 얻을 수는 없으니까요.

첫번째 가르침은 의외의 곳에서 찾아왔습니다. 도착한 첫날, 여정을 풀고 숙소 주변을 둘러보고 있는데, 누군가 제 이름을 불러서 돌아보니 지도교수님께서 야외 테이블에서 맥주를 한잔 하고 계셨습니다. 반가운 마음에 자리에 앉아 한참 대화를 나누다가 “첫 컨퍼런스를 성공적으로 보내는 방법은 무엇입니까?”라는 질문을 드렸습니다. 교수님께서는 잠시 생각하시더니 뜻밖에도 “최대한 사람들을 많이 만날 것, 그리고 마음이 맞는 사람들과 깊이있는 대화를 나눌 것”이라고 말씀하셨습니다. 그때는 ’지식’보다 ’사람’을 강조하시는 점을 의아하게 생각했지만 며칠이 지나서 그 뜻을 알 수 있었습니다.

둘째날 튜토리얼과 웍샵이 있었고 저는 Interactive IR Workshop과 Information Extraction Tutorial에 참석했습니다. 논문으로만 접하던 학자들의 발표도 발표였지만, 연구자들이 모인 자리인지라 즉석에서 생동감있는 토론이 벌어지는 것이 인상적이었습니다. 저녁에는 참석자들과 근처의 Bar에 가서 한밤중까지 많은 이야기를 나누었습니다. University of Glasgow를 비롯한 유럽 각지에서 온 사람들이라, 미국의 대학원 생활 그리고 한국에 대해 많은 관심을 나타냈습니다. 첫 만남이었음에도 연구자라는 공통점 떄문인지 금방 친해질 수 있었습니다.

그 다음날 지도교수님의 기조연설을 시작으로 본행사가 시작되었습니다. Query Evolution이라는 주제의 연설은 지금까지 키워드 처리에 중점을 맞추어 개발된 검색엔진이 좀더 자연어에 가까운 길고 복잡한 질의어를 다룰 수 있어야 한다는 요지의 발표였습니다. 이어진 논문 발표를 들으면서 많은 발표자들이 30분이라는 제한된 시간에 지나치게 많은 내용을 전달하려고 한다는 인상을 받았습니다. 저녁에 숙소에 돌아와서는 슬라이드의 불필요한 문장과 내용은 모두 빼고 최종 연습을 했습니다. Glasgow에서 온 친구들이 연습 발표를 지켜봐주어 많은 도움이 되었습니다.

드디어 발표날, 수차례의 연습 덕인지 발표가 가까워질수록 마음이 편해지면서 자신이 생겨 실제 발표는 즐겁고 편안하게 할 수 있었습니다. 발표 직후에 ‘단순하면서도 활용도가 높은 연구였다’, ‘알아듣기 쉬웠다’는 comment를 받으며 보람을 느꼈습니다. 특히, 검색학회의 원로이자 Microsoft Research Cambridge의 책임자인 Stephen Robertson경 등을 비롯하여 존경하는 연구자들이 많이 참석한 자리라 더욱 기뻤습니다.

발표를 마치고는 좀더 편한 마음으로 남은 일정에 임할 수 있었습니다. 그제서야 봄을 맞은 남프랑스의 아름다운 정경이 눈에 들어왔습니다. 컨퍼런스를 마치고는 이틀 정도 파리에 머물며, 루브르 박물관, 퐁피두 센터, 피카소 박물관 그리고 몽마르트 언덕 등을 주마간산으로나마 돌아보았습니다. 궁금하신 분들을 위해 웹 겔러리에 사진을 올렸습니다.

긴장도 많이 했고 시행착오도 있었지만, ECIR 참석은 평생 잊을 수 없는 기억이 될 것 같습니다. Amherst에서 고민하면서 작업할 때에는 보잘것없이 여겨지던 작업이지만, 이렇게 세계 각국의 학자들과 교감을 할 수 있는 발판이 되었다는 사실이 놀랍기만 합니다. “자신이 선택한 길을 최선을 다해 걸어갈 때, 그 길의 끝에서 세상을 만날 수 있다”는 구본형 선생님의 책 한구절이 떠오릅니다.

이번 달에 첫 논문 A Probabilistic Retrieval Model for Semistructured Data 을 발표하러 프랑스 툴루즈에서 열리는 ECIR (유럽 정보검색 학회)에 다녀왔습니다. ‘첫’ 기억은 항상 소중하지만, 연구자에게 첫 논문이 주는 감회는 남다른 것 같습니다.

이번 작업은 굉장히 단순한 관찰에서 시작되었습니다. ‘감독’, ‘배우’, ‘제목’ 등의 정보가 항목(element or field)별로 기록된 문서(XML or Database record)를 생각해봅시다. 저의 착안점은 이런 종류의 구조화된 데이터베이스를 검색하는 사용자의 질의어는 문서의 각 항목에 매핑(mapping)될 수 있다는 것입니다. 예를 들어 ‘meg ryan romance’라는 질의어에 대해서 문서를 평가할 때 ’meg’과 ’ryan’은 배우의 이름이고, ’romance’는 장르일 것이라는 것을 어렵지않게 알 수 있습니다.

더 중요한 것은 이러한 매핑을 간단한 (그리고 효율적인) 분류(bayesian classification) 알고리즘을 통해 찾을 수 있으며, 이 관계를 바로 검색 결과를 향상시킬 수 있다는 사실입니다. 앞의 예제를 계속 살펴보면 질의어 ’meg’과 ’ryan’에 대해서는 ‘배우’ 항목에 더 큰 가중치를 부여하고, ’romance’에 대해서는는 ’장르’에 더 큰 가중치를 부여하는 것입니다. 또한 이렇게 계산된 가중치는 기존 language modeling 검색 모델에 자연스럽게 통합됩니다.

이렇게 각 질의어에 대해 적절한 문서의 항목을 찾고 이를 검색 모델의 항목별 가중치로 활용하는 기법은 문서를 통째로(bag-of-words) 처리하거나 각 항목에 대해 고정된 가중치를 부어햐는 기법에 비해 훨씬 나은 성능(20~30% 향상)을 보입니다. 예컨대 영화 문서를 찾는 데에는 “’제목’이 ’줄거리’보다 2배 더 중요하다”고 일괄적으로 단정짓기보다는 각 질의어(query-term)에 대해 적절한 항목을 찾아주는 것이 효과적이라는 거죠.

논문에서는 영화(IMDB)와 이력서(Monster.com) 데이터베이스를 사용한 실험을 소개했지만, 대부분의 웹 서비스가 이렇게 구조화된 형태로 데이터를 보관하며 웹 문서를 구조화하려는 XML, Semantic Web등의 움직임을 미루어볼때 이러한 알고리즘의 쓰임새는 점점 넓어질 것입니다.

이번 연구를 통해 느낀 것은 꼭 복잡한 기법이 더 가치있는 것은 아니며, 나은 성능을 가져다주는 것도 아니라는 점입니다. 오히려 직관적이며 어쩌면 너무나 당연해 보이는 모델이 놀랄만큼 좋은 결과를 나타낼 수 있다는 생각을 했습니다. 인간의 편단 과정을 흉내내려는 검색 연구에 있어서 어쩌면 너무나 당연한 일일까요?

P.S. 더 자세한 정보는 영문 포스팅 과 발표 슬라이드 를 참조하시면 됩니다.

‘화가는 캔버스를 두려워하지 않는다.’ 고흐가 동생 테오에게 보낸 편지에 적은 문구입니다. 평생 생활고에 시달리면서도 순수한 예술혼을 불태웠던 그가 텅 빈 캔버스를 응시하며 중얼거리는 모습이 떠오릅니다. 요즘 들어 스스로 자주 되뇌이는 말이기도 합니다.

처음 유학을 결심했을 때, 항상 자기 분야의 최전방(state-of-the-art)에서 변화를 접하고 이에 나아가 미래를 열어가는 일에 한몫 거들 수 있다는 점이 연구자의 길을 선택하는 가장 큰 동기였습니다. 매일 새벽별을 보며 돌아오는 생활을 하더라도, 자신이 선택한 길을 가는 여정이라면 차라리 아름다울 것이라는 낭만에 젖어 있었습니다.

하지만 유학 생활을 시작한 지 1년 반이 지나고, 새로운 일과 생활에 대한 환상에서도 벗어난 요즘, 연구자라는 진로, 그리고 항상 무언가를 만들어는 직업에 종사한다는 것에 대해 종종 생각하게 됩니다.

우선 밝은 면을 생각해봅시다. 어린시절 찰흙이나 레고 블럭으로 무언가를 만들면서 시간가는 줄 몰랐던 것을 생각해보면 창조는 본질적으로 즐거운 일이 아닌가 합니다. 생산성 및 창의성에 대한 고찰이 돋보이는 책 Flow – the psychology of optimal experience에도 정상급의 학자나 예술가들은 창의적인 작업 도중 종종 무아지경에 빠진다는 이야기가 나옵니다.

문제는 어떤 일이든 그것이 생계의 수단이 되는 순간 여러가지 제약조건을 안게 된다는 점입니다. 우선 마음의 이끌림에 의해서가 아니라 누군가(일반 대중)의 필요에 부합하는 대상을 만들어야 한다는 조건이 있습니다. 연구자라면 펀딩을 제공하는 주체나 논문을 심사하는 사람들을 염두에 두지 않을 수 없습니다. 비슷한 문제로 연구 프로젝트의 규모가 커질수록 각 구성원이 역할이 줄어들며, 이에 비례하여 개인의 주인의식이 희박해진다는 문제도 있습니다.

이보다 심각한 문제는 아마도 직업으로서 지속적으로 생산물을 내야 한다는 강박관념일 것입니다. 대학원생은 졸업을 위해, 회사 연구원 및 신임 교수는 직업 유지를 위해 끊임없이 뭔가 만들어 써내고 발표해야 하기 떄문입니다. 가끔 언론에 성과에 대한 압박을 견디지 못해 극단적인 선택을 하는 연구원의 사례가 보고되며, 연구 성과 조작등의 비윤리적 사건의 배경에 이런 스트레스가 존재한다는 것을 상기해 봅시다.

하지만 이러한 부담감보다 더욱 문제가 되는 것은 창작이 더이상 ’놀이’가 아니고 ’의무’가 되는 순간 무언가 만들어내기 위해 필수적인 정신적 자유를 찾기 어려워진다는 점입니다. 일단 마음이 구속을 받게되면, 생산성은 떨어지게 마련이며 이 점이 더 큰 부담으로 돌아오는 악순환이 시작됩니다.

따라서 창작을 업으로 하는 사람에게는 일 자체에서 보상을 찾으며 성과에는 초연한 태도가 필요할 겁니다. 현직에서 왕성한 연구 활동을 벌이는 학자들이 대부분 검소한 생활을 하며, 자신의 분야 이외에는 무관심한 것도 그런 이유인지 모르겠습니다. 거꾸로 연구 활동에서 오는 정신적 보상이 다른 일에 굳이 관심을 가질 필요가 없을 정도로 충분하다고 해석해도 될겁니다.

여기 와서 힘에 부칠때마다 예전에 소프트웨어 회사에 근무하며 주어진 스펙을 코드로 옮기는 것보다 좀더 창의적인 일을 꿈꾸던 자신을 떠올립니다. 그 꿈에 한발 다가선 지금, 창작에 대한 부담을 논하는 것은 사치라는 생각도 듭니다.