LiFiDeA의 검색 이야기 

요즘 대부분의 시간을 Cambridge에서 보내는 관계로 오늘은 MIT의 Big Data Processing에 관한  겨울 수업에 잠깐 들어갔습니다. 오늘 수업은 MapReduce에 관한 것이었는데, MapReduce자체가 새로울 것은 없지만, 개념부터 Amazon Web Service를 사용한 실전까지 1시간 내에 따라해볼 수 있는 내용이라 여기서 간단히 소개합니다. 

http://dataiap.github.com/dataiap/

대부분 아시겠지만, MapReduce는 대용량 데이터 처리를 위한 프레임웍으로, 구글 논문에 처음 소개된 이래로 Yahoo 주도로 개발한 Hadoop 프레임웍이 널리 사용되고 있습니다. 최근에는 Amazon Web Service에서 가입형으로 사용할 수 있는 MapReduce 클러스터를 제공하여 Netflix를 포함한 많은 기업에서 활용하고 있습니다. 

오늘 실습은 MapReduce Python를 사용하여 Enron 이메일 코퍼스의 문서별 단어개수를 세고, 이를 Amazon클러스터에서 실행하는 것이었습니다. 구체적인 내용은 오늘의 강의자료를 참조하시고, 저는 맛보기로 여기 제가 실행한 코드와 결과물을 올릴까 합니다. 강의에서는 이를 좀더 심화하여 tf-idf계산까지를 다루었습니다. 

import sys
from mrjob.protocol import JSONValueProtocol
from mrjob.job import MRJob
from term_tools import get_terms

class MRWordCount(MRJob):
    INPUT_PROTOCOL = JSONValueProtocol
    OUTPUT_PROTOCOL = JSONValueProtocol

    def mapper(self, key, email):
        for term in get_terms(email['text']):
            yield term, 1

    def reducer(self, term, occurrences):
        yield None, {'term': term, 'count': sum(occurrences)}

if __name__ == '__main__': 

MRWordCount.run() 

mapper에서 문서별 단어 개수를 세어 이를 단어별로 모아 reduce에서 합산하는 위 예제 코드를 아마존 클러스터에서 실행한 결과는 다음과 같습니다. 약 17~8분 정도에 완료되었습니다. (저도 아마존 클러스터는 처음 사용해 보았습니다.)

Running time was 1051.0s (not counting time spent waiting for the EC2 instances)

ec2_key_pair_file not specified, going to S3

Fetching counters from S3...

Waiting 5.0s for S3 eventual consistency

Counters from step 1:

  FileSystemCounters:

    FILE_BYTES_READ: 197488305

    FILE_BYTES_WRITTEN: 58258678

  Job Counters :

    Launched map tasks: 167

    Launched reduce tasks: 33

    Rack-local map tasks: 167

  Map-Reduce Framework:

    Map input bytes: 1405888038

    Map input records: 516893

    Map output bytes: 585440070

    Map output records: 49931418

    Reduce input groups: 232743

    Reduce input records: 49931418

    Reduce output records: 232743

    Reduce shuffle bytes: 26548380

    Spilled Records: 134445547  

사실 이 자체가 대단한 내용은 아니지만, 아직도 국내에서 신기술로 인식되고 있는 MapReduce가 (요즘은 안 그런가요?) 미국 대학의 교양 강좌에 소개될 정도로 툴 및 인프라가 발전했다는 사실을 느꼈습니다. MapReduce를 검색에 사용하는 방법을 좀더 배우고픈 분들은 Maryland의 Jimmy Lin 교수가 공개한 온라인 책을 읽어보시고, 위 수업에서는 이외에도 Python을 사용한 통계 및 데이터 시각화를 다루니, 참고하시기 바랍니다. 

새해 첫주, 시작은 잘 하셨나요? 최근에 어느분이 트윗해주신 인포그래픽을 보니 75%의 사람들이 첫주까지는 새해 결심을 지킨다고 하니, 대부분 잘 하시고 있으시라 믿습니다. 자기 개발 및 개인 정보 관리에 대해서 예전에도 썼었지만, 대학원에 있다보니 실천이 앎을 따르지 못한다는 느낌을 받았습니다. 그래서 새해에는 연구 논문이 아닌 실천을 통해 배워보고싶은 마음이 들었습니다. 

이런 결심의 일환으로 올해 초부터 매주 일정 시간을 지난 주를 돌아보고 다음 주를 계획하는데는 결심을 했습니다. 구체적으로는 한 주간 잘 했거나 아쉬웠던 일을 돌아보고, 밀린 메시지나 잔일을 정리하고, 배운 내용을 갈무리할 생각입니다. 이렇게 주기적인 재정비의 시간을 갖는 것은 Getting Things Done등의 여러 방법론에서 강조되는 내용이지만, 그동안 바쁜 일상에 제대로 실천하지 못했습니다.

삶에 대한 반성과 계획은 본질적으로 개인적인 활동이지만, 이에 더 큰 의미를 부여하고 스스로를 동기부여하기 위해 본 블로그에 그 내용을 기록할 생각입니다. 지금까지도 블로그를 통해 결심과 변화의 순간을 기록하곤 했지만, 이를 좀더 체계화하여 계량적 분석을 하는것은 의미가 클 것 같습니다. 또한, 트위터 등 SNS를 통해 배우는 많은 배움을 곱씹어보고 소화하겠다는 의미도 있습니다. 

반성 및 계획 (일정)
오늘은 첫 포스팅인만큼, 제가 반성 및 계획을 위해 최근에 사용하는 Self-tracking 방법을 간략히 소개합니다. 우선 저는 EverNote에 매주 Journal페이지를 만듭니다. 그리고, 매일 기상 및 취침시간, 그리고 하루를 3개의 기간으로 (오전/ 오후 / 저녁) 나누어 일정, 느낌 및 평가치 (1:worse - 5:best)를 기록합니다. 여기서 평가치는 환경, 기분, 결과 등을 종합적으로 고려하여 해당 기간에 매기는 점수입니다. (여기에 대해서는 나중에 좀더 자세히 쓰도록 하겠습니다.)

한해의 첫주인 지난주의 결과를 살펴븝시다. 아래 포는 날짜별 (전날의) 수면시간, 기상시간, 그리고 3기간 각각 및 평균 점수를 나타냅니다. 점수는 중간치인 3을 밑돌았을 때 빨간색, 이를 상회했을대 파란색으로 적었습니다. 아래 데이터에서 다음과 같은 결론을 낼 수 있습니다.

1. 24시 취침 및 6시 기상을 계획는데, 기상시간이 대체로 계획보다 1시간 가량 늦었습니다.
2. 저녁 시간대의 점수가 아침 / 점심에 비해 평균적으로 낮습니다. 
3. 휴일이 낀 주초 / 주말의 점수가 주중(수/목)에 비해 낮습니다. 

위 테이블 컬럼간의 상관관계(correlation)을 살펴보니 몇가지 재미있는 사실을 발견할 수 있었습니다. 

1. 늦은 수면 시간은 다음날의 점수를 전반적으로 악화시키고, 늦은 기상 시간은 오후/저녁 시간대에 비슷한 영향을 끼칩니다. 전반적으로 수면/기상 시간이 늦어질수록 평균점수는 낮아집니다.
2. 오전 시간대의 평가치는 저녁 시간대의 평가치와 반대 방향으로 움직입니다. 반면에 오후 시간대의 평가치는 저녁과 양의 상관관계를 갖습니다. 
 

 
이처럼 간단한 데이터 수집 및 분석으로도 제 자신의 생활 패턴의 문제점 및 개선 방법에 대해 많은 사실을 알 수 있었습니다. 이번주의 분석을 통해 얻은 결론은 다음과 같습니다. 

1. 적절한 긴장이 만족스런 생활에 매우 중요합니다. 위 데이터는 긴장의 정도가 높은 주중 / 오전&오후에 가장 높은 점수를 기록함을 알려줍니다.
2. 주말 / 밤의 낮은 평점을 할 일이 정해진 주중에 비해 자유도가 높은 여가 시간을 제대로 보내지 못한다고 해석할 수도 있습니다.  
3. 일찍 자고 일어나는 것은 생활의 전반적인 만족도에 중요한 영향을 끼칩니다. 

읽고 배운 것 (지식)
직접 경험만큼이나 값진 것이 블로그 및 SNS에서 접하는 지식입니다. 하지만, 그동안 한번 읽고 지나가는 매체의 속성상 제대로 된 배움이라는 느낌이 들지 않았습니다. 앞으로 매주 읽고 배운 것을 간단하게나마 정리해 나가려고 합니다. 

연구 관련
* GymPact pays you for working out, charges if you skip  짐에 등록하고 운동하면, 운동을 건너뛴사람한테서 모은 돈을 돌려준다고. 동질적인 사용자 집단간의 금전 거래를 서비스 업체에서 중계하는 Social Computing의 새로운 유형이다. 
* 구글의 검색연구자가 가르쳐주는 검색을 잘 하는 법 전문가에게 물어라 / 분야별&사이트별 검색엔진을 사용해라 / 검색 연산자를 활용해라 / 동의어&유의어를 찾아 사용해라 / 정보를 올리는 사람 입장에서 생각해라.
* http://fathmapp.com 직감적 조작성이 눈에띄는 일정 및 시간관리 앱 'fathm' 시간관리 프로그램은 수도없이 존재하지만, 도메인에 적합한 시각화 및 UI를 통해 차별화된 경험을 제공한다.

기타
* 논문은 이렇게 쓰는 겁니다~!| 천재 언어학자 Joan Bresnan이 어떻게 언어학계를 뒤흔든 논문을 썼는가 -- "좋은 논문의 조건은 '기존 생각에 대한 날카로운 비판'과 '자신만의 창조적인 아이디어'이다. "
* 인문계열 교수되는 법 첫째도, 둘째도, 셋째도 '논문'이다. 하지만, 좋은 논문을 많이 쓰려면, '비판적 사고'와 '창의적 아이디어'가 필요한데, 이것은 '인문학적 상상력'의 영역이다
* 문제해결 참고용 마인드맵 문제 해결은 '진짜 문제인지 확인하기' / '아는 문제로 변형하기'에서 출발한다.
* 필드림님 새해인사  자기 인생에 대한 오너십을 가져야 한다. 스스로 삶의 주인이 되기를 포기한다면 누가 나를 믿고 일을 맡기겠는가?

마치며
블로그에 처음으로 주간 리뷰를 적는 것이라 오늘은 시간이 적잫이 걸렸습니다. 하지만, 한 주의 시간이 헛되지 않았다는 느낌이 노력을 보상하고도 남는 것 같습니다. 올 한해는 웬지 작심삼일로 끝나지 않을 것 같습니다. 여러분들도 모두 화이팅입니다!

공상과학영화에서만 들어오던 2012라는 숫자를 달력에서 보는것이 아직 낯선 새해 첫날입니다. 두번째 인턴과 함께 대학원 생활을 사실상 마무리한 저의 2011년을 돌아보는 시간을 가졌습니다. 올 한해도 정신없이 논문을 쓰고, 컨퍼런스를 다니면서 바쁘게 보냈지만, 뭔가 아쉬움이 남았습니다. 그러다가 작년 초에 쓴 포스팅의 다음 구절이 가슴을 찌릅니다.

{대학원에서 4년차 하고도 한학기를 더 보낸 지금, 연구자로서의 역량이 꼭 논문 발표 횟수에 비례하는 것은 아니라는 사실을 깨달아 갑니다. 비슷한 주제에 대해 논문을 쓰다 보면 어느 정도 자신만의 틀이 생기고, 논문을 쓰는 일이 처음만큼의 노력을 요하지는 않기 때문입니다. 이렇게 계속하다가는 일을 하면서도 발전이 없는 매너리즘에 빠지게 되고, '논문쓰는 공장'이 된 듯한 느낌을 받을수도 있습니다.

그런 의미에서 올해의 목표는 기존의 틀을 꺨 수 있는 연구를 하는 것으로 설정했습니다. 이미 주어진 Task에서의 성능을 몇 %올리는 연구보다는, Task 자체를 새롭게 바라볼 수 있는 시각을 줄 수 있는 연구 말입니다. 물론 이런 시각을 얻는 것, 그리고 이를 논문에 표현해 내는 것은 '깊이'를 필요로 합니다. 그리고 꾸준한 학습과 경험만이 그러한 깊이를 가져다 줄 것입니다. 

눈에 보이는 실적보다, 얼마나 논문 만큼이나 '자기 성장'을 위한 노력을 했는지, 얼마나 '틀을 깨는' 연구를 하려고 노력했는지 돌이켜보면 아쉬움이 많이 남습니다. 문제의식은 있었지만 실천을 위한 노력을 부족하지 않았나 반성해 봅니다. 

블로깅 역시 하반기에 뜸했습니다만, 한해를 돌이켜보니 다음 포스팅이 기억에 남습니다. 이중 특히 '나가수'와 Self-Tracking 관련 포스팅이 독자님들의 사랑을 받았습니다. 검색 연구에 관해서는 영문 블로그에 더 많은 글을 썼던 것 같습니다.

유학생활 관련 : 
2011/12/05 - 미국 대학 교수직 지원을 시작하며
2011/09/13 - 졸업 즈음에 -- 유학 생활에서 배운 것, 배우고 싶은 것
2011/05/01 - ECIR 학회 참석 & 아일랜드 풍경

검색 연구 관련 : 
2011/03/03 - SEO, 구글의 반격, 그리고 검색엔진이 만들어가는 인터넷 정보 생태계
2011/02/10 - 구글의 실험 인프라스트럭쳐 - 지속적인 혁신의 비밀
2011/01/11 - Gmail Priority Inbox 알고리즘에서 배우는 실전 기계학습

자기개발 관련 : 
2011/12/25 - 과학적 자기 개발과 영적 수련
2011/04/09 - 자기개발서는 이제 그만, 데이터에 기반한 자기개발: Self-Tracking
2011/03/08 - 월드 클래스의 비밀: 단순 반복이 아닌 주도면밀한 연습(deliberate practice)
 
기타 : 
2011/05/08 - 기계학습 알고리즘으로 '나가수' 순위를 예측할 수 있을까? 있다!
2011/02/27 - 위대한 인물의 조건 - 율리우스 카이사르에게서 배운다
2011/08/08 - 나의 좌우명 - 줄 서지 않는 삶  

올 한해, 새로운 결심을 하기보다는 내실을 다시려는 노력을 이어가려 합니다. 거창한 이상과 구호보다는 낙숫물이 바위를 뚫는다는 마음으로 하루 하루, 순간 순간을 성실하게 보내려고 합니다. 졸업 및 취업 준비 등으로 바쁜 한해가 예상되는 만큼 이런 마음가짐이 더 중요하리라 생각됩니다.

최근 몇년 새 블로고스피어가 침체라는 이야기는 많이 듣지만, 스스로의 배움을 위해 시작한 블로깅인만큼 새해에도 꾸준히 포스팅에 임하려고 합니다. 댓글을 통한 소통을 활성화하기 위해 라이브리 소셜 플러그인을 설치했습니다. 여러분 모두 새해 복 많이 받으세요!

최근의 사고 이후에 삶의 태도가 조금은 달라졌습니다. 복잡성은 줄이고, 느슨함은 조이고, 형식보다 좀더 본질에 충실하려고 노력하고 있습니다. 최근에 달라진 저의 삶의 태도는 오랬동안 저의 관심사였던 자기개발'에 대한 접근법에도 영향을 끼쳤습니다.

시스템과 측정을 통한 자기 개선

지난번 Deliberate Practice 및 Self-Tracking에 대한 포스팅에도 썼지만, 그동안 저의 믿음은 '문제인식->측정->개선'이 반복되는 효과적인 시스템을 통해 각 개인이 자신의 한계를 극복할 수 있다는 것이었습니다. 그리고 이런 방법론을 개별 활동을 넘어서 삶 자체에도 적용할 수 있다고 믿었습니다. 정량적 측정을 통해 사실을 확립하고, 이를 기반으로 효과적인 개선책을 도출하며, 마지막으로 실험을 통해 이를 검증하는 이러한 접근 방법은 소위 자기개발의 과학화하고 하겠습니다.

저는 자기개발서에서 읽은 '지식'을 무비판적으로 자신의 삶에 적용하는 것보다는, 이렇게 측정에 기반한 과학적인 방식이 더 효과적이라고 믿습니다. 하지만, 최근들어 '자기 개발이라는 주제가 과학적인 접근만으로 해결되는 것이냐'는 회의가 들기 시작했습니다. 이는 자기개발의 대상은 인간이며, 인간은 이성만으로 움직이는 존재가 아니라는 자각에서 출발합니다.

좀더 구체적으로, 시스템적인 자기개발은 무엇이 '옳은지'를 알려주지만, 옳은 일이 꼭 하고 싶은 일이라는 법은 없습니다. 또한 마음의 상태에 따라 무엇이 옳은지에 대한 의식 자체가 떠오르지 않을 수도 있습니다. 즉, '실천'이라는 단계에 다다르지 못한다면 측정을 통해 도출한 해결책이 무용지물이 되거나, 오히려 역효과를 불러일으킬 수도 있습니다. 

자칫 과도한 자의식에 빠질 수 있다는 점도 문제입니다.  스스로의 행동에 대한 이런 저런 판단을 내리다보면 작은 성취에 우쭐해져 더 이상 노력을 하지 않게 될수도 있고, 이와 반대로 자기 비판의 함정에 빠져 변화에 필요한 에너지를 빼앗길 수도 있습니다. 스스로를 대상화하는 접근법이 더 큰 정신적인 낭비와 혼란을 가져오는 셈입니다

영적인 수련을 통한 자기 개선

과학적 자기개선 방법의 한계에 대한 해법으로, 최근에 영적인 수련에 대한 책을 읽고 있습니다. Zen Buddhism, Mindfulness Training, Spiritual Teaching등 다양한 이름이 있지만, 이들은 공통적으로 마음을 다스리는 방법을 다룹니다. 형태와 근원은 다르지만 가르침의 내용은 신기하게도 유사한데, 이 중 몇가지를 요약하면 다음과 같습니다.

대형 트럭에 차 뒤를 받혀 차가 반파되는 사고를 당했습니다. 다행히 몸에는 문제가 없었지만, 차 뒷부분이 부서진 것을 보니 아찔했습니다. 주변 분들의 도움을 받아 사고 처리를 대강 마치고 보스턴으로 돌아오는 길에 많은 생각을 했습니다. 작은 사고라면 상대방과 자신의 부주의를 탓하고, 금전적 손해를 생각했겠지만, 이정도 규모의 사고를 만나니 누구를 탓하기보다는 그냥 정신이 번쩍 들었습니다. 

스티브 잡스의 말처럼, 죽음의 그림자가 살짝 스쳐가고 나니 삶에서 무엇이 진정 중요한 것인지가 명확히 보이기 시작했습니다. 미국에 와서 정착을 하고 이제 조금 익숙해진 상태에서, 어느새 처음의 긴장감이 느슨함과 나태함으로 대채된 것은 아닌가 생각했습니다. 주변에서 너무나 많은 도움과 혜택을 받았음에도 배푸는 것에는 인색하지 않았나 합니다. 졸업 시기가 가까워진 학업에도 자신감을 넘어선 자만심이 스며들지 않았나 반성했습니다. 

눈에 보이는 손실은 많지만, 그 자리를 보이지 않으면서도 더 중요한 것들로 채우려고 합니다. 운전과 미식 대신 운동과 건강한 식사, 네트워킹이 아닌 진짜 관계, 그리고 자존심을 세우기보다는 어느 때보다 낮은 자세로 학업에 집중할 수 있는 마지막 학기를 보내려고 합니다. 어쩌면, 오늘 일은 변장한 행운(blessing in disguise)일지도 모릅니다.
 

이제 초겨울인데 이곳 보스턴은 봄같은 날씨가 계속되고 있습니다. 저는 최근에 내년 졸업을 앞두고 다시 본격적으로 진로 탐색 (여기서는 I'm on the Job Market이라고 표현합니다)에 나선 상태입니다. 현재로서는 미국의 학교 및 회사 자리를 모두 준비하고 있는데, 내년 가을에 채용하는 교수직의 경우 연말이 지원 마감인 경우가 많아서, 최근까지 숨가쁘게 각종 서류를 준비해서 첫 학교에 지원서를 내고 숨을 돌리는 찰나입니다. 

처음에는 교수직 지원을 아예 하지 않을 생각이었습니다. 대학원 생활을 이미 경험한 저에게는 연구 및 수업 이외에도 여러가지 잡무에 시달려야 하고, 연구에 필요한 환경이나 (특히) 사용가능한 데이터 측면에서도 열악한  '학교'라는 환경이 그렇게 탐탁치 않았습니다. 하지만, 앞으로 계속 하고픈 연구의 방향이 분명해지고, 이를 최대한 자유로운 환경에서 좆고 싶다는 생각에 학계에 속하고 싶다는 생각이 강해졌습니다. 배운 것을 최대한 다양한 커뮤니티의 사람들과 공유하고 싶다는 생각도 컸습니다. 데이터 등의 문제도 Crowdsourcing등으로 상당부분 해결되는 것 같고요.  

어쨌든 우여곡절끝에 굉장히 늦은 결심을 하고, 교수직 지원 서류를 준비하면서 참 많은 것을 느끼게 됩니다. 일단 재미있는 것은 요구 서류가 대학원 지원 때와 매우 흡사하다는 것입니다. 대부분 학교에서 1) 이력서(CV) 2) 연구계획서 3) 수업계획서 4) 추천서 등을 요구하는데, 3)을 제외하고는 모두 대학원 진학 준비시에 필요한 사항입니다. 교수나 대학원생이나 역할은 다르지만 연구 활동에 종사한다는 공통점이 있기 때문일까요?

5년 전에 준비했던 서류를 다시 쓰면서 그동안 대학원에서 무엇을 배웠나를 생각해보게 됩니다. 지난 번 글에도 썼지만, '연구'라는 활동을 맛보기에도 바빴던 시간이 아니었나 합니다. 뭔가 정신없이 계속 읽고 실험하고 쓰면서 '어떻게 하는구나'는 배운 것 같은데, 아직 어느 한가지도 만족스러울 정도는 못되는 것 같습니다. 1~2년차 대학원생들의 서투름을 보면서 '나도 저랬었나' 싶다가도, 존경하는 교수님들을 보면 '나는 언제 저렇게 하나' 하는 식입니다. 

문제는 마음속으로는 이런 애매한 느낌을 지우기 힘들더라도, 스스로 굉장히 자신감에 찬 상태로 지원서를 작성하고, 인터뷰에 임해야 한다는 것입니다. 유학 관련 글에서 밝혔지만, 설득력있는 연구계획서를 쓰는 것, 그리고 인터뷰를 통해 강한 인상을 남기는 것은 내적인 확신 없이는 거의 불가능한 일이기 때문입니다. (물론 한계를 인정하는 겸손함을 겸비해야 하겠지만, 우리 문화권 사람들은 이미 충분히 겸손한 듯 하니까요 ;)

마음이란 녀석이 참 재미난 것이, 또 이렇게 자기 최면(?)을 걸다보면 스스로 '난 썩 괜챃은 연구를 하고 있다'고 믿게 됩니다. 사실, 스스로 하는 일의, 그리고 자기 자신의 긍정적인 측면을 발견하고 키우는 것이 어찌보면 중요한 능력이 아닐까요. 특히 연구처럼 불확실성 및 재량이 큰 분야에서는 스스로를 믿고 우직하게 가는 것이 필요할 때가 많습니다. 의구심이 들 때마다 프로젝트를 중단해왔다면, 저의 경우 지금까지 끝낸 프로젝트가 하나도 없었을 테니까요.

한가지 조언

마지막으로 좀더 구체적인 이야기를 해볼까 합니다. 아직 지원 결과도 나오지 않은 상태에서 '조언'을 드릴 입정은 아닙니다만, 대학원에 계시면서 연구직, 특히 학교쪽으로 관심이 있으신 분들께는 연차에 관계 없이 가능한 빨리 교수 채용정보 등을 많이 접하시라고 말씀드리고 싶습니다 이를 통해 1) 어떤 분야에 주로 채용공고가 나는지 2) 어떤 종류의 자격요건을 요구하는지 3) 이를 최대한 충족하기 위해 남은 대학원 기간을 어떻게 보내야 하는지 등을 느낄 수가 있습니다.

전공 분야별로 채용 공고가 모이는  홈페이지는 어렵지 않게 찾으실 수 있습니다. (컴퓨터 사이언스 쪽은 cra.org) 참고로 교수직에 지원하겠다는 결정을 올 여름에서야 내린 저의 경우, 만약 이런 채용 정보를 미리 알았더라면 1) 연구 방향을 어느정도 채용공고가 몰리는 쪽으로 맞출 수 있었을 것이며 (요즘 검색/HCI 분야의 Keyword는 'Social'입니다.) 2) 교수 채용시에 중요한 요건이 되는 티칭이나 연구 Grant 신청 등의 경험을 더 쌓고 3) 지도교수님 이외에 적어도 2인의 추천인들에게 더 좋은 모습을 보여줄 수 있도록 노력했을 것 같습니다.  

이번 글에서는 교수직 지원 과정에 대해 다루었는데, 다음번에는 (IT) 회사 인터뷰 준비를 다룰까 합니다. 최근 IT 기업 면접의 핵심이 되는 프로그래밍 인터뷰 준비 과정을 중점적으로 다룰 생각입니다.

오랜만에 검색 관련 포스팅으로, 인턴 프로젝트 및 기타 이유로 관심을 많이 갖게 된 검색 개인화에 대해 써볼까 합니다. 개인화는 2000넌대 초반부터 주로 연구되어 최근까지 굉장히 Hot한 주제였습니다. 제가 논문 검색에 자주 사용하는 DBLP 검색엔진의 결과를 보면 2000년대 후반에 굉장히 많은 연구가 이루어졌음을 알 수 있습니다. 

 
검색, 검색 개인화, 문서 추천

지난 연재에서 소개했듯이, 전통적인 검색 연구의 두 축은 질의어와 문서입니다. 즉, 주어진 질의어에 관련성이 높은 순서로 문서를 랭킹하는 것이 핵심 문제입니다. 그러다 보니 관련성은 질의어와 문서에 대해서만 정의되며, 실제로 질의어를 입력하고 결과를 사용하는 개별 사용자는 고려되지 않았습니다. 개별 사용자의 취향을 고려하기 보다는, 주어진 질의에 대해 최대한의 사용자를 만족시키는 '정답'이 존재한다고 가정하고, 이를 여러 방시으로 찾으려는 것입니다.

이에 반해 개인화된 검색은 질의어와 문서에 '사용자'를 직접 고려합니다. 기존 웹검색의 성능을 높이는 일이 어느정도 한계에 부딛히고, 검색엔진이 사용자에 대한 다양한 정보를 수집하게 되면서 '다수'를 만족시키는 랭킹보다는 사용자 각각을 만족시키는 랭킹을 찾으려고 노력하게 된 것입니다. 아래 그림에서처럼 이제 문서(D)의 관련성(R)이 질의어(Q) 뿐만 아니라 개별 사용자(U)의 관점에서도 정의되는 것입니다. 여기서 질의어라는 개념을 뺀다면 각 사용자에 대한 문서를 추천하는 Collaborative Filtering과도 많이 닮아있는 것을 보실 수 있습니다. 

개인화 검색의 이슈들

이처럼 '사용자'라는 하나의 축이 더 생기다보니, 개인화된 검색에는 많은 고려사항이 있습니다. 우선, 질의와 문서간의 매칭 뿐만 아니라 사용자와 문서의 매칭까지 고려해야 합니다. 즉, 사용자의 위치, 평소 관심 분야와 취향을 고려해 선호되지 않을 것으로 예측되는 문서는 질의어와의 관련성이 높더라도 랭킹을 낮추는 것입니다.

하지만, 잘 최적화된 기본 랭킹 대신에, 개인화된 랭킹을 적용하는 일에는 여러가지 위험성이 따르기에, 이를 고려하여 개인화의 여부 및 정도를 적절히 결정하는 것이 필요합니다. 최근에 발표된 연구중 문서의 난이도를 고려하여 검색 결과를 개인화하는 연구를 [1] 예를 들어봅시다. 평소에 어려운 문서를 읽는 사용자라도 가끔 쉬운 문서를 읽고싶을 때가 있을 텐데, 만약 검색엔진이 계속 어려운 문서만 추천한다면 오히려 사용자 만족도를 떨어뜨리는 결과를 낳을 것입니다. 

마지막으로, 검색 결과의 '정답'이 각 사용자에 따라 달라지기에, 예전처럼 검색 품질 평가에 별도의 평가자(Judge)를 고용하는 일은 더이상 의미가 없습니다. 대신 개별 사용자의 클릭 데이터가 주된 평가의 척도가 됩니다. 검색 알고리즘 평가에 관한 학회중 대표적인 TREC에서 최근에 검색 세션에서의 사용자 만족도 향상을 목표로 하는 Session Track을 시작했는데, 여기서도 평가를 위해 개별 사용자의 만족도를 반영하는 클릭 데이터가 새용됩니다. 

위에서 설명했듯 개인화된 랭킹을 만들고 평가하는 데에는 개별 사용자의 로그 데이터가 필수적입니다. 각 사용자의 관심도나 취향을 추측하고, 개인화된 결과가 더 좋은 결과를 낳는지는 사용자의 검색 기록을 통해서만 알 수 있기 때문입니다. 그래서 많은 검색엔진은 검색 기록 이외에도 브라우저 툴바 등을 통해 개인 사용자에 대한 기록을 모으고 있습니다. 또한, 모든 사용자 각각에 대해 충분한 데이터를 얻을 수 있는 것이 아니기 때문에, 사용자를 여러 속성으로 군집화하여 개인화 대신 집단에 대해 최적화된 결과를 제공하기도 합니다.  
 
마치며

며칠 전이 미국에 온지 4년째가 되는 날이었습니다. 올해 초에 졸업 논문 최종심사의 전 단계인 논문 Proposal을 마쳤으니 앞으로의 진로에 대해 슬슬 생각해볼 시점입니다. 오늘은 그동안 대학원에서 배운 것들, 아직 배워야 할 것들, 그리고 앞으로의 계획에 대해 써볼까 합니다. 최근에 제 글이 주로 그렇듯, 제 생각을 정리하기는 목적으로 쓰는 것이지만, 유학을 생각하시는 독자 분들께 참고가 되었으면 하는 바램입니다.

What I Got

지난 4년간의 대학원 생활을 통해 저는 무엇을 얻었을까요? 혼자 만들어 사용하던 개인정보관리 시스템 개발 경험과 '하고싶은 일을 하겠다'는 결심 이외에는 전무하던 4년전과 비해, 지금은 미숙하나마 자신을 '연구자'로 소개할 수 있을 것 같습니다. 구체적인 지식이나 기술이야 다른 경로로 배울 수도 있었겠지만, 연구자로서의 마음가짐을 체득하는 것은 대학원 생활을 통해 얻을 수 있었던 가장 큰 수확이 아닌가 합니다.

좀더 구체적으로 말하자면, 대학원 입학 전에는 어떤 아이디어가 떠오르면 어떻게 시스템을 구현해서 써볼까 하는 생각을 했었다면, 지금은 주어진 문제를 작은 단위로 쪼개고 각 부분에 맞는 어프로치를 고민하게 되었습니다. 예전에는 직관적에 따라 해결책을 찾았다면, 이제 관련 분야의 연구를 찾아보고 힌트를 얻으려고노력합니다. 시스템을 만들고 사용하는 것에 그치는 것이 아니라, 과학적 방법론에 입각한 평가를 해야 한다는 것도 압니다. 

학교 생활, 학회 참석 및 두 번의 인턴 생활을 통해 배운 것도 많습니다.  검색과 관련된 기계학습 및 자연어처리, 통계학의 기초를 수업 및 여러 튜토리얼을 통해 다질 수 있었고, 학회에서 연구자들과 소통하며 '학계'라는 커뮤니티의 일부가 되는 보람을 얻을 수 있습니다. 마지막으로 학교에서의 생활과 기업 연구소에서의 생활이 어떻게 다른지도 맛볼 수 있었습니다. 학교 생활만 했다면 얻지 못했을 이런 경험들이 졸업을 앞둔 이 시점에 진로를 결정하는데 큰 도움이 됩니다. 

What I Need

대학원에서의 4년은 연구자로서의 경력을 시작할 수는 있어도 충분한 깊이를 달성하기에는 부족한 시간고, 이를 달성하는 것이 졸업 전까지의 목표가 될 것입니다. 우선, 이론적 기초, 문제 해결력, 커뮤니케이션 능력 등 연구자로서의 기본 실력을 최대한 끌어올리고 싶습니다. 물론 이를 위한 가장 효과적인 방법은 좋은 연구를 게속 하는 것이겠지만, 지난번에 썼듯이 비슷한 노력으로 틀에 박힌 연구를 하는 것으로는 자기 자신의 최대치를 끌어낼 수가 없을 것입니다. 매번 평가의 기준(Bar)을 높이고 기존의 유형을 답습하지 않도록 노력해야 할 것입니다. 

연구자로서의 스킬 향상 만큼이나 졸업 전에 해두고 싶은 부분은, 공부한 내용을 통합하여 체계적인 사고의 틀을 확립하는 것입니다. 그동안 수많은 논문과 책을 읽었지만, 읽은 내용이 모두 기억에 남는 것도 아니고, 이런 저런 계기로 접한 지식이 일관된 체계를 이루는지도 의문입니다. '박사 학위 소지자라면 자기 분야에서 책 한권은 쓸 수 있어야 하지 않나'하고 생각했던 적도 있었는데, 굳이 출판물의 형태가 아니더라도 배운 내용을 일관된 형태로 정리하는 작업은 유의미할 것입니다.

사실 위에서 언급한 사항은 연구직의 지원 및 심사과정에서 중점적으로 평가하는 항목이기도 합니다. 교수직 인터뷰에 필수적인 과정인 Job Talk은 연구자로서의 경험과 자질에 대한 종합 평가에 다름아니고, 많은 회사에서의 인터뷰는 주어진 문제에 대한 접근법과 해결책을 묻는 과정이기 때문입니다. 예컨데 '이러이러한 상황에서 검색 알고리즘을 어떻게 디자인하고 평가해야 하는가.'와 같은 인터뷰 질문에 대한 가장 효과적인 준비는 위에서 언급한 사고의 틀의 확립일 것입니다. 

What I Wish

흔히 졸업을 앞둔 컴퓨터 전공의 대학원생들은 학교 혹은 기업 연구소 사이에서 진로를 고민하게 됩니다. 학교에서는 학문적 자유와 정년이 보장되는 대신, 연구 프로젝트 수주 및 수업 등으로 순수 연구에 할애할 시간은 줄어든다고들 합니다. 기업에서는 연구에 집중할 수 있고 사용자 데이터를 제한없이 사용할 수 있지만, 지적 재산권 등의 문제로 인해 학계에서의 활동에는 아무래도 제약을 받게 마련입니다. 

 이처럼 다른 특성 때문에 학계와 업계 중 하나를 골라 준비하는 경우도 있지만, 박사 졸업자가 전공을 살려 취업할 수 있는 연구직 채용 규모는 많아야 수 명으로 제한적이기에 둘 다 준비하는 경우도 많습니다. 학교 혹은 기업에 맞춰 준비해야 할 부분도 있겠지만,  서류 / 추천서 / Job Talk / 면접 등으로 이루어지는 심사 과정이 워낙 복합적이기에, 요령 습득보다는 위에서 언급한대로 연구자로서 훌륭한 자질을 갖추는데 주력할 생각입니다. 

Epilogue

 미국이라는 낯선 땅에 스스로를 적응시키려 노력하던 때가 엇그제 같은데, 어느덧 다음 단계를 준비하는 자신을 발견하게 되었습니다. 평생의 직업이 결정되는 단계인만큼 긴장되기도 합니다. 하지만, 현재에도 스스로 즐거운 일을 하고 있고, 앞으로도 어떤 식으로도 이 일을 계속할 수 있을 것이라고 생각하면 별로 걱정할 일은 없어 보입니다. 열심히 읽고, 쓰고, 생각하며 하루하루를 보내다 보면 좋은 결과가 있을 것이라고 믿어봅니다. 

오늘 제가 훌륭한 분이라고 생각하는 위자드웍스 표철민 대표의 글을 읽고, 불현듯 제 '좌우명'을 돌이켜보게 되었습니다. 아직 젊은 나이에 좌우명이라면 우습지만, 나름의 원칙과 방향을 정해놓은 삶과 그렇지 않은 삶에는 장기적으로 많은 차이가 있을 것이라는 생각입니다. 누구에게 보이기보다는 제 자신을 가다듬는 의미에서 이 글을 씁니다.

줄 서지 않는 삶

어느 젊은 마음이 산사의 풍경처럼 평온하랴만은, 제가 유학을 준비하던 시절을 돌이켜 보면 참으로 갈등이 많았던 것 같습니다. 경영학 복수전공을 거의 마치고 3년간의 회사생활을 경험한 직후, 가장 자연스러운 선택은 회사에 취업하는 것이었지만 마음은 '공부를 더 해야겠다'는 쪽으로 기울고 있었기 때문입니다. 대학원 유학이 드문 선택은 아니었지만, 저의 경우 전공을 컴퓨터로 바꾼다는 리스크가 있었고 주변 환경도 유학에 썩 호의적은 편은 아니어서 적잫이 고민을 했습니다.

그러던 어느 날, 혼잡한 시간대에 지하철을 기다리다가, 도착한 지하철에 사람들이 다투어 끼어들어 난장판이 벌어지는 것을 보고 무심코 그냥 다음 차를 타기로 결심하였습니다. 그런데, 웬일인지 다음 차는 텅 비어있는 것이 아니겠습니까. 그 이후부터 지나치게 혼잡한 지하철이나 버스는 그냥 보내는 습관이 생겼고, 매우 혼잡한 차 다음에는 비교적 한가한 차가 오는 경향을 발견했습니다.

얼핏 매우 사소한 일이지만, 저는 이 사건에서 제 좌우명이라고 할만한 원칙을 세웠습니다. 바로 '줄서지 않는 삶'을 사는 것입니다. 여기서 '줄 서는 것'은 물리적인 줄 뿐만 아니라 삶에서 내려야 할 수많은 선택의 순간에도 적용됩니다. 학교 및 직장을 선택하는 것도, 쇼핑을 하거나 식당에서 음식을 주문하는 행위도 '줄 서는 것'이라고 할 수 있습니다.

'줄'은 사람이 많은 곳에는 어디에나 생기게 마련아니, 줄 서지 않는 삶은 다수의 편에 서는 것을 가급적 피하는 삶입니다. 이런 의미에서 줄서지 않는 삶은 자신의 선택을 보증해줄 '다수'와 함께할 수 없는 외로운 삶입니다. 하지만 그만큼 자신에게 충실하고, 스스로 판단하고 행동해야 하기에 '깨어있는(mindful)' 삶입니다. 그것이 아마 제가 '줄 서지 않는 삶'이라는 원칙에 매료된 이유였던 것 같습니다. 매 순간을 무신경하게(mindless) 흘려보내는 것을 막아주기 때문입니다. 자신의 삶이 다른 누군가의 의사결정을 답습하는 것으로 점철된다면 '나'의 존재 이유는 무엇일까요?

줄 서지 않는 이유

모든 원칙이 그렇듯이 '줄 서지 않는 것'이 금칙(dogma)이 되어서는 곤란합니다. 다수의 선택이 지혜로운 경우가 사실 더 많기 때문입니다. 이런 점을 제대로 고려하지 않고 반대를 위한 반대를 한다면 혼자 조롱거리가 되기 쉽상입니다. 줄을 서지 않겠다는 결정은 이런 의미에서 항상 사려깊은 것이어야 합니다. 하지만, 저는 같은 값이면(other things being equal) 소수의 편에 서는 것이 개인, 그리고 사회적인 측면에서 더 낳다고 생각합니다.

개인적인 이유는 앞서 밝혔듯이 좀더 순간순간 깨어있는 삶을 살기 위해서입니다. 또한 다수의 선택은 '무난한' 경우가 많지만, 아주 탁월하기도 힘듭니다. 표철민 대표도 썼지만, 사람이 더 몰리는 곳에는 경쟁이 있게 마련이고, 이는 같은 수준의 결과를 얻기 위해 더 많은 노력을 투입해야 함을 의미하기 때문입니다. 표면적으로는 다수의 선택이지만 많은 경우 초기 몇 명만이 실제 선택(conscious decision)을 하고 나머지 대다수는 이를 무작정 추종한다는 연구 결과도 있습니다.

저는 또한 '줄 서지 않는 삶'이 많아질수록 더 다양한, 그래서 더 풍요로는 사회가 된다고 믿습니다. 각자가 자신에게 맞는 선택을 할수록 혼잡 및 과도한 경쟁에 따르는 비용도 줄어듭니다. (사람들이 각자 원하는 시간에 출퇴근을 할 수 있게 된다고 생각해 봅시다.) 또한 '줄 서지 않는 구성원'은 집단 의사결정의 품질을 높입니다. 누군가가 '해답'을 찾아낼 가능성도 높아지기 때문입니다. 집단에서 모든 구성원이 독단적인 리더의 말을 따르는 '거수기' 역할을 할 경우보다 건강한 소수의견이 존재하고 경청되는 것이 장기적으로 집단의 발전에 유리할 것입니다.

안철수 선생님의 글에도 '성공의 정의가 하나밖에 존재하는 사회에는 미래가 없다'는 말이 나옵니다. 사회 모든 측면에서 (명목상으로나마) 다양성이 존중받는 미국에 비해 '좋은 학교', '좋은 직장', '좋은 주거지' 등에 대한 굉장히 좁은 정의가 존재하는 우리나라에서는 특히 이렇게 '자신의 길'을 가는 사람이 더 많이 나와야 한다고 믿습니다. 이런 의미에서 오지 여행이라는 '장르'를 연 한비야씨나, 에전에 인간극장에 나왔던 명문대 출신의 산골 부부인 '장길연 / 김범준'씨 부부와 같은 사람들은 사회적으로 큰 공헌을 했다고 볼수 있지 않을까요. 이들이 개척한 길을 따라 수많은 추종자가 나왔고, 많은 사람에게 '이렇게 사는 방법도 있구나'라는 깨달음을 주었으니까요.

줄 서지 않는 삶을 향하여

얼핏 간단하게 들리지만, '줄 서지 않는 삶'에는 상당한 준비가 필요합니다. 자기 자신에 대해 정확히 파악하고, 자신의 판단을 신뢰할 수 있어야 다수의 선택에서 자유로울 수 있는 용기를 가질 수 있기 때문입니다. 이에 대해 표철민 대표는 좋아하는 것을 찾을 수 있는 여유를 선물하라고 조언합니다. 항상 의무에 시달리고 필요를 좆기보다, 일 이외의 삶에서 자신을 발견하고 균형감각을 기를 수 있기 때문일 것입니다.

대학원 생활 4년을 마치고 조만간 미래에 대한 선택의 기로에 놓이게 될 요즘, 다시금 상념에 빠지는 나날이 늘어갑니다. 하고 싶은 연구를 하겠다는 처음의 날 선 각오를 잊고 적당히 현실타협적으로 변하려는 스스로를 발견하기도 합니다. 하지만 요즘도 종종 '줄 서지 않는 삶'이라는 좌우명을 되뇌이고, 그때마다 마음에 새로운 각오가 차오르는 것을 느끼곤 합니다. 여러분의 좌우명은 무엇인가요?