LiFiDeA의 검색 이야기 

요즘 대부분의 시간을 Cambridge에서 보내는 관계로 오늘은 MIT의 Big Data Processing에 관한  겨울 수업에 잠깐 들어갔습니다. 오늘 수업은 MapReduce에 관한 것이었는데, MapReduce자체가 새로울 것은 없지만, 개념부터 Amazon Web Service를 사용한 실전까지 1시간 내에 따라해볼 수 있는 내용이라 여기서 간단히 소개합니다. 

http://dataiap.github.com/dataiap/

대부분 아시겠지만, MapReduce는 대용량 데이터 처리를 위한 프레임웍으로, 구글 논문에 처음 소개된 이래로 Yahoo 주도로 개발한 Hadoop 프레임웍이 널리 사용되고 있습니다. 최근에는 Amazon Web Service에서 가입형으로 사용할 수 있는 MapReduce 클러스터를 제공하여 Netflix를 포함한 많은 기업에서 활용하고 있습니다. 

오늘 실습은 MapReduce Python를 사용하여 Enron 이메일 코퍼스의 문서별 단어개수를 세고, 이를 Amazon클러스터에서 실행하는 것이었습니다. 구체적인 내용은 오늘의 강의자료를 참조하시고, 저는 맛보기로 여기 제가 실행한 코드와 결과물을 올릴까 합니다. 강의에서는 이를 좀더 심화하여 tf-idf계산까지를 다루었습니다. 

import sys
from mrjob.protocol import JSONValueProtocol
from mrjob.job import MRJob
from term_tools import get_terms

class MRWordCount(MRJob):
    INPUT_PROTOCOL = JSONValueProtocol
    OUTPUT_PROTOCOL = JSONValueProtocol

    def mapper(self, key, email):
        for term in get_terms(email['text']):
            yield term, 1

    def reducer(self, term, occurrences):
        yield None, {'term': term, 'count': sum(occurrences)}

if __name__ == '__main__': 

MRWordCount.run() 

mapper에서 문서별 단어 개수를 세어 이를 단어별로 모아 reduce에서 합산하는 위 예제 코드를 아마존 클러스터에서 실행한 결과는 다음과 같습니다. 약 17~8분 정도에 완료되었습니다. (저도 아마존 클러스터는 처음 사용해 보았습니다.)

Running time was 1051.0s (not counting time spent waiting for the EC2 instances)

ec2_key_pair_file not specified, going to S3

Fetching counters from S3...

Waiting 5.0s for S3 eventual consistency

Counters from step 1:

  FileSystemCounters:

    FILE_BYTES_READ: 197488305

    FILE_BYTES_WRITTEN: 58258678

  Job Counters :

    Launched map tasks: 167

    Launched reduce tasks: 33

    Rack-local map tasks: 167

  Map-Reduce Framework:

    Map input bytes: 1405888038

    Map input records: 516893

    Map output bytes: 585440070

    Map output records: 49931418

    Reduce input groups: 232743

    Reduce input records: 49931418

    Reduce output records: 232743

    Reduce shuffle bytes: 26548380

    Spilled Records: 134445547  

사실 이 자체가 대단한 내용은 아니지만, 아직도 국내에서 신기술로 인식되고 있는 MapReduce가 (요즘은 안 그런가요?) 미국 대학의 교양 강좌에 소개될 정도로 툴 및 인프라가 발전했다는 사실을 느꼈습니다. MapReduce를 검색에 사용하는 방법을 좀더 배우고픈 분들은 Maryland의 Jimmy Lin 교수가 공개한 온라인 책을 읽어보시고, 위 수업에서는 이외에도 Python을 사용한 통계 및 데이터 시각화를 다루니, 참고하시기 바랍니다. 

새해 첫주, 시작은 잘 하셨나요? 최근에 어느분이 트윗해주신 인포그래픽을 보니 75%의 사람들이 첫주까지는 새해 결심을 지킨다고 하니, 대부분 잘 하시고 있으시라 믿습니다. 자기 개발 및 개인 정보 관리에 대해서 예전에도 썼었지만, 대학원에 있다보니 실천이 앎을 따르지 못한다는 느낌을 받았습니다. 그래서 새해에는 연구 논문이 아닌 실천을 통해 배워보고싶은 마음이 들었습니다. 

이런 결심의 일환으로 올해 초부터 매주 일정 시간을 지난 주를 돌아보고 다음 주를 계획하는데는 결심을 했습니다. 구체적으로는 한 주간 잘 했거나 아쉬웠던 일을 돌아보고, 밀린 메시지나 잔일을 정리하고, 배운 내용을 갈무리할 생각입니다. 이렇게 주기적인 재정비의 시간을 갖는 것은 Getting Things Done등의 여러 방법론에서 강조되는 내용이지만, 그동안 바쁜 일상에 제대로 실천하지 못했습니다.

삶에 대한 반성과 계획은 본질적으로 개인적인 활동이지만, 이에 더 큰 의미를 부여하고 스스로를 동기부여하기 위해 본 블로그에 그 내용을 기록할 생각입니다. 지금까지도 블로그를 통해 결심과 변화의 순간을 기록하곤 했지만, 이를 좀더 체계화하여 계량적 분석을 하는것은 의미가 클 것 같습니다. 또한, 트위터 등 SNS를 통해 배우는 많은 배움을 곱씹어보고 소화하겠다는 의미도 있습니다. 

반성 및 계획 (일정)
오늘은 첫 포스팅인만큼, 제가 반성 및 계획을 위해 최근에 사용하는 Self-tracking 방법을 간략히 소개합니다. 우선 저는 EverNote에 매주 Journal페이지를 만듭니다. 그리고, 매일 기상 및 취침시간, 그리고 하루를 3개의 기간으로 (오전/ 오후 / 저녁) 나누어 일정, 느낌 및 평가치 (1:worse - 5:best)를 기록합니다. 여기서 평가치는 환경, 기분, 결과 등을 종합적으로 고려하여 해당 기간에 매기는 점수입니다. (여기에 대해서는 나중에 좀더 자세히 쓰도록 하겠습니다.)

한해의 첫주인 지난주의 결과를 살펴븝시다. 아래 포는 날짜별 (전날의) 수면시간, 기상시간, 그리고 3기간 각각 및 평균 점수를 나타냅니다. 점수는 중간치인 3을 밑돌았을 때 빨간색, 이를 상회했을대 파란색으로 적었습니다. 아래 데이터에서 다음과 같은 결론을 낼 수 있습니다.

1. 24시 취침 및 6시 기상을 계획는데, 기상시간이 대체로 계획보다 1시간 가량 늦었습니다.
2. 저녁 시간대의 점수가 아침 / 점심에 비해 평균적으로 낮습니다. 
3. 휴일이 낀 주초 / 주말의 점수가 주중(수/목)에 비해 낮습니다. 

위 테이블 컬럼간의 상관관계(correlation)을 살펴보니 몇가지 재미있는 사실을 발견할 수 있었습니다. 

1. 늦은 수면 시간은 다음날의 점수를 전반적으로 악화시키고, 늦은 기상 시간은 오후/저녁 시간대에 비슷한 영향을 끼칩니다. 전반적으로 수면/기상 시간이 늦어질수록 평균점수는 낮아집니다.
2. 오전 시간대의 평가치는 저녁 시간대의 평가치와 반대 방향으로 움직입니다. 반면에 오후 시간대의 평가치는 저녁과 양의 상관관계를 갖습니다. 
 

 
이처럼 간단한 데이터 수집 및 분석으로도 제 자신의 생활 패턴의 문제점 및 개선 방법에 대해 많은 사실을 알 수 있었습니다. 이번주의 분석을 통해 얻은 결론은 다음과 같습니다. 

1. 적절한 긴장이 만족스런 생활에 매우 중요합니다. 위 데이터는 긴장의 정도가 높은 주중 / 오전&오후에 가장 높은 점수를 기록함을 알려줍니다.
2. 주말 / 밤의 낮은 평점을 할 일이 정해진 주중에 비해 자유도가 높은 여가 시간을 제대로 보내지 못한다고 해석할 수도 있습니다.  
3. 일찍 자고 일어나는 것은 생활의 전반적인 만족도에 중요한 영향을 끼칩니다. 

읽고 배운 것 (지식)
직접 경험만큼이나 값진 것이 블로그 및 SNS에서 접하는 지식입니다. 하지만, 그동안 한번 읽고 지나가는 매체의 속성상 제대로 된 배움이라는 느낌이 들지 않았습니다. 앞으로 매주 읽고 배운 것을 간단하게나마 정리해 나가려고 합니다. 

연구 관련
* GymPact pays you for working out, charges if you skip  짐에 등록하고 운동하면, 운동을 건너뛴사람한테서 모은 돈을 돌려준다고. 동질적인 사용자 집단간의 금전 거래를 서비스 업체에서 중계하는 Social Computing의 새로운 유형이다. 
* 구글의 검색연구자가 가르쳐주는 검색을 잘 하는 법 전문가에게 물어라 / 분야별&사이트별 검색엔진을 사용해라 / 검색 연산자를 활용해라 / 동의어&유의어를 찾아 사용해라 / 정보를 올리는 사람 입장에서 생각해라.
* http://fathmapp.com 직감적 조작성이 눈에띄는 일정 및 시간관리 앱 'fathm' 시간관리 프로그램은 수도없이 존재하지만, 도메인에 적합한 시각화 및 UI를 통해 차별화된 경험을 제공한다.

기타
* 논문은 이렇게 쓰는 겁니다~!| 천재 언어학자 Joan Bresnan이 어떻게 언어학계를 뒤흔든 논문을 썼는가 -- "좋은 논문의 조건은 '기존 생각에 대한 날카로운 비판'과 '자신만의 창조적인 아이디어'이다. "
* 인문계열 교수되는 법 첫째도, 둘째도, 셋째도 '논문'이다. 하지만, 좋은 논문을 많이 쓰려면, '비판적 사고'와 '창의적 아이디어'가 필요한데, 이것은 '인문학적 상상력'의 영역이다
* 문제해결 참고용 마인드맵 문제 해결은 '진짜 문제인지 확인하기' / '아는 문제로 변형하기'에서 출발한다.
* 필드림님 새해인사  자기 인생에 대한 오너십을 가져야 한다. 스스로 삶의 주인이 되기를 포기한다면 누가 나를 믿고 일을 맡기겠는가?

마치며
블로그에 처음으로 주간 리뷰를 적는 것이라 오늘은 시간이 적잫이 걸렸습니다. 하지만, 한 주의 시간이 헛되지 않았다는 느낌이 노력을 보상하고도 남는 것 같습니다. 올 한해는 웬지 작심삼일로 끝나지 않을 것 같습니다. 여러분들도 모두 화이팅입니다!

공상과학영화에서만 들어오던 2012라는 숫자를 달력에서 보는것이 아직 낯선 새해 첫날입니다. 두번째 인턴과 함께 대학원 생활을 사실상 마무리한 저의 2011년을 돌아보는 시간을 가졌습니다. 올 한해도 정신없이 논문을 쓰고, 컨퍼런스를 다니면서 바쁘게 보냈지만, 뭔가 아쉬움이 남았습니다. 그러다가 작년 초에 쓴 포스팅의 다음 구절이 가슴을 찌릅니다.

{대학원에서 4년차 하고도 한학기를 더 보낸 지금, 연구자로서의 역량이 꼭 논문 발표 횟수에 비례하는 것은 아니라는 사실을 깨달아 갑니다. 비슷한 주제에 대해 논문을 쓰다 보면 어느 정도 자신만의 틀이 생기고, 논문을 쓰는 일이 처음만큼의 노력을 요하지는 않기 때문입니다. 이렇게 계속하다가는 일을 하면서도 발전이 없는 매너리즘에 빠지게 되고, '논문쓰는 공장'이 된 듯한 느낌을 받을수도 있습니다.

그런 의미에서 올해의 목표는 기존의 틀을 꺨 수 있는 연구를 하는 것으로 설정했습니다. 이미 주어진 Task에서의 성능을 몇 %올리는 연구보다는, Task 자체를 새롭게 바라볼 수 있는 시각을 줄 수 있는 연구 말입니다. 물론 이런 시각을 얻는 것, 그리고 이를 논문에 표현해 내는 것은 '깊이'를 필요로 합니다. 그리고 꾸준한 학습과 경험만이 그러한 깊이를 가져다 줄 것입니다. 

눈에 보이는 실적보다, 얼마나 논문 만큼이나 '자기 성장'을 위한 노력을 했는지, 얼마나 '틀을 깨는' 연구를 하려고 노력했는지 돌이켜보면 아쉬움이 많이 남습니다. 문제의식은 있었지만 실천을 위한 노력을 부족하지 않았나 반성해 봅니다. 

블로깅 역시 하반기에 뜸했습니다만, 한해를 돌이켜보니 다음 포스팅이 기억에 남습니다. 이중 특히 '나가수'와 Self-Tracking 관련 포스팅이 독자님들의 사랑을 받았습니다. 검색 연구에 관해서는 영문 블로그에 더 많은 글을 썼던 것 같습니다.

유학생활 관련 : 
2011/12/05 - 미국 대학 교수직 지원을 시작하며
2011/09/13 - 졸업 즈음에 -- 유학 생활에서 배운 것, 배우고 싶은 것
2011/05/01 - ECIR 학회 참석 & 아일랜드 풍경

검색 연구 관련 : 
2011/03/03 - SEO, 구글의 반격, 그리고 검색엔진이 만들어가는 인터넷 정보 생태계
2011/02/10 - 구글의 실험 인프라스트럭쳐 - 지속적인 혁신의 비밀
2011/01/11 - Gmail Priority Inbox 알고리즘에서 배우는 실전 기계학습

자기개발 관련 : 
2011/12/25 - 과학적 자기 개발과 영적 수련
2011/04/09 - 자기개발서는 이제 그만, 데이터에 기반한 자기개발: Self-Tracking
2011/03/08 - 월드 클래스의 비밀: 단순 반복이 아닌 주도면밀한 연습(deliberate practice)
 
기타 : 
2011/05/08 - 기계학습 알고리즘으로 '나가수' 순위를 예측할 수 있을까? 있다!
2011/02/27 - 위대한 인물의 조건 - 율리우스 카이사르에게서 배운다
2011/08/08 - 나의 좌우명 - 줄 서지 않는 삶  

올 한해, 새로운 결심을 하기보다는 내실을 다시려는 노력을 이어가려 합니다. 거창한 이상과 구호보다는 낙숫물이 바위를 뚫는다는 마음으로 하루 하루, 순간 순간을 성실하게 보내려고 합니다. 졸업 및 취업 준비 등으로 바쁜 한해가 예상되는 만큼 이런 마음가짐이 더 중요하리라 생각됩니다.

최근 몇년 새 블로고스피어가 침체라는 이야기는 많이 듣지만, 스스로의 배움을 위해 시작한 블로깅인만큼 새해에도 꾸준히 포스팅에 임하려고 합니다. 댓글을 통한 소통을 활성화하기 위해 라이브리 소셜 플러그인을 설치했습니다. 여러분 모두 새해 복 많이 받으세요!

최근의 사고 이후에 삶의 태도가 조금은 달라졌습니다. 복잡성은 줄이고, 느슨함은 조이고, 형식보다 좀더 본질에 충실하려고 노력하고 있습니다. 최근에 달라진 저의 삶의 태도는 오랬동안 저의 관심사였던 자기개발'에 대한 접근법에도 영향을 끼쳤습니다.

시스템과 측정을 통한 자기 개선

지난번 Deliberate Practice 및 Self-Tracking에 대한 포스팅에도 썼지만, 그동안 저의 믿음은 '문제인식->측정->개선'이 반복되는 효과적인 시스템을 통해 각 개인이 자신의 한계를 극복할 수 있다는 것이었습니다. 그리고 이런 방법론을 개별 활동을 넘어서 삶 자체에도 적용할 수 있다고 믿었습니다. 정량적 측정을 통해 사실을 확립하고, 이를 기반으로 효과적인 개선책을 도출하며, 마지막으로 실험을 통해 이를 검증하는 이러한 접근 방법은 소위 자기개발의 과학화하고 하겠습니다.

저는 자기개발서에서 읽은 '지식'을 무비판적으로 자신의 삶에 적용하는 것보다는, 이렇게 측정에 기반한 과학적인 방식이 더 효과적이라고 믿습니다. 하지만, 최근들어 '자기 개발이라는 주제가 과학적인 접근만으로 해결되는 것이냐'는 회의가 들기 시작했습니다. 이는 자기개발의 대상은 인간이며, 인간은 이성만으로 움직이는 존재가 아니라는 자각에서 출발합니다.

좀더 구체적으로, 시스템적인 자기개발은 무엇이 '옳은지'를 알려주지만, 옳은 일이 꼭 하고 싶은 일이라는 법은 없습니다. 또한 마음의 상태에 따라 무엇이 옳은지에 대한 의식 자체가 떠오르지 않을 수도 있습니다. 즉, '실천'이라는 단계에 다다르지 못한다면 측정을 통해 도출한 해결책이 무용지물이 되거나, 오히려 역효과를 불러일으킬 수도 있습니다. 

자칫 과도한 자의식에 빠질 수 있다는 점도 문제입니다.  스스로의 행동에 대한 이런 저런 판단을 내리다보면 작은 성취에 우쭐해져 더 이상 노력을 하지 않게 될수도 있고, 이와 반대로 자기 비판의 함정에 빠져 변화에 필요한 에너지를 빼앗길 수도 있습니다. 스스로를 대상화하는 접근법이 더 큰 정신적인 낭비와 혼란을 가져오는 셈입니다

영적인 수련을 통한 자기 개선

과학적 자기개선 방법의 한계에 대한 해법으로, 최근에 영적인 수련에 대한 책을 읽고 있습니다. Zen Buddhism, Mindfulness Training, Spiritual Teaching등 다양한 이름이 있지만, 이들은 공통적으로 마음을 다스리는 방법을 다룹니다. 형태와 근원은 다르지만 가르침의 내용은 신기하게도 유사한데, 이 중 몇가지를 요약하면 다음과 같습니다.