LiFiDeA의 검색 이야기 

최근에 산업체 연구소에 지원을 시작했습니다. 지원하는 회사 중 대형 전자상거래 업체가 있는 관계로 '추천 시스템(Recommendation System -- 이하 RecSys)'에 관심을 가지게 되었습니다. 추천 시스템이라는 분야 및 RecSys라는 컨퍼런스는 알고 있었지만, 좀더 자세히 들여다보면서 검색 분야와 재미있는 차이 및 연관성을 발견할 수 있었습니다. 오늘은 검색의 사촌(?)이라고 할 수 있는 RecSys라는 분야에 대해 소개해볼까 합니다.

추천 시스템 개관

우선 추천 시스템 및 연구의 흐름을 살펴봅시다. 넷플릭스 시스템이 사용자에게 다음에 볼 영화를 추천하는 것, 혹은 아마존이 초기화면 및 상품 페이지에 'You might be interested…'라는 식으로 구매를 유도하는  것이 추천 시스템의 대표적인 사례입니다. 더 자세한 소개는 위키피디아 아티클을 참고합시다.

최근에 읽은 Recommender Systems: An Introduction이라는 책에는 추천 시스템 연구에 대한 최근 동향이 잘 소개되어 있습니다. 이책에 따르면, 사용자 집단의 품목 선호도를 바탕으로 사용자가 아직 경험하지 못한 품목을 추천하는 문제에서 추천 분야의 연구가 시작되었다고 합니다. 사용자 집단에 대한 정보를 개별 사용자의 품목 추천을 위해 사용한다는 의미에서 이를 Collaborative Filtering이라고 통칭합니다. 

Collaborative Filtering은 결국 User-Item Matrix에서 아직 관찰되지 않은 값은 예측하는 문제로 귀결되는데, 사용자 혹은 항목간의 Similarity를 기반으로 예측하는 Memory-based Approach와 Matrix 전체를 대상으로 예측을 위한 알고리즘을 적용하는 Model-based Approach가 있습니다. Memory-based Approach가 복잡성이나 효율면에서 우위를 갖지만, Model-based Approach가 적은 데이터에서 더 잘 동작하며, 전반적으로 더 나은 성능을 내는 것으로 알려져 있습니다.

전통적인 검색 모델에서는 Query와 문서의 유사도를 바탕으로 문서를 랭킹하기에, 여기까지는 검색과 추천이 상당히 다른 이야기입니다. 하지만 추천을 하기에 충분한 양의 선호도 및 기타 정보가 존재하지 않는 경우, 사용자의 프로파일과의 매칭을 바탕으로 추천 결과를 생성하는데, 이를 Content-based Approach라고 부릅니다. 이 경우 매칭을 위해 TF-IDF, 혹은 이와 유사항 Metric을 사용하기 떄문에 결국은 사용자의 프로파일이 질의어가 되는 검색이라고 볼 수도 있습니다. 

이외에도 다양한 추천 기법이 존재하는데, 예컨데 디지털 카메라 선택과 같이 특정 도메인의 지식이 필요한 경우, 이를 직접 모델링하는 (예를들어 가격에 민감한 사용자에게 Low-pixel 카메라를 추천) Knowledge-based Approach도 눈여겨볼만 합니다. 최근에는 위에서 설명한 여러 기법을 결합하여 성능을 향상시키는 Hybrid Approach가 주로 사용되는데, 이는 검색 Feature를 기계학습을 통해 결합하는 Learning-to-Rank기법과 유사합니다. 
 

검색 vs. 추천?

이처럼 추천과 검색은 비슷하면서도 다른 문제입니다. 검색에서는 질의어와 품목(주로 문서)를, 추천에서는 사용자와 품목(주로 상품)을 매칭합니다. 검색이 사용자가 입력한 질의에 대한 응답으로 이에 적합한 문서를 찾는 반면, 추천은 사용자의 선호도 정보를 바탕으로 (굳이 사용자의 요청이 없이도) 품목을 추천하여 사용자의 의사결정을 돕는 것을 목표로 합니다. 검색과 추천 리서치 커뮤니티의 주요 컨퍼런스 역시 전혀 다릅니다. 

하지만, 검색과 추천이라는 전통적인 사고의 틀을 조금만 벗어나면 이 둘의 유사성이 눈에 들어옵니다. 우선 검색과 추천 둘다 대상은 다르지만 (Query-Item / User-Item) 유사도 분석을 필요로 하는 매칭의 문제입니다. 또한 개인화 검색에서는 사용자의 선호도를 직접 모델링하니, 추천과 검색의 Hybrid라고 볼 수 있습니다. 반면에, 많은 추천 시스템에서 키워드 검색을 함께 제공하고 있습니다. 아래 표는 검색과 추천의 유사점과 차이점을 요약합니다. 

검색 + 추천

여기까지 읽으신 분이라면 어느정도 감을 잡으셨겠지만, 검색과 추천은 목표에 있어서나 기법상으로나 연관성이 많은 분야입니다. 위에서 언급한 Content-based Recommendation이나 Personalized Search같은 경우에는 이미 검색과 추천의 구분이 별 의미가 없습니다.

굳이 나누자면, 사용자에 대해 별 정보가 없고 사용자의 정보욕구가 질의어를 통해 잘 표현되는 경우 검색 기법이, 사용자에 대한 정보가 많이 존재하여 사용자의 정보욕구에 대한 좀더 정확한 예측이 가능할수록 추천 기법이 유용하다고 볼 수 있습니다. 아래 다이어그램은 어떤 상황에서 검색과 추천 기법이 적용가능한지를 나타냅니다.

시스템 관점에서는 이렇게 검색과 추천을 구분할 수 있습니다만, 사용자의 입장에서는 시스템이 자신이 찾는 정보를 보여주는 것과 알아서 자신에게 정보를 보내주는 것이 둘 다 중요할 것입니다. 따라서, 제대로 된 서비스를 위해서는 검색과 추천 기능이 모두 필요할 텐데, 여기서 중요한 것이 검색과 추천 기능의 통합입니다. 

여기서 통합은 단순히 두 기능을 동시에 제공하는 것이 아니라, 두 기능의 동작을 유기적으로 결합하는 것을 뜻합니다. 예컨데, 사용자가 추천 알고리즘의 결과에서 어떤 항목을 선택했다면, 이를 검색 결과에도 반영하고, 반면에 검색 질의어 및 선택결과가 추천 결과에도 반영되는 것입니다. 검색을 검색으로, 추천을 추천으로 바라보는 기존 시각으로는 이렇게 검색과 추천을 아우르는 사용자 경험을 제공할 수 없을 것입니다.

마치며 & 관련자료

오늘은 검색과 사촌간이라고 할 수 있는 추천 시스템 연구를 검색과의 비교를 통해 알아보았습니다. 궁극적으로는 사용자와 시스템의 모든 인터렉션을 바탕으로 프로파일을 구성하고, Siri와 같은 사용자에게 친화적인 인터페이스를 통해 개인화된 서비스를 제공하는 것이 검색 및 추천 연구의 비전일 것입니다. 위에서 언급한대로, 이런 비전을 현실화하기 위해서는 여러 분야로 파펀화된 연구성과를 융합해야 할 것입니다.

RecSys 역시 검색처럼 상업 애플리케이션이 활발한 분야라 관련 Tutorial이나 Survey가 많습니다.  더 자세한 소개는 위에 언급한 책 및 다음에 소개하는 주요 논문을 참고하시기 바랍니다. 

• Evaluating collaborative filtering recommender systems
  Beyond Algorithms: An HCI Perspective on Recommender Systems
  Collaborative Prediction and Ranking with Non-Random Missing Data

p.s. 강민석( @minsuk1015 )님께서 CACM에 나온 관련기사를 추천해 주셨습니다. 

오랜만의 책소개입니다. 오늘은 "How to Measure Anything"이라는 제목의 (실용서를 가장한) 통계학 책입니다. 물론 '측정'에 관심있는 분들에게는 실용서가 되겠지만, 저는 통계학 교과서보다 통계 이론의 요점을 더 명쾌하게 전달하는데 가장 높은 점수를 주고 싶습니다. 

이 책은 제목 그대로 '모든 것은 측정할 수 있다'는 명제에서 출발합니다. 저자의 핵심 주장은 결국 측정이란 어떤 종류의 의사결정을 뒷받침하기 위한 수단이며, 어떤 종류의 측정이건 의사결정의 불확실성을 낮춰줄 수 있다면 유효하다는 것입니다. 예컨데 인간의 지능을 정확히 측정하기란 불가능에 가깝겠지만, 두 사람중 누구를 채용할 것인가를 결정하는 데에 필요한 정보를 얻는 것을 훨씬 쉽다는 것입니다. 이 책에서 제시하는 정의를 몇가지 살펴봅시다.

Measurement : 
  A quantitatively expressed reduction of uncertainty based on one or more observations.

Uncertainty :
  The lack of complete certainty; the existence of more than one possibility

Risk :
  A state of uncertainty where some of the possibilities involve undesirable outcome.

이를 바탕으로, 이 책은 모든 종류의 측정 문제에 적용할 수 있는 5단계 지침을 제공합니다. 우선 의사결정 및 측정 대상을 명확히 하고, 현재 지식 수준을 파악한 후, 의사결정을 위해 추가적인 정보가 얼마나 필요한지 추정합니다. 마지막으로 적절한 측정 수단을 사용하여 정보를 얻고 결정을 내리는 것입니다. 

• Define a decision problem and relevant uncertainties
• Ask first : 'What is your dilemma?' instead of 'How do we measure X?'
• Determine what you know now
• Describe your uncertainty in terms of ranges and probs.
• Assess the risk involved in the decision
• Compute the value of additional information
• How much of risk can it reduce?
• Apply the relevant measurement instrument(s) to high-value measurements
• Until the economically justifiable amount of uncertain is removed
• Make a decision and act on it
• Track results and return to step 1

이렇게 나열해보면 '코끼리 냉장고 넣기'처럼 자명해 보이지만, 대부분의 경우 어떤 문제를 풀기 위해 어떤 측정값이 얼마나 많이 필요한지 생각하지 않고 무작정 측정에 들어가는 경우가 많기에, 이 책의 조언은 유의미합니다.

이 책에서는 이밖에도 통계에 관한 여러 팁을 제공합니다. 예컨데, Rule of Five는 모집단의 크기에 관계없이 5개의 측정값만 있다면 집단의 중간값(median)의 범위를 (측정값의 최소 및 최대값 사이) 93%의 정확도로 예측할 수 있다는 것입니다. 또한 모집단 전체 크기를 측정할 수 있는 Catch-recatch, 모집단내 측정 부분집합의 비율을 측정하는 Population proportion sampling등의 방법도 소개됩니다. 

측정되지 않는 것은 개선할 수 없다는 데밍의 말을 인용하지 않더라도, 데이터에 근거한 의사결정은 비즈니스 혹은 검색, 추천 등 인공지능 시스템 설계에 핵심적인 역할을 합니다. 제가 최근에 시작한 Self-tracking역시 삶의 만족도를 일종의 Measurement Problem으로 접근하는 시도입니다. 

7주차 반성 및 계획
앞으로 주간 반성은 독립된 포스팅으로보다는 다른 포스팅에 뭍어 올리려 합니다 ;-) 이번주는 WSDM에서 돌아온 직후 월요일에 SIGIR 논문 마감으로 (전례없이) 밤을 새야했고, 그 이후는 시차 적응 및 인터뷰 준비로 시간을 보냈습니다. 주 막바지에 약간의 오점(?)을 남기기는 했지만, 전체적으로 무난히 보낸 한주였습니다. 

이번주 배우고 느낀점은 위 서평으로 대신할까 합니다.^^ 

오랜만에 검색 관련 포스팅으로, 인턴 프로젝트 및 기타 이유로 관심을 많이 갖게 된 검색 개인화에 대해 써볼까 합니다. 개인화는 2000넌대 초반부터 주로 연구되어 최근까지 굉장히 Hot한 주제였습니다. 제가 논문 검색에 자주 사용하는 DBLP 검색엔진의 결과를 보면 2000년대 후반에 굉장히 많은 연구가 이루어졌음을 알 수 있습니다. 

 
검색, 검색 개인화, 문서 추천

지난 연재에서 소개했듯이, 전통적인 검색 연구의 두 축은 질의어와 문서입니다. 즉, 주어진 질의어에 관련성이 높은 순서로 문서를 랭킹하는 것이 핵심 문제입니다. 그러다 보니 관련성은 질의어와 문서에 대해서만 정의되며, 실제로 질의어를 입력하고 결과를 사용하는 개별 사용자는 고려되지 않았습니다. 개별 사용자의 취향을 고려하기 보다는, 주어진 질의에 대해 최대한의 사용자를 만족시키는 '정답'이 존재한다고 가정하고, 이를 여러 방시으로 찾으려는 것입니다.

이에 반해 개인화된 검색은 질의어와 문서에 '사용자'를 직접 고려합니다. 기존 웹검색의 성능을 높이는 일이 어느정도 한계에 부딛히고, 검색엔진이 사용자에 대한 다양한 정보를 수집하게 되면서 '다수'를 만족시키는 랭킹보다는 사용자 각각을 만족시키는 랭킹을 찾으려고 노력하게 된 것입니다. 아래 그림에서처럼 이제 문서(D)의 관련성(R)이 질의어(Q) 뿐만 아니라 개별 사용자(U)의 관점에서도 정의되는 것입니다. 여기서 질의어라는 개념을 뺀다면 각 사용자에 대한 문서를 추천하는 Collaborative Filtering과도 많이 닮아있는 것을 보실 수 있습니다. 

개인화 검색의 이슈들

이처럼 '사용자'라는 하나의 축이 더 생기다보니, 개인화된 검색에는 많은 고려사항이 있습니다. 우선, 질의와 문서간의 매칭 뿐만 아니라 사용자와 문서의 매칭까지 고려해야 합니다. 즉, 사용자의 위치, 평소 관심 분야와 취향을 고려해 선호되지 않을 것으로 예측되는 문서는 질의어와의 관련성이 높더라도 랭킹을 낮추는 것입니다.

하지만, 잘 최적화된 기본 랭킹 대신에, 개인화된 랭킹을 적용하는 일에는 여러가지 위험성이 따르기에, 이를 고려하여 개인화의 여부 및 정도를 적절히 결정하는 것이 필요합니다. 최근에 발표된 연구중 문서의 난이도를 고려하여 검색 결과를 개인화하는 연구를 [1] 예를 들어봅시다. 평소에 어려운 문서를 읽는 사용자라도 가끔 쉬운 문서를 읽고싶을 때가 있을 텐데, 만약 검색엔진이 계속 어려운 문서만 추천한다면 오히려 사용자 만족도를 떨어뜨리는 결과를 낳을 것입니다. 

마지막으로, 검색 결과의 '정답'이 각 사용자에 따라 달라지기에, 예전처럼 검색 품질 평가에 별도의 평가자(Judge)를 고용하는 일은 더이상 의미가 없습니다. 대신 개별 사용자의 클릭 데이터가 주된 평가의 척도가 됩니다. 검색 알고리즘 평가에 관한 학회중 대표적인 TREC에서 최근에 검색 세션에서의 사용자 만족도 향상을 목표로 하는 Session Track을 시작했는데, 여기서도 평가를 위해 개별 사용자의 만족도를 반영하는 클릭 데이터가 새용됩니다. 

위에서 설명했듯 개인화된 랭킹을 만들고 평가하는 데에는 개별 사용자의 로그 데이터가 필수적입니다. 각 사용자의 관심도나 취향을 추측하고, 개인화된 결과가 더 좋은 결과를 낳는지는 사용자의 검색 기록을 통해서만 알 수 있기 때문입니다. 그래서 많은 검색엔진은 검색 기록 이외에도 브라우저 툴바 등을 통해 개인 사용자에 대한 기록을 모으고 있습니다. 또한, 모든 사용자 각각에 대해 충분한 데이터를 얻을 수 있는 것이 아니기 때문에, 사용자를 여러 속성으로 군집화하여 개인화 대신 집단에 대해 최적화된 결과를 제공하기도 합니다.  
 
마치며

작년에 Gmail에 도입된 유용한 서비스가 Priority Inbox입니다. 작년에 구글이 Buzz 및 Wave등으로 한창 삽질(?)을 하고난 이후라서 처음에는 그 유용성에 대해 반신반의했었지만, 처음에 몇개의 Email을 Important / Not Important로 레이블링 해주고 난 후에는 거의 100% 올바른 분류를 하는 것을 확인하고 놀랐습니다.

웹의 발전은 정보검색(IR)이라는 분야를 도서관학의 일개 전공분야에서 최신 기술과 막대한 인력, 자원이 투입되는 거대 산업으로 바꾸어 놓았습니다. 지금도 대부분의 사람에게 웹 검색은 일상사가 되었지만, 앞으로도 위키/블로그와 같은 데이터 생산 및 공유 기술의 개발, 그리고 그에 따른 데이터의 증가에 따라 웹 검색의 수요는 계속 늘어날 것입니다.

규모도 규모지만, 웹은 IR 연구자들에게 항상 새로운 과제를 제시합니다. 홈페이지 검색, 뉴스 검색, Q&A 검색, 블로그 검색 등은 웹이 없었다면 생기지도 않았을 IR의 세부 연구주제입니다. 새로운 형태의 웹 서비스는 고유의 검색 문제를 안고 태어난다고 해도 과언이 아닙니다. 문제만 준다면 조금 얄미울텐데, 다행히 대부분은 해결의 실마리도 따라옵니다. 웹 문서의 링크 구조를 활용하는 PageRank 알고리즘, 검색에 활용되기 시작한 태그 데이터 등이 그 사례입니다.

하지만 웹의 발전이 IR연구자에게 주는 가장 귀한 선물은 역시 검색 로그(query log)가 아닐까 합니다. 사용자가 서비스에 접속하여 어떤 질의어를 입력하는지, 그리고 어떤 문서를 클릭하는지를 그대로 기록한 검색 로그에는 연구자들이 궁금해하는 검색의 비밀이 고스란히 담겨있기 때문입니다. 더 좋은 것은 이런 데이터를 거의 무제한으로 비용 없이 얻을 수 있다는 점입니다.

문제는 검색 업체가 아닌 이상은 이 데이터에 접근할 수 없다는 점인데, 최근에 MSR에서 검색 로그 데이터를 선별된 연구자에게 제공하는 워크샵을 제안했습니다. MSN의 검색 로그 1500만건이 클릭 데이터와 같이 제공된다고 하니 흔치않은 기회인 것 같습니다.

그렇다면 검색 로그로 무엇을 할 수 있을까요? 가장 단순하게는 질의어 통계를 낼 수 있을 것입니다. 네이버나 다음에서 보여주는 ‘인기 검색어’등이 그 예입니다. 또한, 사용자 활동이 세션(접속→종료)별로 기록된다는 점을 감안하면 사용자가 먼저 입력한 질의어를 가지고 다음 질의어를 예측하는 모델을 만들 수 있을 것입니다. 질의어 맞춤법 교정(query correction)이나 관련 검색어 제안 등이 이러한 사례입니다. 이를 좀더 확장하면 사용자의 검색 실력을 감지하여 그에 따라 적절한 처리를 해줄 수도 있습니다.

올해 SIGIR에서 화제가 되었듯이, 질의어를 분류하고 군집화하여 적절한 처리를 하는 데에도 검색 로그는 필수적입니다. 트렉 등에서 제공하는 수십 수백건의 질의어를 갖고 의미있는 질의어 모델을 만드는 것은 상식적으로 불가능하겠죠. 또한 연구용 컬렉션(문서-질의어 모음)은 실제 검색 서비스에서 나온 데이터가 아니라는 한계도 있습니다.

각 검색에에 대해 클릭된 문서가 질의어에 관련하여 옳은(relevant) 문서라고 간주하면, 대용량 검색 로그를 가지고 검색 모델(retrieval model) 자체를 학습하는 것도 가능합니다. 실제 검색 로그는 검색 서비스를 개발하고 개선하는 데 기반이 되며, 검색 모델 학습(Learning to rank)이 웹 검색의 폭발적 확산과 함께 본격적으로 연구되기 시작한 것도 우연은 아닐 겁니다. 하지만 사용자가 목록에 있는 모든 문서를 검토하고 클릭을 하는 것은 아니며, 원래 검색 의도와 다른 클릭도 있을 수 있기 때문에, 이런 방식으로 검색 로그를 활용하기 위해서는 다양한 노이즈 제거 기법이 적용되어야 합니다.

이러한 검색 로그 분석에는 대용량 데이터가 사용되기 떄문에 MapReduce 등의 대용량 병렬 처리 환경이 필요합니다. 저는 최근에 연구실에 있는 검색 로그를 학교의 Hadoop Cluster에서 분석하고 있는데, Pig라는 환경이 MapReduce를 데이터베이스(RDBMS)처럼 편리하게 사용하도록 도와줍니다. 좀더 익숙해지면 이곳을 통해 소개하도록 하겠습니다.

IR 연구를 하다 보면 매일 데이터를 접하고, 이를 통계적으로 해석하여 결론을 내리게 됩니다. 검색이 다루는 대상(문서, 질의어 등)이 불확정적인 대상이며, 검색의 목표 역시 결국에는 통계적으로 최대 다수의 사용자를 만족시키는 결과를 제공하는 것을 목표로 하기 때문입니다.

하지만 저는 불행히도 통계를 정식으로 배운 적이 없기에 이런 상황에서 항상 마음 한구석에 불편함을 느꼈습니다. 하지만, 이론적 틀이 없다는 약점은 스스로 자유롭게 사고할 수 있다는 기회를 제공하나 봅니다. 배우고 연구하면서 생긴 의문을 해결하기 위해 고민하고, 주변의 자문을 구하는 동안 통계라는 것이 단순히 학문이라기보다는 세상을 바라보는 방식이라는 느낌이 들었습니다.

통계적으로 세상을 바라본다는 것은 어떤 뜻일까요? 대부분의 통계 기법은 불확정적인 현상을 주어진 모델(주로 확률 분포) 중 하나에 대입하는 데에서 출발합니다. 모든 현상이 몇 안되는 분포에 들어맞으리라는 보장은 없지만, 중심극한정리로 설명되는 자연의 규칙성으로 말미암아 실제로 대부분의 현상은 정규분포로 대표되는 통계학적 모델에 부합합니다. (모델 선정이 적절한지는 그 자체로 통계학의 주요 관심사로 이를 모델비평(model criticism)이라고 합니다.)

일단 현상이 모델화되면 그 다음부터는 다양한 방법으로 데이터에 대한 결론을 유도할 수 있습니다. 모델과 관찰값을 비교하여 관찰값이 모델에서 나왔을 확률을 구할수도 있고, 서로 다른 관찰값으로부터 생성된 두 모델을 비교하여 서로 유의미한 차이가 있는지를 알아볼 수도 있습니다. 물론 모델에 의존하지 않는 통계 기법도 존재합니다만, 이들은 좀더 폭넓은 응용법위를 갖는 반면에 데이터에 대한 가정이 적은 만큼 정확성에 있어 제약을 받습니다.

이제 관심을 IR로 돌려봅시다. IR에서 내려야 하는 중요한 문제는 ‘새로운 알고리즘의 성능이 기존 알고리즘에 비해 훌륭한가?’입니다. 이는 위에서 언급한 두 모델을 비교하는 문제의 일종인데, 우선 기존 알고리즘과 새 알고리즘의 쿼리별 성능을 두 벡터의 형태로 얻고, 이 두 벡터가 하나의 분포에서 나왔다는 가설을 세우는 겁니다. 이때 세우는 가설은 우리가 증명하고자 하는 사실(새로운 알고리즘이 기존 알고리즘과 다른 분포에서 나왔다는 것)의 반대를 가정하기에 귀무가설(null hypothesis)라고 합니다.

이 과정은 두 사건(기존 알고리즘과 새 알고리즘의 성능)의 차이가 통계적으로 유의미한가(statistically significant)를 가리는 과정이기에 유의성 테스트(significance test)라고 하며, IR시스템의 평가를 다룬 최근 논문에서는 알려진 방법 중에 t-test를 사용하는 것을 권장하고 있으며, 적어도 50개의 토픽(질의어)를 대상으로 유의성 테스트와 상대적인 평가 지표(MAP)에서 10% 이상의 향상이 있는 경우에만 의미있는 성능 향상이라는 결론을 내고 있습니다.

통계 분석을 위해서는 주로 R이라는 패키지를 사용하는데, 이는 S라는 상용 통계 패키지의 공개 구현(implementation)으로 벡터와 행렬을 기본 데이터형으로 사용하는 등 Matlab과 유사한 형태를 띠나 좀더 통계 분석에 특화된 것으로 보입니다. R 참고문서로는 다음 자료를 추천합니다. 약간 생소한 언어학(linguistics) 데이터를 사용하고는 있지만, 기본 문법부터 고급 데이터 분석까지 충실히 설명하고 있습니다.

Reference

• 구체적인 예로 이 포스팅을 추천합니다.
• 좀더 자세한 설명은 다음 책의 샘플 챕터를 참조하시기 바랍니다.