'구글'에 해당되는 글 5건

  1. 2011.03.04 SEO, 구글의 반격, 그리고 검색엔진이 만들어가는 인터넷 정보 생태계 1
  2. 2011.02.10 구글의 실험 인프라스트럭쳐 - 지속적인 혁신의 비밀 1
  3. 2011.01.12 Gmail Priority Inbox 알고리즘에서 배우는 실전 기계학습 3
  4. 2010.03.25 네이버가 구글과 싸우는 법 - 검색엔진 연구자의 관점 26
  5. 2010.03.01 구글의 진짜 경쟁력은 유연성 3

SEO, 구글의 반격, 그리고 검색엔진이 만들어가는 인터넷 정보 생태계

검색산업동향 : 2011. 3. 4. 12:03   By LiFiDeA
최근 구글 검색에 대한 뉴스가 많습니다. 빙(Bing)에서 구글 검색결과를 모방한다는 이야기가 들어가기가 무섭게 JC Penny의 검색엔진최적화(SEO) 결과가 문제가 되었습니다. SEO는 다양한 수단으로 검색엔진 랭킹을 높이려는 행위 및 주체를 가리키는데, 여기에는 검색엔진이 용인하는 방법 (White Hat SEO)과 허용하지 않는 (Black Hat SEO) 방법이 있습니다. 사실 미국에서는 SEO가 산업으로 성장할 만큼 활발한데, JC Penny같은 큰 회사에서 Black Hat SEO를 했기 떄문에 문제가 된 것입니다. 뉴욕타임즈는 이번 SEO를 통해 JC Penny가 얻은 이득을 다음과 같이 추산합니다.
The Keyword Estimator at Google puts the number of searches for “dresses” in the United States at 11.1 million a month, an average based on 12 months of data. So for “dresses” alone, Penney may have been attracting roughly 3.8 million visits every month it showed up as No. 1. Exactly how many of those visits translate into sales, and the size of each sale, only Penney would know.

구글의 반격

제가 주목했던 것은, 여기에 대한 구글의 대응입니다. 우선 JC Penny의 Black Hat SEO 대해 즉각적인 조치를 취한 후, 전체 질의의 12%가 영향을 받을 정도로 대규모 업데이트를 단행하고, 이례적으로 그 내용을 공개했습니다. 그 주된 내용은 (사용자에게) 좋은 웹사이트와 나쁜 웹사이트를 구분할 수 있는 자동 분류기를 만들고, 이 분류 결과를 검색 랭킹에 적극 반영하는 것입니다. 구글이 '좋은 컨텐츠'를 구분하기 위해 사용했다는 기준은 다음과 같습니다.
  • Would you be comfortable giving this site your credit card?
  • Would you be comfortable giving medicine prescribed by this site to your kids?
  • Do you consider this site to be authoritative?
  • Would it be okay if this was in a magazine?
  • Does this site have excessive ads?
위 목록을 보면, 이번 업데이트가 단지 '스팸'을 가려내기 위함이 아니라, 웹사이트의 품질을 전반적으로 랭킹에 반영하기 위한 시도라는 것이 분명합니다. 그 결과로 주요 컨텐츠 팜 (퍼담기 등을 통해 불량 컨텐츠를 대량으로 생산하는 사이트) 의 랭킹은 심각한 타격을 입고, Times, CNN, Wikipedia 등 양질의 컨텐츠를 보유한 사이트의 랭킹이 올라갔다고 합니다. 워낙 광법위한 변화라 대부분의 웹사이트에서 이에 대한 대응책을 마련하고 있다고 합니다. 

검색엔진과 정보 생태계

이번 사건은 구글이라는 단일 검색엔진이 인터넷 정보 생태계 전반에 갖는 막대한 영향력을 다시금 환기시킵니다. 그리고 그들이 자신의 힘을 남용하지 않고 있다는 것을 보여줍니다. 이와 같은 대규모 업데이트의 내용을 이례적으로 공개한 것은 웹사이트 운영자들에게 구글 랭킹을 높이기 위해 해야할 일을 주지시키기 위함일 것입니다. 즉, 구글은 공권력을 동원하지 않고도 웹 퍼블리셔들이 더 유용한 컨텐츠를 만들도록 유도하는 것입니다. 구글에서 Web Spam 퇴치를 담당하는 Matt Cutts에 대한 묘사는 이러한 구글의 태도를 대변합니다.
Mr. Cutts sounded remarkably upbeat and unperturbed during this conversation, which was a surprise given that we were discussing a large, sustained effort to snooker his employer. Asked about his zenlike calm, he said the company strives not to act out of anger. You get the sense that Mr. Cutts and his colleagues are acutely aware of the singular power they wield as judge, jury and appeals panel, and they’re eager to project an air of maturity and judiciousness.
이처럼 정보나 상거래가 인터넷으로 집중되는 오늘날 검색엔진의 결과는 한 회사의 비즈니스 도구 이상의 의미를 띕니다. 모든 정보에 대한 접근성과 우선순위를 결정한다는 측면에서, 검색엔진의 역할은 정보 세상의 도로망을 까는 일에 비유할 수도 있을 것 같습니다.  예전 글에도 썼지만, 우리 나라 검색 회사들도 더 나은 인터넷 환경을 만들 수 있도록 힘써 주었으면 하는 바램입니다. 

추신 : 

구글이 사용한 것과 같이 문서 품질을 웹 검색결과에 반영하는 방법에 관한 논문이 이번에 저희 연구실에서 출판되어 소개합니다. 올해 2월 WSDM (Web Search and Data Mining) 컨퍼런스에서 발표된 따끈따끈한 논문입니다 ;)

'검색산업동향' 카테고리의 다른 글

구글의 실험 인프라스트럭쳐 - 지속적인 혁신의 비밀  (1) 2011.02.10
애플의 경쟁력은 기술이 아닌 철학에 있다  (2) 2010.04.07
네이버가 구글과 싸우는 법 - 검색엔진 연구자의 관점  (26) 2010.03.25
Trackback() : Comment ()

구글의 실험 인프라스트럭쳐 - 지속적인 혁신의 비밀

검색산업동향 : 2011. 2. 10. 21:49   By LiFiDeA
예전에 구글의 진짜 경쟁력은 유연성이라는 글을 쓴 적이 있는데, 최근에 데이터에 기반한 지속적인 혁신을 가능하게 하는 구글의 실험 인프라에 대한 논문이 나왔습니다. 예전 글에서 "On most Google queries, you’re actually in multiple control or experimental groups simultaneously"라는 구글 엔지니어의 말을 인용했었는데, 이 논문에서는 구체적으로 어떤 기술이 그런 실험을 가능하게 하는지를 소개하고 있습니다. 

이 논문에서 소개하는 핵심 개념이 Multi-factorial Experimental Design입니다. 한번에 한가지 요인(Factor 혹은 Parameter)을 통제하는 일반적인 실험설계와 달리, Multi-factorial Experimental Design에서는 한번에 여러 요인을 동시에 변화시키며 결과를 관찰합니다. 물론 변화시키는 요인 간에는 서로 간섭이 없는 독립성이 보장된다는 조건이 붙지만, 한 데이터에 대해 N가지의 요인을 동시에 바꿀 수 있기 때문에 실험에 필요한 데이터의 양이 1/N로 줄어든다는 장점이 있습니다. 세계에서 가장 많은 검색 데이터를 가진 구글이 데이터를 아끼기 위해 이런 기법을 도입하고 있다는 점이 놀랍습니다. 저자들의 설명을 들어봅시다.

The solution we propose in this paper is to partition the parameters into subsets, and each subset contains parameters that cannot be varied independently of each other. A subset is associated with a layer that contains experiments, and traffic diversion into experi- ments in different layers is orthogonal. Each query here would be in N experiments, where N equals the number of layers.

이들이 소개하는 구글의 실험 인프라는 단지 N개의 실험을 동시에 진행하는 수준에 그치지 않습니다. 실험을 위해 분리된 트레픽의 일부를 본 논문에서는 도메인(domain)으로, 파라메터의 일부를 레이어(layer)로 정의하는데, 도메인은 레이어를 그리고 레이어는 서브 도메인를 포함할 수 있습니다. 즉, 한 실험 내부에서 좀더 세분화된 실험을 진행할 수 있는 것입니다. 

또한, 성공적인 실험을 거쳐 런칭에 들어가는 기능에 대해서도 같은 인프라를 사용한다는 점도 흥미롭습니다. 즉, 런칭에 사용할 트레픽을 따로 분리하는 대신에, 런칭될 기능을 일종의 기본값으로 정의하고, 실험 설계에 따라 그 값을 덮어쓰도록(override) 하는 것입니다. 이렇게 하면 다양한 실험에 영향을 끼치지 않고 특정 기능을 서서히 런칭할 수 있습니다. 

Defining launch layers in this way allows us to gradually roll out changes to all users without interfering with existing experiments and to keep track of these roll-outs in a standardized way. The general usage of launch layers is to create a new launch layer for each launched fea- ture and to delete that layer when the feature is fully rolled out (and the new parameter values are rolled into the defaults). Finally, because experiments in launch layers are generally larger, they can be used to test for interactions between features.

아래 다이어그램은 위에서 설명한 실험 인프라의 사례를 보여줍니다. 맨 위에 모든 트레픽에 걸쳐 파라메터 일부에 대한 기본값을 제공하는 런치 레이어가 있고, 그 아래 트레픽 일부에 대해 다양한 파라메터 조합을 테스트하는 실험 레이어가 있습니다. 위에서 설명한대로 실험 레이어는 여러 도메인으로 나뉘고, 각 도메인의 레이어는 또다시 도메인과 레이어를 포함할 수 있는 구조로 되어있습니다.

이 논문은 이밖에도 구글의 실험 인프라에 대한 여러 디테일을 포함하고 있습니다. 그중 흥미로웠던 점은 CTR (click-through rate)과 같은 지표가 표준화된 형태로, 그것도 실시간으로 실험자에게 제공된다는 점입니다. 이처럼 어떤 실험을 누가 하더라도 일관성 있는 결과를 빠르게 알 수 있기 때문에, 여러 팀에서 작업한 결과물이 투명하게 평가되고 실 서비스에 즉시 반영될 것입니다. 저자들은 마지막으로 여기에 소개한 인프라가 구글의 혁신을 가속화한다는 수치적 결과를 소개합니다.



작년에 Bing에서 인턴을 하면서도 느꼈지만, 검색이라는 대용량 서비스를 가능하게 하는 것은 실제 서비스에 사용되는 프로덕션 시스템 만큼이나 이를 뒷받침하는 인프라라는 생각을 해 봅니다. 그리고 이 논문은 구글과 같은 큰 조직에서 어떻게 데이터에 근거한 신속한 의사결정을 가능하게 하는지를 실증적으로 보여줍니다.  최근 구글도 관료화되었다는 말이 많이 나오지만, 적어도 이 논문을 읽어보면 윗선에서 떨어지는 명령에 의한 일방적인 의사결정이나, 조직간의 정치적 알력이 기업의 의사결정에 작용할 여지는 별로 없어 보입니다.

맺음말

많은 사람들이 구글의 '현재 모습'을 부러워합니다. 하지만 이 논문에서 알 수 있듯이 구글의 진짜 힘은 혁신의 결과물이 아니라, 혁신을 지속하고 가속화하는 이러한 인프라일 것입니다. 이 논문에 공개된 내용을 따라한다고 해도, 그것이 구글의 최신(bleeding edge) 기술이라고 믿기는 어렵고, 그 사이에 그들은 또 저만치 달아나 있을 것입니다. 마이크로소프트의 실험 인프라도 이에 결코 뒤지지 않습니다. 요즘 많이 들리는 말입니다만, 조직 전체에 혁신을 체질화하는것만이 이런 기업과 경쟁할 수 있는 역량을 갖추는 길이라는 생각이 듭니다. 물론 여기서의 혁신은 일회성의 구호가 아니라, 지속적으로 데이터에 근거한 신속한 의사결정을 내릴 수 있는 문화와 인프라일 것입니다. 

'검색산업동향' 카테고리의 다른 글

SEO, 구글의 반격, 그리고 검색엔진이 만들어가는 인터넷 정보 생태계  (1) 2011.03.04
애플의 경쟁력은 기술이 아닌 철학에 있다  (2) 2010.04.07
네이버가 구글과 싸우는 법 - 검색엔진 연구자의 관점  (26) 2010.03.25
Trackback() : Comment ()

Gmail Priority Inbox 알고리즘에서 배우는 실전 기계학습

검색공부하기 : 2011. 1. 12. 12:40   By LiFiDeA
작년에 Gmail에 도입된 유용한 서비스가 Priority Inbox입니다. 작년에 구글이 Buzz 및 Wave등으로 한창 삽질(?)을 하고난 이후라서 처음에는 그 유용성에 대해 반신반의했었지만, 처음에 몇개의 Email을 Important / Not Important로 레이블링 해주고 난 후에는 거의 100% 올바른 분류를 하는 것을 확인하고 놀랐습니다.

오늘 연구실 동료의 트윗에서 Gmail Priority Inbox의 알고리즘을 소개한 Technical Paper를 발견하고 읽어 보았습니다. 그동안 저처럼 궁금하셨을 분들께 간단히 소개합니다. 평소 기계학습이 '주어진 알고리즘을 갖다 쓰는 것'이라고 여겼던 분들이라면, 단순한 Regression Model을 주어진 Learning Problem에 적용하는 과정에도 굉장히 많은 고려가 필요함을 알 수 있습니다. 

The Learning Problem

잘 아시겠지만, Regression은 주어진 Feature를 가지고 실수값을 갖는 Label을 예측하는 기법입니다. 우선 메일의 중요도를 나타내는 Label을 살펴보면, 메일 도착 후 일정시간 이내에 사용자가 특정한 액션(open, reply 등)을 취하는 경우를 중요한 메일로, 사용자가 보고도 아무 조치도 취하지 않은 경우 중요하지 않은 것으로 간주하는 것을 알 수 있습니다. 즉, 사용자의 Explicit Label과 함께 Implicit Action을 모두 학습에 활요하는 것입니다. 

또한 아래와 같은 다양한 Feature가 학습에 활용됩니다. 이메일의 기본 Feature에 Label까지 활용하는군요. 
Social features are based on the degree of interaction between sender and recipient, e.g. the percentage of a sender’s mail that is read by the recipient. 
Content features attempt to identify headers and recent terms that are highly correlated with the recipient acting (or not) on the mail, e.g. the presence of a recent term in the subject. 
Thread features note the user’s interaction with the thread so far, e.g. if a user began a thread. 
Label features examine the labels that the user applies to mail using filters

다음은 실제 학습 알고리즘입니다. 기본적으로는 Logistic Regression을 사용하지만, 모든 유저의 데이터에서 학습한 내용과 개별 유저로부터의 학습 내용을 모두 학습에 사용하기 위하여 Transfer Learning을 사용합니다. Transfer Learning은 모델을 학습한 도메인과 적용할 도메인이 다를 경우 사용하는 기법입니다. 다음 다이어그램은 이러한 학습 과정을 시각화합니다.


알고리즘에서 또 하나 이채로운 점은, 각 메일에 대한 Important / Not Important의 결정을 내리는 기준(threshold)을 사용자의 Explicit Label을 사용해 개인화한다는 점입니다. 각 사용자 별로 중요한 메일의 비율이 다르기 때문에, 이는 자동화하기 힘든 부분입니다.

Production

개발된 알고리즘을 수백만의 사용자가 매일 사용하는 시스템에 적용하는 것은 또다른 문제입니다. 논문에서는 구글 컴퓨팅 클러스터의 기본 데이터 구조인 BigTable이 어떻게 활용되는지 자세히 밝히고 있습니다. 사용자별 학습 알고리즘 수행의 부하를 각 Core에 나누는 과정도 흥미롭습니다.

Result

논문에서는 위에서 설명한 Global Model과 Per-user Model의 조합, 그리고 사용자별 중요도 기준의 개인화를 통해서 에러율을 상당부분 낮출 수 있었다는 결론을 내고 있습니다. 또한 Industry Paper답게 Priority Inbox의 도입이 Gmail사용자들의 메일 사용을 어떻게 효율적으로 만들었는지를 다음과 같이 밝히고 있습니다. 

The ultimate goal is to help Gmail users. We analyzed the time Google employees spent on email with and without Priority Inbox. Averaging over Googlers that receive similar volumes of mail, Priority Inbox users (approx. 2000 users) spent 6% less time reading mail overall, and 13% less time reading unimportant mail. They are also more confident to bulk archive or delete email.

마치며

겨우 4장짜리 논문이지만, 기계학습 알고리즘을 실제 문제에 적용하는 과정에서 발생하는 수많은 문제를 간결하면서도 명쾌하게 기록하고 있습니다. 한때 기계학습이 알고리즘의 인풋과 아웃풋만 알면 블랙박스처럼 활요할 수 있을 것이라고 생각한 때도 있었지만, 위 논문만 읽어 보아도 학습 기법의 실전 활용에는 상당한 지식이 필요함을 알 수 있습니다. 기타 재미있는 디테일이 많으니 관심있으신 분들꼐 일독을 권합니다.

'검색공부하기' 카테고리의 다른 글

정보검색을 위한 정보이론  (5) 2011.04.03
연재 : 검색을 위한 문서 모델링 - 문서에서 유용한 속성 추출하기  (6) 2010.02.08
4가지 측면에서 바라본 정보 검색 (IR) 연구의 흐름  (5) 2010.02.03
Trackback() : Comment ()

네이버가 구글과 싸우는 법 - 검색엔진 연구자의 관점

검색산업동향 : 2010. 3. 25. 15:46   By LiFiDeA
요즘 우리나라 인터넷에 대한 걱정들이 많습니다. 얼마전 저도 한국 인터넷을 술자리에 비유한 글을 썼는데, '한국 인터넷에서 잘못 끼워진 첫 번째 단추, 네이버'라는 제목의 글이 화제가 되고 있습니다. 글에 언급된 검색 성능에 대한 비교가 100% 공정하다고 생각하지는 않지만 (검색 결과의 바탕이 되는 컨텐츠 자체가 다르기에), 적어도 네이버로 대표되는 포탈의 비즈니스 모델과 사회적 책임에 대한 문제제기는 탁월합니다. 

여기서는 이 글을 읽으며 떠오른 몇가지 의문을 정리하고 검색 연구자로서 나름의 대안을 제시해보고자 합니다. 이후에 언급한 '네이버'는 한국의 포탈을 대표하는 개념으로 이해하시면 되겠습니다.

네이버는 evil인가?

예전에 iPad에 관한 글에서 플렛폼 전략을 언급했는데, 네이버는 사용자가 컨텐츠를 생산하고 배포할 수 있는 환경을 제공한다는 측면에서 플렛폼 기업입니다.  여기까지는 탓할 일이 아닙니다. 네이버의 문제는 플렛폼 기업으로서의 역할에 있습니다.

우선 첫번째 문제는 인터넷이라는 개방된 플렛폼 안에 외부와의 소통이 차단된 닫힌 플렛폼을 만들었다는 점입니다. 그런데 네이버가 우리나라 인터넷 트레픽의 과반수를 차지하는 관계로 우리나라 인터넷 전체가 외부에 대해 닫힌 결과를 낳았습니다. 네이버에서 외부 글을 검색하거나 외부에서 네이버의 컨텐츠를 찾는 것은 매우 어렵습니다. 반면에 구글은 인터넷이라는 플렛폼의 사용성을 높이는 서비스를 제공한다는 측면에서 네이버와 구별됩니다. 

두번째 문제는 플렛폼 기업으로서 도덕성을 지키지 못했다는 점입니다. 구글의 Don't be evil 모토나, 혹은 최근 타산지석이 되고 있는 애플의 앱스토어 심사 문제에서 알 수 있듯이 플렛폼이라는 생태계를 운영하는 주체는 모든 참여자에게 (심지어는 경쟁 기업에게까지도) 공정성을 유지해야 하며, 이를 어겼을 경우 엄청난 비난을 감수해야 합니다. 플렛폼 운영자로서의 지위와 수익은 참여자들이 만들어주는 것이기 때문입니다. 

이런 측면에서 저는 포탈이 변해야 한다고 생각합니다. 예전 글에서 언급했듯이 포탈은 한국 인터넷을 광장이 아닌 술자리로 만들고 있습니다. 이처럼 몇개의 닫힌 포탈이 대부분의 웹 트레픽을  과점하는 구도가 지속되고, 더욱이 포탈 내에서도 제대로 된 컨텐츠를 생산할 수 있는 인센티브가 주어지지 않는다면 우리나라 인터넷 컨텐츠의 질적 저하는 막을 수 없을 것입니다. 인터넷이 갖는 지식 정보의 공유 플렛폼으로서의 기능을 감안하면 이는 장기적으로 국가 경쟁력의 문제입니다. 

글 하나를 찾거나 등록하기 위해 몇개의 사이트를 뒤져야 하고, 막상 검색 결과조차 광고로 도배되어 있다면 누구를 탓하겠습니까. 초기화면에 선정적 기사로 가득하다면, 공들여 쓴 글이나 비디오가 갑자기 삭제되기라도 한다면 어떤 느낌일까요. 

네이버의 전략은 지속 가능(sustainable)한가?

기업이 사회적 책임과 수익성은 별개의 문제이기에, 만약 사회적으로 최선이 아닐지라도 수익을 낼 수 있다면 개별 기업으로서는 합리적인 선택일지도 모릅니다. 하지만 네이버의 전략이 장기적인 생존을 보장할 것이라고 생각하기는 힘듭니다. 그 이유는 앞서 언급한 플렛폼 기업으로서의 특성과 관련이 있습니다.

양질의 컨텐츠를 공급할 수 있는 CP(e.g. 파워블로거)의 입장을 상상해봅시다. 그들에게 가장 중요한 것은 자신의 컨텐츠에 대한 통제와 소유권입니다. 이런 사람들이 포탈 블로그나 지식인에 종속되기를 원하지는 않을 것이며, 따라서 포탈은 
현재 상태로는 좋은 컨텐츠를 확보하기 어렵습니다. 또한 인터넷 시대에 검색되지 않는 정보는 없는 것이나 마찬가지인데, 검색 광고의 남용과 기술적인 한계로 말미암아 존재하는 컨텐츠를 효과적으로 제공하는 것도 어려워 보입니다. 

한때 인터넷 그 자체였던 야후!의 사례를 들어봅시다. 야후!는 지금도 단일 웹사이트로는 인터넷상에서 가장 방대한 컨텐츠를 자랑하지만, 결국 구글에 검색 뿐만 아니라 인터넷의 관문으로서의 주도권을 내주었습니다. 스스로를 미디어 회사로 규정한 야후!는  막대한 양의 자체 컨텐츠와 편집 노하우를 경쟁력으로 내세웠지만, 전세계의 컨텐츠를 모두 모아 원클릭에 제공하는 구글 검색에는 당할 수 없었던 것입니다.

당장 시장 판도가 바뀌지는 않겠지만 추세는 명확해 보입니다. 컨텐츠의 이탈이 가속화되고 모바일 웹의 대중화로  가벼운 검색엔진이 각광받게 되며, 특히 구글에서 막대한 투자를 지속하고 있는 기계번역 기술이 사용 가능한 수준으로 좋아진다면, 상황은 급속도로 달라질 수 있습니다. 검색엔진을 바꾸는데는 단 5초도 걸리지 않는다는 사실을 생각해봅시다.

네이버는 어떻게 살아남을 수 있을까?

만약 네이버의 현재 전략이 장기적인 생존을 보장하지 못한다면 대안은 무엇일까요. 당장 모든 컨텐츠를 외부에 개방하고 초기화면을 구글처럼 바꿔야 할까요?  특히 이부분은 검색 기술의 비즈니스적 가치와 관련되기에 검색 연구자로서 흥미있는 주제입니다. 

얼마전에 언급했듯이 구글의 검색기술은 하루아침에 쌓인 것이 아닙니다. 그들은 10년째 끊임없는 혁신을 지속하고 있으며, 검색 및 기타 서비스를 위해 하드웨어와 운영체제에서 시작하는 풀스택을 만들었습니다. 그리고 이 모든 것을 세계 최고의 엔지니어와 과학자들이 주도하고 있습니다. 심지어 마이크로소프트가 심혈을 기울여 내놓은 Bing Search조차 아직 구글의 아성에 아직 별다른 상처를 내지 못하고 있습니다. 

이런 회사와 경쟁하기 위해서는 정면 승부를 피하면서 고유의 경쟁력을 확보해야 할 것입니다. 우선, 자사의 비교우위는 지켜가야 할 것입니다. 예컨데 네이버의 현재 경쟁력은 컨텐츠에 있는데 이를 구글 검색에 그대로 노출시키는 것은 무기를 버리고 투항하는 것과 다름없을 것입니다. 우선 외부 컨텐츠에 대한 검색을 강화하면서 자체 컨텐츠를 서서히 공개하는 편이 나아 보입니다. 이런 측면에서 포탈이 자체 데이터 공개를 꺼리는 이유를 이해못할바는 아닙니다.

어쨌든 컨텐츠 개방은 피할 수 없을 것이며, 그 이후에도 경쟁력을 유지하기 위해서는 검색 기술을 지속적으로 확보해야 합니다. 앞서 구글의 막강한 경쟁력을 언급했지만 검색 알고리즘(PageRank)과 대용량 서비스를 위한 기반 기술(Map-Reduce / BigTable)은 논문이나 오픈소스 등의 형태로 공개된 부분도 많습니다. 또한 네이버가 보유한 컨텐츠에 대해서는 자체 DB의 Metadata나 사용자 Log를 검색을 위한 Feature나 랭킹 학습을 위한 데이터로 활용할 수 있기에 여전히 외부 검색엔진에 대해서는 훨씬 유리하다고 볼 수 있습니다.

아직 기대만큼의 성공은 아니겠지만, 구글과 경쟁하기 위한 마이크로소프트 Bing Search의 전략은 시사하는 바가 큽니다. 우선 Search Engine대신에 Decision Engine이라는 캐치프레이즈를 내걸고, 구글이 상대적으로 취약한 여행이나 쇼핑 부분을 집중 흥보했습니다. 검색 품질을 획기적으로 개선하는 한편 구글이 상대적으로 취약한 인터페이스 측면에서도 여러가지 혁신을 이루었습니다. 이런 전략에 컨텐츠 오너로서의 장점과 한국 유저에 대한 이해를 결합한다면 승산이 있지 않을까요.

마치며

삼성전자와 iPad에 관한 글에서 언급했지만, 모든 것이 모든 것과 연결되는 시대에 문호를 닫고 공정한 룰을 따르지 않는 것은 근시안적인 전략입니다. 대한민국 인터넷 사용자로서 포탈의 변화를 기대해봅니다. 

'검색산업동향' 카테고리의 다른 글

애플의 경쟁력은 기술이 아닌 철학에 있다  (2) 2010.04.07
구글의 진짜 경쟁력은 유연성  (3) 2010.03.01
한국 인터넷은 술자리다  (4) 2010.02.23
Trackback() : Comment ()

구글의 진짜 경쟁력은 유연성

검색산업동향 : 2010. 3. 1. 12:40   By LiFiDeA
이번 달 Wired에 실린 구글의 검색 품질에 관한 기사입니다. 수많은 도전에도 불구하고 구글의 검색 품질은 따라잡기 힘들 것이라고 전망하고 있군요. 그리고 이를 뒷받침하는 핵심 역량은 유연성이라고 지적합니다. 경쟁사에서 새로운 기술을 선보여도 구글은 곧 이를 자사의 검색 알고리즘에 통합시킬 수 있을 테니까요. 저자는 이렇게 결론짓고 있습니다.
Still, even if there is such a shift, Google’s algorithms will probably be able to incorporate that, too. That’s why Google is such a fearsome competitor; it has built a machine nimble enough to absorb almost any approach that threatens it — all while returning high-quality results that its competitors can’t match.
물론 이는 말처럼 쉬운 일이 아닙니다. 수백개의 속성(feature)의 조합으로 이루어지는 검색 알고리즘을 잘못 고쳤다가는 그동안 쌓아올린 향상이 모두 무너질 수도 있기 때문이죠. 말하자면 검색은 균형의 예술(balancing act)인 것입니다. 구글의 검색 책임자인 Amit Sighal의 말을 들어봅시다.
Throughout its history, Google has devised ways of adding more signals, all without disrupting its users’ core experience. Every couple of years there’s a major change in the system — sort of equivalent to a new version of Windows — that’s a big deal in Mountain View but not discussed publicly. “Our job is to basically change the engines on a plane that is flying at 1,000 kilometers an hour, 30,000 feet above Earth,” Singhal says.
운항중인 항공기의 엔진을 고치는 일이라 -- 실감나는 비유입니다. 그리고 이정도 규모와 복잡성을 지닌 시스템을 튜닝하는 것은 과학에 가깝습니다. 더이상 '감'에 의존하는 것이 불가능하기 때문입니다. 이를 잘 아는 구글은 입력되는 모든 쿼리를 하나 이상의 실험을 위해 활용한다고 합니다.
 Every time engineers want to test a tweak, they run the new algorithm on a tiny percentage of random users, letting the rest of the site’s searchers serve as a massive control group. There are so many changes to measure that Google has discarded the traditional scientific nostrum that only one experiment should be conducted at a time. “On most Google queries, you’re actually in multiple control or experimental groups simultaneously,” says search quality engineer Patrick Riley.
인터넷 검색과 같은 Winner-takes-all Market에서 독보적인 1위를 추격하는 것은 어려운 일입니다. 특히, 이처럼 선두가 방심하고 있지 않다면 더욱 그렇습니다. 흔히 구글 검색의 품질은 PageRank에 기인한 것으로 알려져 있지만, 그들의 진짜 경쟁력은 끊임없이 바뀌는 환경에 적응할 수 있는 능력, 이를 뒷받침하는 실험 인프라와 노하우일 것입니다.

또한, 이 기사는 지난 10년간 구글이 선보인 검색 기술상의 혁신과 구글 검색이 경쟁사에 비해 나은 점을 구체적인 질의(query)를 들어 설명하고 있습니다. 예컨데, 구글은 'new york', 'new york times', 'new york times square'가 모두 다른 대상을 가리키는 질의라는 사실을 알아냅니다. 기사를 좀더 읽어보시면, 구글 역시 문서보다는 사용자의 질의를 좀더 잘 이해하는 쪽에 연구 초점을 맞추고 있다는 것을 알 수 있습니다. 예전에 이곳에 올린 검색 연구의 흐름에 관한 글과 비교해 보시면 흥미로울 것 같습니다. 

원본

'검색산업동향' 카테고리의 다른 글

네이버가 구글과 싸우는 법 - 검색엔진 연구자의 관점  (26) 2010.03.25
한국 인터넷은 술자리다  (4) 2010.02.23
iPod, iPhone, iPad, 소프트웨어를 무시해서는 삼성전자도 안된다  (16) 2010.01.31
Trackback() : Comment ()

티스토리툴바