搜索引擎系統(tǒng)是比較復(fù)雜的計(jì)算系統(tǒng)之一。今天的主流搜索引擎服務(wù)提供商都是擁有財(cái)力和人力資源的大公司。即使有了技術(shù)、人力和財(cái)力的保障，搜索引擎仍然面臨許多技術(shù)挑戰(zhàn)。在搜索引擎誕生后的十多年里，技術(shù)取得了巨大的進(jìn)步。我們今天看到的搜索結(jié)果的質(zhì)量比10年前要好得多。然而，這只是開(kāi)始。搜索引擎必然會(huì)有更多的創(chuàng)新，提供越來(lái)越準(zhǔn)確的內(nèi)容。

一般來(lái)說(shuō)，搜索引擎將主要面臨以下挑戰(zhàn)。

互聯(lián)網(wǎng)是一個(gè)動(dòng)態(tài)的內(nèi)容網(wǎng)絡(luò)。每天都有無(wú)數(shù)的頁(yè)面被更新和創(chuàng)建，無(wú)數(shù)的用戶(hù)在網(wǎng)站上發(fā)布內(nèi)容和交流。為了返回最有用的內(nèi)容，搜索引擎需要抓取的頁(yè)面。然而，由于頁(yè)面數(shù)量巨大，搜索引擎爬行器需要很長(zhǎng)時(shí)間才能更新數(shù)據(jù)庫(kù)中的頁(yè)面。搜索引擎誕生時(shí)，抓取周期通常是在幾個(gè)月內(nèi)計(jì)算出來(lái)的。這就是為什么谷歌在2003年之前每個(gè)月都會(huì)進(jìn)行重大更新。

現(xiàn)在主流搜索引擎能夠在幾天內(nèi)更新重要頁(yè)面，高權(quán)重網(wǎng)站上的新文件將在數(shù)小時(shí)甚至數(shù)分鐘內(nèi)被收錄。然而，這種快速收錄和更新只能限于高權(quán)重網(wǎng)站。許多頁(yè)面在幾個(gè)月內(nèi)沒(méi)有被重新抓取和更新也是很常見(jiàn)的。

為了返回結(jié)果，搜索引擎還必須抓取盡可能全面的頁(yè)面，這需要解決許多技術(shù)問(wèn)題。有些網(wǎng)站不利于搜索引擎蜘蛛爬行和爬行。例如，網(wǎng)站鏈接結(jié)構(gòu)的缺陷，flash和Javascript腳本的廣泛使用，或者將內(nèi)容放在用戶(hù)登錄后才能訪(fǎng)問(wèn)的部分，都增加了搜索引擎抓取內(nèi)容的難度。

一些大型網(wǎng)站在一個(gè)網(wǎng)站上有數(shù)百萬(wàn)個(gè)頁(yè)面。你可以想象互聯(lián)網(wǎng)上所有網(wǎng)站的頁(yè)面加起來(lái)的數(shù)據(jù)量。搜索引擎蜘蛛抓取頁(yè)面后，還必須有效存儲(chǔ)這些數(shù)據(jù)。數(shù)據(jù)結(jié)構(gòu)必須合理，具有很高的可擴(kuò)展性，對(duì)寫(xiě)入和訪(fǎng)問(wèn)速度的要求也很高。

除了頁(yè)面數(shù)據(jù)，搜索引擎還需要存儲(chǔ)頁(yè)面與大量歷史數(shù)據(jù)之間的鏈接關(guān)系，這是用戶(hù)無(wú)法想象的。據(jù)說(shuō)谷歌擁有數(shù)十個(gè)數(shù)據(jù)中心和數(shù)百萬(wàn)臺(tái)服務(wù)器。如此大規(guī)模的數(shù)據(jù)存儲(chǔ)和訪(fǎng)問(wèn)必須面臨許多技術(shù)挑戰(zhàn)。

我們經(jīng)常在搜索結(jié)果中看到排名會(huì)無(wú)緣無(wú)故地上下波動(dòng)。我們甚至可以刷新頁(yè)面以查看不同的排名。有時(shí)網(wǎng)站數(shù)據(jù)也可能丟失。這些可能與大規(guī)模數(shù)據(jù)存儲(chǔ)的技術(shù)問(wèn)題有關(guān)。

搜索引擎抓取并存儲(chǔ)頁(yè)面數(shù)據(jù)后，還需要進(jìn)行索引處理，收錄鏈接關(guān)系計(jì)算、正向索引、反向索引等。由于數(shù)據(jù)庫(kù)中有大量頁(yè)面，重復(fù)計(jì)算（如PR）也很費(fèi)時(shí)費(fèi)力。如果你想及時(shí)提供相關(guān)的、及時(shí)的搜索結(jié)果，僅僅抓取是沒(méi)有用的，你必須做大量的索引計(jì)算。隨著新數(shù)據(jù)和新頁(yè)面隨時(shí)添加，索引處理也應(yīng)該具有良好的可擴(kuò)展性。

查詢(xún)是搜索引擎中普通用戶(hù)能看到的工作步驟。用戶(hù)在搜索框中輸入關(guān)鍵字，然后單擊“搜索”按鈕。通常，他們會(huì)在不到一秒鐘內(nèi)看到搜索結(jié)果。表面上最簡(jiǎn)單的過(guò)程實(shí)際上涉及非常復(fù)雜的背景處理。在最后的查詢(xún)階段，最重要的問(wèn)題是如何在不到一秒鐘的時(shí)間內(nèi)從數(shù)十萬(wàn)、數(shù)百萬(wàn)甚至數(shù)千萬(wàn)個(gè)包含搜索詞的頁(yè)面中快速找到最合理、最相關(guān)的1000個(gè)頁(yè)面，并根據(jù)相關(guān)性和權(quán)限進(jìn)行排列。

應(yīng)該說(shuō)，前四個(gè)挑戰(zhàn)可以通過(guò)現(xiàn)有的搜索引擎很好地解決，但判斷用戶(hù)意圖仍處于初級(jí)階段。當(dāng)不同的用戶(hù)搜索同一個(gè)關(guān)鍵字時(shí)，他們可能在尋找不同的東西。

目前，搜索引擎致力于根據(jù)用戶(hù)的搜索習(xí)慣和歷史數(shù)據(jù)判斷搜索意圖，并返回更多相關(guān)結(jié)果。未來(lái)，搜索引擎能否達(dá)到人工智能水平，真正理解用戶(hù)搜索詞的意義和目的還有待觀(guān)察。