從搜索引擎所采取的技術(shù)來說，可以將搜索引擎技術(shù)的發(fā)展分為4個時代：分類目錄、文本檢索、連接分析和用戶中心。

　　史前一代：分類目錄的一代

　　這個時代也可以成為“導(dǎo)航時代”，Yahoo和hao123是這個時代的代表。通過人工收集整理，把各類別的高質(zhì)量網(wǎng)站或者網(wǎng)頁分門別類羅列，用戶可以根據(jù)分級目錄來查找高質(zhì)量的網(wǎng)站。這種方式是純?nèi)斯さ姆绞剑⑽床扇∈裁锤呱畹募夹g(shù)手段。

　　采取分類目錄的方式，一般被收錄的網(wǎng)站質(zhì)量都較高，但是這種方式可擴展性不強，絕大部分網(wǎng)站不能被收錄。

　　第一代：文本檢索的一代

　　文本檢索的一代采用經(jīng)典的信息檢索模型，比如布爾模型、向量空間模型或者概率模型，來計算用戶查詢關(guān)鍵詞和網(wǎng)頁文本內(nèi)容的相關(guān)程度。網(wǎng)頁之間有豐富的鏈接關(guān)系，而這一代搜索引擎并未使用這些信息。早期的很多搜索引擎比如Alta Vista、Excite等大都采取這種模式。

　　相比分類目錄，這種方式可以收錄大部分網(wǎng)頁，并能夠按照網(wǎng)頁內(nèi)容和用戶查詢的匹配程度進行排序。但是總體而言，搜索結(jié)果質(zhì)量不是很好。

　　第二代：連接分析的一代

　　這一代的搜索引擎充分利用了網(wǎng)頁之間的鏈接關(guān)系，并深入挖掘和利用了網(wǎng)頁鏈接所代表的含義。通常而言，網(wǎng)頁鏈接代表的一種推薦關(guān)系，所以通過鏈接分析可以在海量內(nèi)容中找出重要的網(wǎng)頁。這種重要性本質(zhì)上是對網(wǎng)頁流行程度的一種衡量，因為被推薦次數(shù)多的網(wǎng)頁其實代表了其具有流行性。搜索引擎通過結(jié)合網(wǎng)頁流行性和內(nèi)容相似性來改善搜索質(zhì)量。

　　Google率先提出并使用PageRank鏈接分析技術(shù)，并大獲成功，這同時也引進了學(xué)術(shù)界和其他商業(yè)搜索引擎的關(guān)注。后來學(xué)術(shù)界陸續(xù)推出了很多改進的鏈接分析算法。目前幾乎所有的商業(yè)搜索引擎都采取了鏈接分析技術(shù)。

　　采用鏈接分析能夠有效改善搜索質(zhì)量，但是這種搜索引擎并未考慮用戶的個性化要求，所以只要輸入的查詢請求相同，所有用戶都會獲得相同的搜索結(jié)果。另外，很多網(wǎng)站擁有者為了獲得更高的搜索排名，針對鏈接分析算法提出了不少鏈接作弊方案，這樣導(dǎo)致搜索結(jié)果質(zhì)量變差。

　　第三代：用戶中心的一代

　　目前的搜索引擎大都可以歸為第三代，即以理解用戶需求為核心。不同用戶即使輸入同一個查詢關(guān)鍵詞，但其目的也有可能不一樣。比如同樣輸入“蘋果”作為查詢詞，一個追捧iPhone的時尚青年和一個果農(nóng)的目的會有相當(dāng)大的差距。即使是同一個用戶，輸入相同的查詢詞，也會因為所在的時間和場合不同，需求有所變化。而目前搜索引擎大都致力于解決如下問題，如何能夠理解用戶發(fā)出的某個很短小的查詢詞背后包含的真正需求，所以這一代搜索引擎稱之為以用戶為中心的一代。

　　為了能夠獲取用戶的真實需求，目前搜索引擎大都做了很多技術(shù)方面的嘗試。比如利用用戶發(fā)送查詢詞時的時間和地理位置信息，利用用戶過去發(fā)出的查詢詞及相應(yīng)的點擊記錄、歷史信息等技術(shù)手段，來試圖理解用戶此時此刻的真正需求。