退出閱讀

重寫科技格局

作者:江湖說夢人
重寫科技格局 手機閱讀請點擊或掃描二維碼
手機閱讀請點擊或掃描二維碼
0%
第0040章 搜索引擎演算法

第0040章 搜索引擎演算法

「張總準備把分公司放在浦東么?」到了目的地后,孟謙憑藉記憶對比,如果沒看錯的話這裏應該是張江高科技園區。
孟謙看了一眼IBM出來的哥們,對方愣了一下有點好像不確定的點了點頭。
當然如果能直接理解用戶的需求然後幫他搜索他最想要的內容,這是最理想的搜索引擎狀態,但誰都知道這是不可能的。
浦東四大重點開發區域中,世人相對熟知的應該就是金融中心陸家嘴和科技中心張江了。
之後,孟謙淺嘗輒止的展示了各個分支的演算法邏輯和演算法推演公式。
傑爾夫頓了頓,以為孟謙是沒聽懂,用奇怪的發音道,「卧槽!!!」
所以現在簡單總結一下,搜索引擎的演算法基礎就是超鏈分析,演算法的優劣勢就在於如何讓搜索結果更具有參考價值,讓用戶獲得更有效的信息。
然而就在孟謙在說最後一個規律演算法的過程中,來自IBM的傑爾夫突然起身驚呼,「OH MY GAD!Artificial Intelligence?!」
孟謙轉過頭看了一眼對方,皺了皺眉。
這裡有四個好處,提升信息反饋速度、增加熱點反饋的時效性、節約計算機資源以及圍繞最終目的,讓更多使用我們搜索引擎的用戶得到有用信息。
第四,規律演算法,在用戶的所有行為中尋找大概率行為和圖書,並將這些大概率反饋到人工,比如說60%搜索了汽車的用戶下一個搜索詞都是保險。
……
第三,用戶反饋機制,也就是跟蹤用戶的點擊情況和瀏覽情況。
相比之下,谷歌的Pagerank就多了兩件很重要的事情,第一件事情是,把A頁面到B頁面的鏈接解釋為A給B的投票行為,谷歌在這裡會同時考評A和B的等級從而形成新的等級。
2000年的張江,領軍產業是電路、軟體以及生物醫藥。
張樹新點頭表示肯定,「現在南方最有發展潛力的地方,毫無疑問就是深圳和滬上浦東,而張江高科技園區,則是科技的孵化寶地啊。」
張樹新一一做了介紹,這兩名外籍男子一名來自IBM,一名來自谷歌,聽意思要麼是已經挖過來了,要麼就是打算挖過來的,兩人之前都是搜索引擎項目組的。
結合以上四點,在我的演算法下,任何一個網頁同樣會有一個分數,我稱其為精度分。
來到張樹新租的地方,有五名男子正等在那邊,其中有兩人一看就是外籍男子。
至於HITS,其理論基礎依然沒變,它最大的特點或者說改變就在它意識到Pagerank演算法平均的分佈權值不符合鏈接的實際情況。
影響精度分的因子包括自己評分,鏈接的垂直網站評分,用戶反饋分,人工和_圖_書制定分以及外鏈影響等。」
那麼在這個理解基礎上,我接下來要給大家介紹的,就是我的搜索引擎演算法,動態規則超鏈分析演算法。
「在我展示我的核心技術之前,我們先來看看當下的三大主流演算法,白度的超鏈分析,谷歌的PageRank演算法以及IBM的HITS演算法。
抓取網頁信息,然後用某種機制對這些網頁進行排序,當用戶輸入關鍵詞進行搜索時,根據關鍵詞匹配出按照機制進行排列的網頁。
簡單的打了個招呼,大家就到會議室坐著,接下去是孟謙的表演時間,他今天,要展示他的搜索引擎核心技術。
10個用戶用谷歌,5個人找到了自己想要的東西,如果用我們的搜索引擎,6個人找到了自己想要的東西,在這裏領域目前的技術環境下,我們就是更優秀的。
不過曾經的孟謙第一次來滬上是在07年的時候,2000年的滬上他還真沒見過。
這裏還有一個小小的心理問題,那就是同行之間很少會做超鏈接,所以擁有更多垂直類網站鏈接的網站,它的專業性肯定比被亂七八糟網站鏈接的網站要更大概率靠譜。
搜索引擎這個東西,需要用到網路爬蟲技術、檢索排序技術、網頁處理技術、大數據處理技術、自然語言處理技術等,當然,2000年這個時候,還用不上和-圖-書自然語言處理技術,大數據處理也更後世的概念不太一樣。
這樣的一些規律我們是無法預測的,但我們可以利用演算法進行大數據挖掘,回饋的這些結果可以供人工分析部對一定的網頁進行評分,這個就是人工分。
第二,建立關鍵詞庫熱度排序機制,現在的幾家搜索引擎企業都對網頁做了排序,而我對關鍵詞也做了排序,而且給關鍵詞做排序非常簡單,那就是看用戶的搜索量。
然後不斷的重複計算每個頁面的PR。假設給每個頁面一個隨機PR值,那麼經過不斷的重複計算,這些頁面的PR值會趨向于穩定,也就是收斂的狀態。
所以HITS演算法中引入了另外一種網頁,稱為Hub網頁,Hub網頁是提供指向權威網頁鏈接集合的WEB網頁。
滬上作為華夏的金融中心,是一張給世界看的名片。
還是用汽車舉例,有100個用戶搜索汽車后,80個點擊了A網頁,A網頁的評級就會上升,如果有更多的用戶在A網頁的停留時間較長,A網頁的評級也會上升,如果有更多的用戶在A網頁上直接進行鏈接等操作,A網頁的評級也會上升。
動態規則超鏈分析演算法有以下幾個變化。
所以使用HITS的搜索結果會比其他兩者都更權威,但這個演算法會大大增加計算負擔,對吧?」
另外三名華夏人,和-圖-書一人是瀛海威自家的技術總監,另外兩人都是從矽谷回來的,一個畢業於斯坦福大學,曾任職于英特爾,一人畢業於哈佛,曾任職于甲骨文,都是人才。
但說的簡單一點,其實核心就是一個東西,演算法。
而隨著傑爾夫的打斷,原本都沉浸在孟謙分享中的其他四名技術人員,眼神也都出現了明顯的變化……
因為每一個技術都離不開演算法。
所以在我的演算法中,對於指向某一個網站的鏈接,我首先會做垂直率評分,比如有現在有10個網站鏈接到了A,這10個網站都是汽車類網站和這10個網站都不是汽車類網站的結果,想必是肯定不一樣的。
此時的浦東,已經開始聳立起高樓大廈,同時又存在大片的廠房和棚戶區,車子一路開過去,可以看到很多地方正在拆遷改造。
第一,剛才我們提到了,好的搜索引擎是要看在同一關鍵詞下誰的反饋結果更能滿足用戶需求,那麼當用戶在搜索某個東西的時候,從大概率來說,他想要看到的結果應該是與這個東西具有更垂直型相關的內容。
「我不太清楚在座各位在搜索引擎方面的建樹和理解,我只能先按照我的節奏說下去,如果誰有問題可以隨時打斷我。」孟謙走到黑板前直入正題。
幾乎所有人都覺得白度的超鏈分析是三個演算法中最落後的,但有些事情我們還是要多角度和_圖_書的看一看,白度的超鏈分析在某種程度上可以算得上是奠定了搜索引擎的發展基礎。
也就是說,在整個網頁評級系統中,加入用戶反饋分。
也就是每一個頁面都有PR值,同時你的PR值會成為其他頁面PR值的參考。
臨近下午一點,孟謙到了滬上浦東,這還是他重生后第一次來滬上,這個前世他也經常來的地方。
那麼白度輸在哪呢?關鍵就在於白度現在過於簡單的基於在某次搜索的所有結果中被其他網頁用超鏈接指向的越多的網頁就價值越高這種基礎排序方式。
有一些聲音說谷歌其實是剽竊了白度的超鏈演算法,畢竟李彥宏這個專利確實在谷歌之前,我們現在不去猜測真假,但這種說法體現了一個很重要的信號,其實不管是哪一家的演算法,演算法基礎其實都是一樣的。
這個時候大家說到南方城市的發展潛力,尤其是科技發展,還沒人會想到杭城。
因此搜索引擎的好壞決定的就是同樣的關鍵詞下,你是否能讓相對更多的人獲得他們想要的內容。
舉個例子,客戶在搜索汽車的時候,不管他是想買車,還是想了解汽車知識,汽車類的專業網頁對他的幫助應該都是更大的。
就比如今天搜索汽車的用戶最多,那麼汽車的評分可能就是10分,這個時候,演算法會分配更多的資源到汽車相關的信息上去,去抓取更多的優質網頁。
  • 字號
    A+
    A-
  • 間距
     
     
     
  • 模式
    白天
    夜間
    護眼
  • 背景
     
     
     
     
     
書簽