TechRoomage

清華馬少平教授詳解:人工智慧能做什麼?

0 1

原標題:清華馬少平教授詳解:人工智慧能做什麼?

原文刊載於 明略數據(Minglamp_BigData)

這是7月下旬,馬少平老師在明略數據內部做的一個分享,基於此前馬老師隨筆《人工智慧能做什麼?》中的一些思考進行了擴展。

清華馬少平教授詳解:人工智慧能做什麼?

AlphaGo的出現,讓很多人對人工智慧產生了不切合實際的幻想,究竟人工智慧能做什麼?1個半小時的分享,整理成如下內容,包含以下幾個部分:

● 人工智慧發展歷史

● 人工智慧典型應用

● 當前行業中人工智慧的應用情況

● 如何指導科研工作

清華馬少平教授詳解:人工智慧能做什麼?

作者:馬少平 清華大學計算機系教授,博士生導師,中國人工智慧學會副理事長,中國中文信息學會副理事長。主要研究方向為智能信息處理,包括文本信息檢索、網路用戶行為分析、個性化推薦、社交媒體分析等。

本文經馬少平教授授權,如需轉載請聯繫明略數據。

以下為講座文字整理版

(全文共9100字,閱讀時間約15分鐘。)

清華馬少平教授詳解:人工智慧能做什麼?

各位朋友下午好,非常高興,今天可以一起交流。近三十年來我一直從事人工智慧有關的工作,近十幾年來,我研究的比較「專」,主要從事搜索引擎相關的工作。今天我想跟大家談一談人工智慧能夠做些什麼。

其實早在八十年代,國外就有一本書討論了計算機能做什麼,不能做什麼。我今天也想和大家討論一下類似的問題,首先一定要知道,有些事情人工智慧技術今天不能做,未來也許不是問題。但是還有些題目今天的人工智慧難以完成,從技術上來看,未來的人工智慧可能也無法解決。今天和大家談一下如今的人工智慧到底能夠做到哪些?

一、人工智慧發展歷史

清華馬少平教授詳解:人工智慧能做什麼?

我們先簡單地回顧一下人工智慧的發展歷史。人工智慧的發展大概可以被分為四個階段。

人工智慧第一階段—前期階段

關鍵詞:通用問題求解 定理證明 遊戲 機器翻譯等

1956年在達特矛斯會議上,人工智慧的概念被首次提出來。到去年已經是整整60年了。當時的概念已經不是憑空提出的了,在1950年,圖靈就已經闡述過圖靈測試了。那個時候第一台電子計算機已經問世十年了,所有人都期望用計算機為工具去實現很多人工智慧的設想。

在當時達特矛斯會議上,大多數與會者都是二十幾歲的年輕人,他們對實現人工智慧這一想法非常的樂觀,也很有自信。在人工智慧提出的早期階段,就有人研究「通用問題求解」,簡稱GPS。當時的設想是通過一個通用的方法去求解所有的問題。除此之外,在那個時代,人們用當時的計算機做了很多的數學定理證明,甚至是證出了《數學原理》一書上的所有定理。這在當時的條件下是十分不易的。還有很多人研究遊戲,因為遊戲是可以反映人類智能的。當時就有很多人研究棋類遊戲。在1956年達特矛斯會議上就有人演示了機器下棋的過程。

還有一個方面是機器翻譯,在當時人們認為有了計算機這個強大的工具,在後台存儲一本龐大的電子詞典,就可以解決自然語言的翻譯問題了。但是,這些先驅者們很快就陷入了困境,發現這件事情不是那麼簡單。他們失敗的關鍵點就在於「知識」。比如說我們要翻譯一本專業性很強的人工智慧方面的書,把它交給一個沒有科技翻譯經驗的、學語言的學生,他肯定會翻譯得漏洞百出,即使他的外語和漢語能力都沒有問題。為什麼呢?因為我們在做這方面的工作的時候,一定要先掌握相關的「知識」。人工智慧技術其實也是這樣,要實現「智能」,必須要依靠「知識」。

人工智慧第二階段——知識處理時代

關鍵詞:知識工程 專家系統

當人們意識到了這點的時候,人工智慧就發展到了第二個時代——知識處理時代。這個時代主要的特徵就是知識工程和專家系統。專家系統是先被提出來的概念,然後才是知識工程。專家的特點就是掌握相關領域的知識,如果知識能夠被總結出來,那麼我們就可以用計算機來替代這些專家,去解決相關領域的問題了。繼專家系統之後,又提出知識工程,就是說我專家之所以是專家,就是因為他們掌握了這方面的知識,如果我把他的知識給總結出來,那麼我就可以用計算機來代替專家來解決這方面的問題。

當時造了很多專家系統,最著名的大概就是六十年代中期MIT做過一個用於做血液病的診斷的專家系統MYCIN,這之後還有很多專家系統問世。雖然在這個過程中人們認識到了知識的重要性,但是知識獲取始終是一個難題。當時雖然機器學習的概念也被提了出來,有基於歸納法的學習、基於解釋的學習、基於演繹的學習等等各種理念,但是都沒能取得成功。所以知識獲取仍然是一個很大的瓶頸。

當時,也就是在大概80年代的時候,我也曾經參加製作過幾個專家系統。那是非常幸苦的工作,為了能和專家沒有障礙的交流,必須要學習和研究專業領域的專業知識,否則根本連專家在說什麼也不知道。但是,即使是這樣,這種獲取知識的方式仍然是非常艱難的,因為很多知識是很難提煉和歸納的。比如說我不會騎自行車,一上去就會倒。我問會騎自行車的怎樣騎車不會倒。他肯定告訴我這種事情沒法口頭上教,只能找個沒事的禮拜天扶著練練才能會。這也就說明了人工去做知識的提取不光困難,而且效率很低。因此當年雖然做了很多的專家系統,但是真的成功應用的卻並不多。

人工智慧第三階段——特徵處理時代

關鍵詞:特徵抽取 統計學習 優化技術

時間進入了90年代末期,這是一個特徵處理的時代。其實這個時代最主要的就是統計學習,試圖用統計機器學習的方法來讓機器自動地學習。不過機器學習的材料並不是原始數據,是我們從數據抽取出來的特徵。比方說那個時候如果說要識別一個貓,那可能就得找各種各樣的特徵,想做語音識別,也需要各種各樣的特徵,然後在得到特徵之後再用統計學習方法進行處理。

這個過程中難點其實更多的是找特徵。比如那個時候做漢字識別,大家用的統計學習方法其實都差不多,關鍵在於怎麼找特徵,到底哪些特徵才能把這漢字給描述出來,並且計算機還能處理。比如「橫豎撇捺」是漢字的特徵,我們人腦就是這麼識別漢字的,但是那個時候計算機抽取不出來。所以怎樣找特徵才是一個真正的難點。

清華馬少平教授詳解:人工智慧能做什麼?

人工智慧第四階段——數據處理時代

關鍵詞:深度學習(神經網路) 訓練演演算法

我們現在處在一個數據處理時代,我們應用各種數據進行深度學習。不過這些數據不再是我們抽取的特徵了,而是原始的數據。讓機器自己從原始數據中進行學習。做語音識別的,只要把語音的採集信號交給機器就好。做圖片識別的,只要給機器圖像,讓它自己去判斷,也就不用抽取特徵了。所以這個時代在技術上已經是更加進步的了。

這是人工智慧的一個進階,從知識到特徵再到數據處理,人的參與越來越少。在專家系統時代一定要專家級的人物參與才行。現在數據時代,從我們準備的學習對象、處理對象來說,把原始數據交給系統就行了。這個程度上來說,人工智慧是一點點進步的,人的干預程度了越來越少了。

清華馬少平教授詳解:人工智慧能做什麼?

二、人工智慧的典型應用 應用場景1: 對機器和人類都很容易

現在的人工智慧的一些典型的應用可能大家也都是有一些了解的。比如說,現在我們這個階段深度學習領域,做的比較好的像是語音識別,比如2011年的微軟,首先將深度學習應用到語音識別中,一下把錯誤率拉低了30%。2016年穀歌也是這樣,它首先做了一個很完整的系統,就是基於神經網路的機器翻譯。還有一個就是名聲大噪的圍棋人工智慧AlphaGo,在比賽中連續戰勝頂尖高手李世石、柯潔。這個裡邊一個很重要的東西都是就所謂的深度學習,也就是說神經網路模型,這些是比較成功的應用。

應用場景2:對機器和人類都很難

我們再看一下比較難求解的領域,人工智慧哪些事情做不了。比如說讓人工智慧提出一個新的概念,或者是創立一個新的科學體系。或者是在數學領域開創一個新的分支等等,這些事情對於計算機或者是人工智慧而言都是無法完成的。至少現在還沒有辦法去處理。上面說到的幾件事情不僅僅是對於計算機,對於我們人類其實也是比較難以完成的。

應用場景3:對人類很容易,對機器很難

那麼還有一些事情,對於我們而言是非常容易的,可是人工智慧處理起來依然比較困難。比如說理解幽默、比如聯想能力、比如說漫畫識別等等。這些方面上至老人下至三歲小孩,我們的水平都比人工智慧高很多。比如我舉一個例子,這是一個真實的事情,有一天我買東西,下了一個單,客服說一杯咖啡后,就會有人與我聯繫,害得我趕緊下樓買了一杯咖啡,很顯然我做了一件十分搞笑的事情,我們正常人都能明白,但是機器就不知道幽默點在哪裡。

清華馬少平教授詳解:人工智慧能做什麼?

這張圖片,大家的第一反應就是一個頭髮花白的老人。可是如果我提示你,圖片裡面有字。我們都能很快地找出「長命百歲」來。

清華馬少平教授詳解:人工智慧能做什麼?

還有就是漫畫識別,我們從來沒有見過這張漫畫。但是讓我們認識陳佩斯。我從來沒看過它的漫畫,第一眼看見,我也知道它畫的是是陳佩斯。但是機器怎樣通過這張漫畫識別呢?

清華馬少平教授詳解:人工智慧能做什麼?

這張畫,顯然和真實的陳佩斯還是差了很多的。這個方面也有很多人在研究,但是目前的水平還不盡如意。

所以為什麼有的方面人工智慧的水平能夠輕鬆超過人類,但是有一些人類看來很簡單的事情,機器卻難以完成呢?我們來分析一下。像剛剛講過的語音識別這些技術,我認為它之所以在人工智慧領域裡面能做,是因為「說得清」。這個說得清並不是指是別的材料說話很清楚,或者是通過什麼數學公式能給它描述得清。這個「說得清」的意思是能夠明確地定義。這裡所說的定義,並不一定指形式化的定義,可以是舉例、可以是假設等。比如說我們做貓狗等動物的識別,可以給出大量的動物照片,說這些是貓,這些是狗。可以很明確的用數據給出動物的「定義」。但是讓機器理解幽默就很難了,我們很難去說清楚為什麼這句話是幽默,幽默點在哪裡。

清華馬少平教授詳解:人工智慧能做什麼?

結論:機器能做「說得清」的事情,不能做「說不清」的事情。

人工智慧就是通過「定義」+演演算法,來求解問題。

這裡面對於人工智慧領域提煉出來一個原則就是,能說清楚的,能做;說不清楚的,至少現在還做不好。但是技術是在發展的。人工智慧的發展就是由「說不清」變得「說得清」,也就涉及到了描述的問題和相應的演演算法求解的發展。比如說圍棋,過去沒找到方法,「說不清」,但是谷歌突然間有了這種方法,把圍棋說得清了,計算機圍棋問題也就解決了。也就是說能「定義」的就能求解。這個定義不是說簡單的一個文字,一個形式化的東西。現在的人工智慧就是一個「定義」再加上演演算法來求解問題。那麼這些就是目前我們人工智慧能夠做的。

清華馬少平教授詳解:人工智慧能做什麼?

首先是能夠定義,當然這個定義一定是以計算機能夠理解的方式,並且有可以求解的演演算法。可以是形式化的定義比如說是什麼定理,或特徵定義,也可以是數據定義或者假設定義。比如這個東西很複雜,要限定條件,在假設下去求解。如何下定義,這是一件和複雜的事情。

三、當前行業中人工智慧的應用 1. 「貓」臉識別

我們結合具體的例子來看,比如我們做識別貓的應用,那麼什麼是貓?我們查了一下搜狗百科:」頭圓、顏面部短,前肢五指,後肢四趾,趾端具銳利而彎曲的爪,爪能伸縮。夜行性。以伏擊的方式獵捕其他動物,大多能攀緣上樹。」,這個東西我們人能看懂,但是,我們自己識別貓的時候肯定不會按照這個去做。可能我們看到一個稀有的品種,或者是研究貓的專家會去研究這個定義。但是我們讓計算機去做,這是不行的,按照這個定義來,肯定識別不出貓。那我們現在怎麼定義?給些圖片就行了,這就是現在大家做的。我給一大堆圖片,告訴系統類似於這個的都是貓,類似於這些的肯定不是貓。這就是我們下的一個定義。加上機器學習演演算法,可能就能識別貓了。

清華馬少平教授詳解:人工智慧能做什麼?

2. 專家系統

比如說專家系統中,實際中應用專家系統並不多,這裡面有各種各樣的原因,比方說、診斷血液病系統實際上就涉及到一個法律上的問題,一旦出了醫療事故,責任如何劃分。還有我們國內有人總結了中醫治肝病專家的經驗,開發了一套中醫的專家系統,但是這個也是有問題的,比如說中醫講號脈,但是當時號脈沒有這樣的機器。就必須把脈相手動的輸入到系統中。普通人又不會號脈,還得找個號脈好的中醫,人家號脈好的中醫又用不到這樣的系統。由於種種原因,這個系統就失敗了。

還有比如世界上第一個成功的商用專家系統R1。82年開始在DEC公司使用,是用來代替向廠家訂貨的工作的。當時據說可以節省4000萬美元一年,它通過幾千條的規則,覆蓋了所有可能出現的情況。

清華馬少平教授詳解:人工智慧能做什麼?

3. IBM深藍系統

再有一個是IBM的深藍系統,1997年,在國際象棋比賽當中戰勝了國際象棋大師卡斯帕羅夫引起了世界的轟動。其實深藍系統的主要演演算法叫做「alpha-beta剪枝演演算法」,這個演演算法很早被提出來了,但是直到深藍系統才獲得了很大的成功。這個演演算法依賴於局面的評估,在當前的局面下是對我有利還是對對方有利。IBM聘請了很多的象棋大師來為他總結經驗,用於對局的局面評估。運用這個演演算法一方面能剪掉不必要的分支,提高系統的效率,另一方面,它利用知識把局面的評估定義的非常清楚,到底什麼樣的局面才是對我方有利的。

清華馬少平教授詳解:人工智慧能做什麼?

那為什麼這種方法在20年前就達到了讓計算機國際象棋達到了世界大師的水平?就是因為無論是中國象棋、國際象棋都有這樣的特點,它相對來說容易說得清楚。比方說,殘局階段,比對方多個子就可以認為贏是沒問題的,或者說馬的位置可能就決定了誰勝負,然後再加上它很強的這個搜索能力,搜索深度可以達到十幾步。

由於象棋這種易於「說清」的特殊性,在二十多年前計算機就打敗了人類的頂尖選手,國內也是,十幾年前計算機也打敗了國內的頂尖高手。但是看到深藍在很多年就獲得了成功之後,很多人對象棋產生了誤解,認為象棋的可能情況不多,通過暴力窮舉就能解決。但其實不是,深藍的成功很大一部分也在於「Alpha-Beta剪枝」演演算法的應用。

清華馬少平教授詳解:人工智慧能做什麼?

95年主持IBM深藍項目的工程師到清華做過講座。當時我就問過他剪枝演演算法相比暴力窮舉的效率到底提高了多少。他們做過測算,如果單純是窮舉的話,要達到深藍的水平,每下一步棋需要十七年,用了剪枝演演算法之後,只需要幾分鐘。所以說除了「說清楚」外,演演算法也是很重要的。

4. AlphaGo

那為什麼AlphaGo要到20年後才成功了呢?

其實即便是20年後計算機圍棋就取得了成功,也是出乎很多人的意料,很多人沒有想到2016年人工智慧就可以達到這樣的水平了。為什麼Alpha-Beta剪枝演演算法用在圍棋上不行呢?是因為「Alpha-Beta剪枝」演演算法嚴重依賴於局面的評估。原有的局面評估方式是建立在總結專家經驗的基礎上的。偏偏圍棋是很靠感覺的,幾個不同的圍棋棋手之間往往很難有一致的看法。在幾年前中、日、韓曾經舉辦過圍棋組團對抗賽這種友誼比賽,每個隊伍選出三名棋手組成團隊一起下棋。結果韓國隊配合最好。據說他們的隊伍里一個人只負責擺棋,一個人只負責買飯準備飲料,只有一個人在下棋。而中國、日本隊那邊往往還沒怎麼下呢自己就吵起來了。所以說圍棋是很難總結專家經驗的,這也就是應用舊的「Alpha-Beta」剪枝演演算法的計算機圍棋,一直處於一種水平不高的狀態。

計算機圍棋的第一個里程碑在於蒙特卡洛樹搜索的引入。2006年法國的一個團隊首先把蒙特卡洛樹搜素的方法引入到了計算機圍棋中,這種方法也是為了解決局面評估的問題。

蒙特卡洛模擬本質上是一種隨機模擬的辦法。是什麼意思呢?就是說該計算機下了,它就隨機下,隨便找一個點下,一直隨便下直到能判斷出一方勝利為止。然後再這個基礎上反覆模擬十萬次、一百萬次然後看哪個點的勝率最高。哪個點勝率最高,那麼計算機下次就下到哪個位置。後來改進的蒙特卡洛樹,每次模擬的結果可以重複利用,這就提高了搜索的效率。那麼就是靠每一個可下棋的位置的勝率來解決局面評估的問題。

同時在蒙特卡洛樹搜索中,採用了一種叫做「信心上限」的決策方法,也就是「多臂老虎機」決策問題。每個老虎機有一定的概率贏錢,多個老虎機,不同的老虎機贏錢的概率不一樣。所以我可以站在旁邊先看別人玩,先找到贏錢概率最大的決策方法。在模擬選擇分支的時候,就把每一條路徑看做一個老虎機。這之後選擇最優路徑然後繼續隨機模擬。模擬一輪后可能有勝有負,看勝率多少,然後把勝率最高的步驟傳回。

清華馬少平教授詳解:人工智慧能做什麼?

應用了這種方式,計算機圍棋可以說是從原來基本不會下棋的狀態進到了業餘五、六段的水平。谷歌的AlphaGo是怎麼解決接下來的問題的呢?單純是原來蒙特卡洛樹的隨機模擬是效率很低的。所以谷歌就把深度學習的技術引入進來用於解決搜索量大的問題。在AlphaGo中,採用策略網路減少了模擬的寬度,採用估值網路減少了模擬的深度,在整個模擬階段不一定從頭模擬到尾,這樣的話可以提高模擬的效率。實際上圍棋就不是靠知識了,是完全靠數據去定義了,通過人類的16萬棋譜和AlphaGo自己和自己下的三千多萬盤棋,再加上深度學習,就定義了下得好不好這件事。並且在演演算法中結合了蒙特卡洛樹、深度學習等技術,把演演算法本身的效率提高。

清華馬少平教授詳解:人工智慧能做什麼?

5. 漢字識別

再舉一個我自己做的漢字識別的例子,20多年前,九十年代的時候,當時我們做的漢字識別屬於離線漢字識別,也就是把漢字寫在紙上然後掃描出來識別。聯機漢字識別,比如直接在手機上寫字識別相對比較簡單,因為可以記錄筆畫順序。但是離線的識別就比較難了。當時我們需要把《四庫全書》做成成電子版。

清華馬少平教授詳解:人工智慧能做什麼?

這個《四庫全書》是當年三千多人一起抄寫了十年才完成的。現存的完整版分別保存在國圖和台北。但是要查詢《四庫全書》的內容就非常難了,當時台灣出版過影印版,整體縮小四分之一,最後一套書的重量有兩噸半。因此很多人想出版成電子版。90年代的時候很多公司搶著想做這件事情。甚至還有公司在人民大會堂搶先開了新聞發布會,當然他們最後也沒做成。這些人都想找人採用人工錄入的方式,但是都沒有成功。

清華馬少平教授詳解:人工智慧能做什麼?

後來我們採用了一種「滾雪球」的演演算法讓機器學習前面人工錄入的內容,然後慢慢識別後續的文字。在識別的技術上我們用了模糊文字方向線素特徵。這個描述的方法是把每個漢字歸一化之後,然後變成網路,每一個網格裡面統計字的邊緣的像素,抽取不同方向的像素特徵。一個漢字就是256個特徵。

清華馬少平教授詳解:人工智慧能做什麼?

我們當時的正確率能夠達到95%,後來再通過人工的一些方法,把錯誤率下降到了萬分之一的水平。這裡我們等於做的也是一個對於漢字的描述。我們在做這些項目的時候,首要就是要想辦法把問題說清楚、給出它的定義。

四、如何指導科研工作

上面分享了一些行業中的成功實踐,這些實踐如何知道我們的科研工作。要讓機器理解人類希望他們處理的「問題」,還是要回到如何把問題說清楚,給出問題的「定義」。

清華馬少平教授詳解:人工智慧能做什麼?

下面我結合自己的三個例子說一下。比如我們曾經做過一個垃圾網頁識別的項目。

清華馬少平教授詳解:人工智慧能做什麼?

1. 垃圾網頁識別

清華馬少平教授詳解:人工智慧能做什麼?

垃圾網頁指的就是通過欺騙搜索引擎,用戶搜索的時候,即使是搜的與這個垃圾網頁沒有關係的詞,它也會通過欺騙搜索引擎,把自己的網頁排到前面去。非常影響用戶體驗。

但是識別這種垃圾網站非常難。因為作弊手段層出不窮,只能「一事一議」的進行處理。比如發現了一種作弊方法,我們提取了規則,說清了這個垃圾網站的特徵,可能它稍微修改一下,我們就識別不到了。而且這種方法很慢,也很沒有效率,很多時候用戶點開了垃圾網站就直接關掉了,根本懶得反饋。後來我們通過了另一種思路,就是分析用戶打開網頁之後的行為。如果是秒關,那很有可能這是一個與搜索內容無關的垃圾網站。或者某個網站的所有打開來源都是搜索引擎,幾乎沒有人通過訪問URL打開網頁。我們共總結了20多個類似的特徵,用於描述垃圾網站。我們就通過這些特徵去描述、去給垃圾網站下定義,再結合一些統計學習的演演算法,差不多就解決了垃圾網站的識別問題,實現了作弊手段無關的垃圾網站識別。

2. 用戶點擊模型

另外一個例子,就是用戶點擊模型。這其實是一個「前人栽樹,後人乘涼」的工作,把搜索引擎上面的用戶反饋情況記錄下來分析用戶需求。有一個簡單的想法點擊量越高越有可能是用戶想要找的東西。

清華馬少平教授詳解:人工智慧能做什麼?

但是完全按照點擊量來判斷是不行的,因為網頁在搜索引擎的不同位置是影響這個結果的,從而影響客戶需求分析的準確性。

清華馬少平教授詳解:人工智慧能做什麼?

用戶有可能就點擊前幾個,然後隨手滾輪一滾動就點擊到第九、十個去了,我們要做的工作就是把這個影響消除掉。我們找一個簡單的例子來示意,比如這個CKIM會議的搜索結果,比如今年是2009年,今年的CKIM會議網站新出來,如果直接按點擊量排序,在搜索引擎上搜索,2008年的會議肯定會被排序到前面。

清華馬少平教授詳解:人工智慧能做什麼?

但是實際上大多數用戶想找的肯定是最新的會議上的消息。但是搜索點擊模型的目的是對文檔的相關性進行估計以及對於用戶的點擊進行預測。那麼上面的這些因素都會影響用戶點擊模型的分析。我們要做的是消除這種影響,幫助搜索引擎更好地排序。這件事情比較複雜,因為每個用戶的點擊情況都不太一樣,所以我們需要引入一些假設把這個問題說清楚。

清華馬少平教授詳解:人工智慧能做什麼?

最早的點擊模型叫做單一點擊假設,他就認為用戶輸入后,用眼睛去找有關結果,然後只去點擊一個他認為的最有關的結果。顯然,這個假設不符合我們正常的使用習慣,我們往往要點擊很多次。很快就有人提出了多點擊假設。就是第一次點擊之後,用戶還回到搜索界面,以一個固定的概率去檢驗下面的條目。但是其實,用戶向下面檢驗的概率並不是固定的,它還受很多因素的影響。

後來有人提出了UBM模型,這個模型目前也被大量使用著。

清華馬少平教授詳解:人工智慧能做什麼?

它的分析方法就是用戶會不會繼續向下檢驗是和當前文檔的位置有關,也和前次被點擊文檔的距離有關。雖然這個模型效果已經不錯了,但是裡面仍然存在著問題。比如說這個模型是建立在「順序瀏覽」假設上的。「順序瀏覽」假設是指用戶從上到下按順序瀏覽,不考慮有「回訪」的情況。

清華馬少平教授詳解:人工智慧能做什麼?

比如說用戶點擊了第一條、第三條然後是第五條。但是經過我們的統計,甚至是用「眼動儀」監測眼睛在看搜索引擎界面時的位置,我們得出結論:實際使用中「回訪」的行為是大量存在的。往往用戶點擊第一條后直接點擊第五條,然後可能會最後再看看第二條的內容。所以這種情況是必須考慮的。因此我們需要對這種情況建立進一步的假設。為此我們引入了兩個假設,一個是局部有序性假設,也就是在兩次點擊之間,人眼不是從上往下看、就是從下往上看,人眼的觀察瀏覽是有順序的。這個就是局部有序性。

清華馬少平教授詳解:人工智慧能做什麼?

清華馬少平教授詳解:人工智慧能做什麼?

還有一個假設叫做階躍檢驗假設,人眼瀏覽的時候不一定是按照搜索引擎的結果一條一條順序看的,可能會出現中間跳躍的可能。這些都是符合我們眼動儀實驗結果的。

在這兩個假設的基礎上,再結合已有點擊模型的合理假設,我們構造了一個部分有序點擊模型PSCM。這樣,我們就在原有的UBM模型上,把用戶點擊模型的問題描述得更好、講得更清楚了。實驗也取得了非常好的效果,相關論文獲得了SIGIR2015最佳論文提名獎。

清華馬少平教授詳解:人工智慧能做什麼?

3. 欺詐客服電話識別

比如說冰箱壞了,從搜索引擎上搜了一個廠家的客服電話,但是打開的網頁是個欺詐網頁,打的電話也是個詐騙電話。最後假的廠家客服上門了之後,才發現自己被詐騙了。

清華馬少平教授詳解:人工智慧能做什麼?

這種涉及到搜索引擎的詐騙問題也讓很多公司苦惱,甚至還有很多公司因為這個問題被訴訟了。我們當時也覺得這種欺騙電話識別很難做。因為詐騙網頁完全可以照抄廠家的官網,只是上面的客服電話不一樣。後來調研了一番,我們發現這個問題實際上是可以被描述清楚的。這裡面有哪些挑戰呢?有的網站並不屬於我們定義的垃圾網頁範疇,所以採用垃圾網頁識別的方法並不能很好的解決這個問題。

清華馬少平教授詳解:人工智慧能做什麼?

後來經過我們調查發現,欺詐網站都有一個特點就是一個詐騙電話會偽裝成多個不同客服,可能在這個網頁是一個廠家的,另一個網頁是另一個廠家的。我們就試圖用這個特徵去定義欺詐客服電話。

清華馬少平教授詳解:人工智慧能做什麼?

為此我們標記了一些真正的客服電話作為「正面」種子,定義了一些欺騙客服電話作為「負面」種子,我們定義了電話的共現關係圖。比如說和官方客服共現的一般是可信賴的電話,和欺詐電話共現的號碼一般是欺詐電話。通過在電話的共現關係圖中迭代傳播「正面」電話和「負面」電話,最終識別出欺詐客服電話,取得了很好的結果。

清華馬少平教授詳解:人工智慧能做什麼?

清華馬少平教授詳解:人工智慧能做什麼?

五、總結

簡單地總結一下,我們通過這些實例總結了人工智慧到底能夠做什麼,得出來一個結論。現階段所謂的人工智慧就是通過定義加演演算法求解問題。關鍵是要想辦法把目前還不能解決的問題是否可以從新的角度進行定義,無論是依靠特徵,或者依靠數據,或者依靠假設,想辦法把問題描述清楚,這之後再配以相應的演演算法,這樣的話問題就可能得以解決。對於我們工作中解決不好的問題,就朝著這個方向努力去做。這就是我今天的思想,希望能夠大家帶來一點啟發。謝謝。

清華馬少平教授詳解:人工智慧能做什麼?

本文經馬少平教授授權,由明略數據整理髮布。如需轉載,請聯繫明略數據公眾號後台(微信號:Minglamp_BigData)

原文編輯:趙奕、呂誠成

Leave A Reply

Your email address will not be published.