電腦怎麼知道兩個詞在問同一件事｜從字面比對到語意比對

上一篇講資料清洗，結尾提到一件事：有兩篇文章用字完全不重疊，講的卻是同一件事，肉眼看不出來。這一篇講那件事怎麼被看出來。

先講結論：電腦要判斷兩段文字在講同一件事，靠的不是比對它們有沒有共同的字，而是把每段文字換算成一個位置，再看兩個位置離得近不近。

字面比對為什麼不夠

字面比對就是：兩段文字有沒有用到一樣的詞。這個方法直覺、快、而且大部分時候夠用，但它有兩個方向都會出錯。

第一個方向是看漏。「租辦公室要多少錢」和「商辦月租行情」，一個共同的詞都沒有，但問的是同一件事。字面比對會把它們當成兩個不相干的需求，於是我永遠不會發現我有兩篇文章在搶同一批人。

第二個方向是看錯。「明信片尺寸」和「明信片郵資」只差兩個字，卻是完全不同的兩群人——一個在排版，一個在寄東西。字面上它們很像，需求上毫不相干。

這兩種錯誤方向相反，所以不能靠「放寬一點」或「嚴格一點」來解決。問題出在量錯了東西：字面比對量的是寫法，我要的是意思。

換一種「像不像」的量法

比較好懂的類比是地圖上的座標。

想像有一張很大的地圖，每一段文字都在上面佔一個位置。位置怎麼決定？靠這段文字平常都跟哪些字一起出現、出現在什麼樣的句子裡、被什麼樣的人拿去用。意思接近的文字，會被放在地圖上接近的地方。

於是「兩句話像不像」這個問題，就變成「這兩個點離多遠」。而距離是可以算的，不需要它們有共同的字。

這張地圖不是我畫的，也不是任何人手動標的。它是機器讀過極大量的文字之後歸納出來的結果——同一個詞在幾百萬個句子裡的用法，決定了它該被放在哪裡。

這件事最反直覺的地方在於：機器其實不「懂」那些字的意思。它只是知道哪些字會出現在相似的位置。但用起來的效果，和懂的差別沒有想像中大。

它讓我看見兩件原本看不到的事

第一件：我的文章在語意上自相殘殺

我有兩篇文章，一篇講借址設立的費用，一篇講登記地址怎麼選。標題不像、用字不重疊、寫的時候也沒想過它們有關係。

在地圖上，它們兩個點幾乎疊在一起。

這代表搜尋引擎眼中它們在回答同一件事，於是每次只會挑一篇出來代表我。另一篇的力氣就浪費了。這種互食如果不靠語意去看，我可以永遠不知道它存在——因為我用關鍵字怎麼查都查不到。

第二件：新冒出來的需求該歸到哪一類

每個禮拜都會有一批以前沒出現過的新需求被搜尋出來。多數是既有主題的變形，少數是真正的新東西。

以前要人一個一個看。現在的做法是：把新的需求丟到地圖上，看它落在哪一群既有主題附近。離得近的，就是舊題目的新說法，歸進去就好；離所有既有主題都很遠的，才需要我親自看一眼——那有可能是一個我還沒寫過的題目。

這一步把每週的檢查量砍掉大半。要注意的是它只負責分堆，不負責判斷「這個題目值不值得做」——那件事後面會講。

它做不到的事

有兩件事我一開始期待過，後來確認它做不到。

它分不出「講同一件事」和「立場相反」。一篇說某個做法很好、一篇說很糟，在地圖上會靠得很近，因為它們用的字幾乎一樣。要區分立場，得靠別的方法。

它也不知道哪一個是對的。兩篇文章講同一件事，其中一篇數字是錯的，地圖不會告訴你是哪一篇。它只回答「像不像」，不回答「對不對」。

所以它是一個很好的探照燈，不是一個判官。它把該看的地方照出來，看完之後要做什麼，還是人的事。

下一篇講的就是那件事：算完之後，報表送到人面前，人在那一步到底做了什麼。

本文關鍵字：語意比對、向量、內容自相殘殺、關鍵字分群、內容經營