計算機“看”我們的世界長啥樣？

這意味著：

1、解析文本的時候，每一個令牌（字詞的NLP術(shù)語）更多的是影響文本的整體分析。

2、生成文本的時候，每一個被選出來的令牌才能影響結(jié)果。

換句話說，在文本當(dāng)中，字符和令牌才是占據(jù)主要成分的元素，和像素不同。

好了，那我們是如何處理文本的呢？

在一個嚴格的解析系統(tǒng)中，我們需要用數(shù)值格式來表示文本，提示為向量形式�，F(xiàn)在我們還是要繼續(xù)理解很簡單的向量表示，而未來則可以處理更為復(fù)雜的表達了。

我們來以幾個詞組為例：

1. Turn on the lights（開燈）

2. Power on the lights（打開燈的電源）

3. What time is it?（現(xiàn)在幾點？）

4. What is the current time?（當(dāng)前時間是幾點？）

我們需要做的是創(chuàng)建一個叫詞典的東西。換句話說，我們想要將現(xiàn)有的詞組用特有的令牌技術(shù)來創(chuàng)建一個詞匯表。然后，我們需要對信息做一些隱式預(yù)處理，去掉標點符號等。最后，我們給每一個唯一碼賦予其各自的索引，從而生成自己的詞匯向量：

0 turn

1 on

2 the

3 lights

4 power

5 what

6 time

7 is

8 it

9 current

由于每一個字代表一個索引，因此我們可以使用反向散列數(shù)據(jù)結(jié)構(gòu)來得到每個單詞的索引，然后無論是否每一個字都是給定文本，我們都可以將這些字表示為一系列的布爾值（布爾值：是“真”True或“假”False中的一個）。比如，上述例句就可以表示為：

1. { 1, 1, 1, 1, 0, 0, 0, 0, 0, 0 }

2. { 0, 1, 1, 1, 1, 0, 0, 0, 0, 0 }

3. { 0, 0, 0, 0, 0, 1, 1, 1, 1, 0 }

4. { 0, 0, 1, 0, 0, 1, 1, 1, 0, 1}

有了這些向量，我們可以使用向量點積得到一個粗略的相似度計算。所謂點積，就是接受在實數(shù)R上的兩個向量并返回一個實數(shù)值標量的二元運算。

• 構(gòu)建人工智能模型基礎(chǔ)：TFDS和Keras的完美搭配
• 遷移學(xué)習(xí)：人工智能模型訓(xùn)練的絕學(xué)
• Ryght：專為醫(yī)療保健和生命科學(xué)領(lǐng)域打造的生成式人工智能平臺
• 現(xiàn)在有什么免費好用的人工智能工具嗎？
• 現(xiàn)在人工智能賽道很火熱，信也科技在這方面有沒有什么建樹？