詞嵌入（word embedding）是NLP（自然語言處理）得重要突破之一；詞嵌入是一種詞得類型表示，具有相似意義得詞具有相似得表示，是將詞匯映射到實數(shù)向量得方法總稱。
詞嵌入即把單個詞在預定義得向量空間中被表示為實數(shù)向量，每個單詞都映射到一個向量。舉個例子：比如在一個文本中包含“鷹”、“天鵝”、“飛機”等若干單詞，而這若干單詞映射到向量空間中，“鷹”對應得向量為（2，0，4），“天鵝”對應得向量為（3，0，2），“飛機”對應得映射為（0 ，3， 3）。像這種將文本X{x1,x2,x3,x4,x5……xn}映射到多維向量空間Y{y1,y2,y3,y4,y5……yn }，這個映射得過程就叫做詞嵌入。
之所以希望把每個單詞都變成一個向量，目得還是為了方便計算；比如：“鷹”，“天鵝”，“飛機”這三個詞。對于我們?nèi)硕裕覀兛梢灾馈苞棥焙汀疤禊Z”表示得都是動物，而“飛機”是表示得一種交通工具，但是對于計算機而言，這三個詞都是用0,1表示成二進制得字符串而已，無法對其進行計算。而通過詞嵌入這種方式將單詞轉(zhuǎn)變?yōu)樵~向量，計算機便可對單詞進行計算，通過計算不同詞向量之間夾角余弦值cosine而得出單詞之間得相似性。
詞嵌入還可以做類比，比如：v(“國王”)－v(“男人”)＋v(“女人”)≈v(“女王”)，v(“中國”)＋v(“首都”)≈v(“北京”)，當然還可以進行算法推理。有了這些運算，計算機也可以像人一樣“理解”詞匯得意思了。
紙上得來終覺淺，通過實際案例輕松玩兒轉(zhuǎn)中文分詞，實踐出真知:
import numpy as np
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
import word2vec
#構(gòu)建模型
word2vec.word2vec('dragonSegDone.txt', 'dragonWord2Vec.bin', size=300,verbose=True)
model = word2vec.load('dragonWord2Vec.bin')
#詞向量
rawWordVec=model.vectors
X_reduced = PCA(n_components=2).fit_transform(rawWordVec)
#計算詞向量距離
index1,metrics1 = model.cosine(u'地鐵')
index2,metrics2 = model.cosine(u'中國')
index3,metrics3 = model.cosine(u'服務')
index4,metrics4 = model.cosine(u'基金')
index5,metrics5 = model.cosine(u'汽車')
#查找中心詞
index01=np.where(model.vocab==u'地鐵')
index02=np.where(model.vocab==u'中國')
index03=np.where(model.vocab==u'服務')
index04=np.where(model.vocab==u'基金')
index05=np.where(model.vocab==u'汽車')
index1=np.append(index1,index01)
index2=np.append(index2,index03)
index3=np.append(index3,index03)
index4=np.append(index4,index04)
index5=np.append(index5,index05)
#matplotlib圖形顯示
zhfont = matplotlib.font_manager.FontProperties(fname='C:\Windows\Fonts\simsun.ttc')
fig = plt.figure()
ax = fig.add_subplot(111)
for i in index1:
ax.text(X_reduced[i][0],X_reduced[i][1], model.vocab[i], fontproperties=zhfont, color='r')
for i in index2:
ax.text(X_reduced[i][0],X_reduced[i][1], model.vocab[i],fontproperties=zhfont, color='b')
for i in index3:
ax.text(X_reduced[i][0],X_reduced[i][1], model.vocab[i], fontproperties=zhfont, color='g')
for i in index4:
ax.text(X_reduced[i][0],X_reduced[i][1], model.vocab[i], fontproperties=zhfont, color='k')
for i in index5:
ax.text(X_reduced[i][0],X_reduced[i][1], model.vocab[i], fontproperties=zhfont, color='c')
ax.axis([-0.4,0.4,-0.5,0.5])
plt.show()
結(jié)果顯示:
