admin管理员组

文章数量:1622541

作者：禅与计算机程序设计艺术

1.简介

1950年代，英文单词"word embedding"第一次出现在著名的科幻小说“狄更斯的通灵秘笈”中。当时，英语被视作计算机和语言处理领域的主要研究对象，因此，Word Embedding这一术语也被用来描述整个领域中的重要研究成果。
1980年代，计算机模型如相似性匹配算法(similarity matching algorithms)或聚类算法(clustering algorithms)开始广泛使用。由于每一个词都对应着一个向量表示(vector representation)，所以相关的算法就可以利用这些向量来计算相似度或者聚类结果。然而，人们发现这些向量表示并不是自然语言的有效表示形式。为了解决这个问题，提出了词嵌入(Word Embedding)的概念。
1980年，Bordes、Levy及其合作者发表了“Learning Distributed Representations of Texts and Documents”一文，介绍了词嵌入的一些基本概念。1983年，Mikolov等人首次提出了一种简单有效的方法——基于共现矩阵的矩阵分解方法(Matrix Factorization)。
1997年，三维空间下的词嵌入已经成为人们关注的热点。随后，三元组、Skip-Gram、Negative Sampling等模型被提出，帮助词嵌入算法更好地适应于实际应用场景。
2003年&#

本文标签： wordhistoryNLPEmbeddings

版权声明：本文标题：A Brief History of Word Embeddings and Their Use in NLP 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/xitong/1728871232a1177299.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。