包含javawordvec的词条

本篇文章给大家谈谈javawordvec，以及对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、java word分词器怎样安装在java中
• 2、word2vec概述
• 3、利用word2vec进行词向量训练内存溢出问题
• 4、java操作word 的有哪几种方式
• 5、如何使用java操作word 文档

java word分词器怎样安装在java中

word分词是一个Java实现的分布式的中文分词组件，提供了多种基于词典的分词算法，并利用ngram模型来消除歧义。

如果需要安装word分词器可以参考下面的步骤：

1、确保电脑上已经安装了JDK软件和Eclispe工具，没有安装的可以到对应的官网下载安装：

JDK官网：

Eclipse官网：

2、下载word分词器的相关jar包：

打开word分词器的官方github主页：

下拉找到ReadME部分，点击“编译好的jar下载”：

页面将会跳转到到百度云盘的下载页面，按照需求下载指定的版本即可。

注意：word1.3需要JDK1.8。

下载完成之后解压到指定目录。

3、创建Java项目，导入word分词器的相关jar包：

打开Eclipse，右键创建Java project项目：

然后右键项目选择Build path打开导入页面，导入刚才下载的jar包到项目中：

导入成功之后就可以在自己的项目中使用word分词器了。

word2vec概述

文本表示是自然语言处理中的基础工作，文本表示的好坏直接影响到整个自然语言处理系统的性能。文本向量化是文本表示的一种重要方式。文本向量化就是讲文本表示成一系列能够表达文本语义的向量。

当前阶段，对文本向量化的大部分研究都是通过词向量化来实现的。与此同时，也有相当一部分研究者将文章或者句子作为文本基本处理单元，提出了doc2vec和ste2vec技术。

基于embedding的词表示，其核心思想是： 上下文相似的词，其语义也相似。 这就是著名的 词空间模型（word space model) ，词向量通常使用神经网络模型训练得到，神经网络模型就是根据上下文与目标词之间的关系进行建模。

Word2vec主要有CBOW和Skip-gram两种模式，其中CBOW是从原始语句推测目标字词，而Skip-gram是从目标字词推测出原始语句（滑动窗口范围内），其中CBOW对小型数据比较合适，Skip-fram在大型语料中表现得更好。

接下来介绍两种优化方法

在木有进行优化前，word2vec的隐藏层有 V*N 个参数，其中V是全局词的数量，比如10W个，N是预设的词嵌入向量维度，如300，那么这个计算量太大了，因此要进行优化。

先复习一下 霍夫曼树 ，这里我图省事，直接把 刘建平 老师的博客贴上来。

回顾下传统的神经网络词向量语言模型，里面一般有三层，输入层（词向量），隐藏层和输出层（softmax层）。里面最大的问题在于从隐藏层到输出的softmax层的计算量很大，因为要计算所有词的softmax概率，再去找概率最大的值。这个模型如下图所示。其中V是词汇表的大小。

 由于我们把之前所有都要计算的从输出softmax层的概率计算变成了一颗二叉霍夫曼树，那么我们的softmax概率计算只需要沿着树形结构进行就可以了。如下图所示，我们可以沿着霍夫曼树从根节点一直走到我们的叶子节点的词 w2 。

 如何“沿着霍夫曼树一步步完成”呢？在word2vec中，我们采用了二元逻辑回归的方法，即规定沿着左子树走，那么就是负类(霍夫曼树编码1)，沿着右子树走，那么就是正类(霍夫曼树编码0)。判别正类和负类的方法是使用sigmoid函数，即：

 其中 xw 是当前内部节点的词向量，而θ则是我们需要从训练样本求出的逻辑回归的模型参数。

 使用霍夫曼树有什么好处呢？首先，由于是二叉树，之前计算量为V,现在变成了log2V。第二，由于使用霍夫曼树是高频的词靠近树根，这样高频词需要更少的时间会被找到，这符合我们的贪心优化思想。

 容易理解，被划分为左子树而成为负类的概率为 P(−)=1−P(+) 。在某一个内部节点，要判断是沿左子树还是右子树走的标准就是看 P(−),P(+) 谁的概率值大。而控制 P(−),P(+) 谁的概率值大的因素一个是当前节点的词向量，另一个是当前节点的模型参数 θ 。

 对于上图中的 w2 ，如果它是一个训练样本的输出，那么我们期望对于里面的隐藏节点 n(w2,1) 的 P(−) 概率大， n(w2,2) 的 P(−) 概率大， n(w2,3) 的 P(+) 概率大。

 回到基于Hierarchical Softmax的word2vec本身，我们的目标就是找到合适的所有节点的词向量和所有内部节点 θ , 使训练样本达到最大似然。那么如何达到最大似然呢？

在讲基于Negative Sampling的word2vec模型前，我们先看看Hierarchical Softmax的的缺点。的确，使用霍夫曼树来代替传统的神经网络，可以提高模型训练的效率。但是如果我们的训练样本里的中心词w是一个很生僻的词，那么就得在霍夫曼树中辛苦的向下走很久了。能不能不用搞这么复杂的一颗霍夫曼树，将模型变的更加简单呢？

Negative Sampling就是这么一种求解word2vec模型的方法，它摒弃了霍夫曼树，采用了Negative Sampling（负采样）的方法来求解，下面我们就来看看Negative Sampling的求解思路。

既然名字叫Negative Sampling（负采样），那么肯定使用了采样的方法。采样的方法有很多种，比如之前讲到的大名鼎鼎的MCMC。我们这里的Negative Sampling采样方法并没有MCMC那么复杂。

比如我们有一个训练样本，中心词是 w ,它周围上下文共有 2c 个词，记为 context(w) 。由于这个中心词 w ,的确和 context(w) 相关存在，因此它是一个真实的正例。通过 Negative Sampling 采样，我们得到 neg 个和 w 不同的中心词 wi,i=1,2,..neg ，这样 context(w) 和 wi 就组成了 neg 个并不真实存在的负例。利用这一个正例和 neg 个负例，我们进行二元逻辑回归，得到负采样对应每个词 wi 对应的模型参数 θi ，和每个词的词向量。

从上面的描述可以看出， Negative Sampling 由于没有采用霍夫曼树，每次只是通过采样 neg 个不同的中心词做负例，就可以训练模型，因此整个过程要比 Hierarchical Softmax 简单。

不过有两个问题还需要弄明白：1）如何通过一个正例和neg个负例进行二元逻辑回归呢？ 2） 如何进行负采样呢？

一些细节：

在skip gram和CBOW中，中心词词向量在迭代过程中是不会更新的，只更新窗口词向量，这个中心词对应的词向量需要下一次在作为非中心词的时候才能进行迭代更新。

参考文章

1.刘建平老师的博客园， 地址

2. bitcarmanlee的CSDN博客

利用word2vec进行词向量训练内存溢出问题

机器内存不够。这个程序很吃内存。我也是这样。增加了个内存条。

java操作word 的有哪几种方式

java读取word文档时，虽然网上介绍了很多插件poi、java2Word、jacob、itext等等，poi无法读取格式(新的API估

计行好像还在处于研发阶段，不太稳定，做项目不太敢用)；java2Word、jacob容易报错找不到注册，比较诡异，我曾经在不同的机器上试过，操作

方法完全一致，有的机器不报错，有的报错，去他们论坛找高人解决也说不出原因，项目部署用它有点玄；itxt好像写很方便但是我查了好久资料没有见到过关

于读的好办法。经过一番选择还是折中点采用rtf最好，毕竟rtf是开源格式，不需要借助任何插件，只需基本IO操作外加编码转换即可。rtf格式文件表

面看来和doc没啥区别，都可以用word打开，各种格式都可以设定。

----- 实现的功能：读取rtf模板内容（格式和文本内容），替换变化部分，形成新的rtf文档。

----- 实现思路：模板中固定部分手动输入，变化的部分用$info$表示，只需替换$info$即可。

1、采用字节的形式读取rtf模板内容

2、将可变的内容字符串转为rtf编码

3、替换原文中的可变部分，形成新的rtf文档

主要程序如下：

public String bin2hex(String bin) {

char[] digital = "0123456789ABCDEF".toCharArray();

StringBuffer sb = new StringBuffer("");

byte[] bs = bin.getBytes();

int bit;

for (int i = 0; i bs.length;i++) {

bit = (bs[i] 0x0f0)

4;

sb.append("\\'");

sb.append(digital[bit]);

bit = bs[i] 0x0f;

sb.append(digital[bit]);

}

return sb.toString();

}

public String readByteRtf(InputStream ins, String path){

String sourcecontent =

"";

try{

ins = new

FileInputStream(path);

byte[] b

= new byte[1024];

if (ins == null) {

System.out.println("源模板文件不存在");

}

int bytesRead = 0;

while (true) {

bytesRead = ins.read(b, 0, 1024); // return final read bytes

counts

if(bytesRead == -1) {// end of InputStream

System.out.println("读取模板文件结束");

break;

}

sourcecontent += new String(b, 0, bytesRead); // convert to string

using bytes

}

}catch(Exception e){

e.printStackTrace();

}

如何使用java操作word 文档

如果没有特殊需求，可以直接使用jacob_*.zip中提供的jacob.jar和jacob.dll。把jacob.dll文件放在系统可以找得到的

路径上，一般放c:/windows/system32下就行了，注意你用的jacob.dll文件和你的jacob.jar包要匹配，否则会报错哦！　

如果想自己编译也很简单，把jacob_*_src.zip解开，建个工程，在build.xml中稍作配置即可：　

property name="JDK" value="D:\Java\j2sdk1.4.2_13"/ 　

property name="MSDEVDIR" value="D:\Microsoft Visual Studio\VC98"/ 　

property name="version" value="1.12"/

看出来了吗，你的机器上需要有JDK和VC环境，VC是用来生成jacob.dll文件的，如果编译时说找不到MSPDB60.DLL，那就在你的

Microsoft Visual Studio目录下搜索一下，拷贝到D:\Microsoft Visual

Studio\VC98\Bin下就行了。

如果需要对jacob里的jar包改名，（虽然通常不会发生这种情况，但如果你需要两个版本的jacob同时使用，改名可能是一种选择），这时你的工作就多一些：

(1)package改名是必须的了，比如我们把src下的com.jacob.activeX改为com.test.jacob.activeX,把

com.jacob.com改为com.test.jacob.com，打包时只有这两个包是有用的，所以只改它们就够了。

(2)然后修改build.xml中src.java.jacob.mainpackage的value为com.test.jacob，修改java.class.main的value为com.test.jacob.com.Jacob。

(3)别忘了javaJarBin中打包的源码路径也要改,include name="com/**/*.class" /改为include name="com/test/**/*.class" /。

(4)build.xml中对生成的dll和jar包也要改个名，比如我们把这两个文件改为jacob_test.dll和

jacob_test.jar。修改build.xml中的enerated.filename.dll和generated.filename.jar

的value为你新改的名字。

(5)com.test.jacob.com.LibraryLoader中，System.loadLibrary("jacob");改成

System.loadLibrary("jacob_test");

(6)另外，很重要的，在jni中*.cpp和*.h中com_jacob_com统一改为com_test_jacob_com，com/jacob

/com统一改为com/test/jacob/com。

(7)ant编译，编译好的文件在release目录下。

(8)最后把编译好的jacob_test.dll文件放在windows/system32下就大功告成了。

现在该用到jacob.jar了，如果你自己修改过jar包的名字，用新改的jar包，如jacob_test.jar，这里统一称为jacob.jar。

首先在classpath中引入jacob.jar包，如果是web应用，WEB-INF的lib中也要加入jacob.jar包。

下面给一个例子：

类ReplaceWord.java

import com.jacob.com.*;

import com.jacob.activeX.*;

public class ReplaceWord {

public static void main(String[] args) {

ActiveXComponent app = new ActiveXComponent("Word.Application"); //启动word

String inFile = "C:\\test.doc"; //要替换的word文件

try {

app.setProperty("Visible", new Variant(false)); //设置word不可见 　

Dispatch docs = app.getProperty("Documents").toDispatch();

Dispatch doc = Dispatch.invoke(docs,"Open",Dispatch.Method,new

Object[] { inFile, new Variant(false),new Variant(false) }, new

int[1]).toDispatch();

//打开word文件，注意这里第三个参数要设为false，这个参数表示是否以只读方式打开，因为我们要保存原文件，所以以可写方式打开。

Dispatch

selection=app.getProperty("Selection").toDispatch();//获得对Selection组件

Dispatch.call(selection, "HomeKey", new Variant(6));//移到开头

Dispatch find = Dispatch.call(selection, "Find").toDispatch();//获得Find组件

Dispatch.put(find, "Text", "name"); //查找字符串"name"

Dispatch.call(find, "Execute"); //执行查询

Dispatch.put(selection, "Text", "张三"); //替换为"张三"

Dispatch.call(doc, "Save"); //保存

Dispatch.call(doc, "Close", new Variant(false));

} catch (Exception e) {

e.printStackTrace();

} finally {

app.invoke("Quit", new Variant[] {});

app.safeRelease();

}

}

}

也许你会问，我怎么知道要调用哪个方法传哪些参数来进行操作？别忘了，word还有宏呢！自己录制一个宏，编辑这个宏就可以看到代码了！用哪个对象的哪个方法就看你的了。

我总结了一下：

document下的组件都用Dispatch selection=app.getProperty("Selection").toDispatch()这种方法获得；

再往下的组件就需要调用selection的方法来获取，如 Dispatch find = Dispatch.call(selection, "Find").toDispatch()；

如果某个方法需要参数，Dispatch doc =

Dispatch.invoke(docs,"Open",Dispatch.Method,new Object[] { inFile, new

Variant(false),new Variant(false) }, new

int[1]).toDispatch()是一个例子，这是调用docs的Open方法，Object[]数组里就是它需要的参数了；

如果要修改某个组件的属性呢，用Dispatch.put(find, "Text", "name")这种形式，"Text"是属性名，"name"是值。

javawordvec的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于、javawordvec的信息别忘了在本站进行查找喔。