微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦！

Stanford的POS标签器在Java中使用

分类：Java作者：编程之家
Mar 9,2011 1:22:06 PM edu.stanford.nlp.process.PTBLexer next
WARNING: Untokenizable: � (U+FFFD,decimal: 65533)
Mar 9,decimal: 65533)

这些是当我想要将POS标签分配给句子时,我得到的错误.我从文件中读取句子.最初(几句话)我没有得到这个错误(即不可破译),但是在阅读一些句子后,这个错误就出现了.我使用v2.0(即2009年)的POS标签,模型是left3words.

解决方法

我同意Yuval – 一个字符编码问题,但最常见的情况是,当标记器尝试以UTF-8读取文件时,该文件采用单字节编码(如ISO-8859-1).参见 Wikipedia的UFFFD讨论.

原文地址：https://www.jb51.cc/java/126202.html

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

java进制转换（无视正负数的差别）
最近看了一下学习资料，感觉进制转换其实还是挺有意思的，尤其是对于负数这一方面。下面和大家分享一下，这里只写了十进制到二进制的转换，其实都是同样的道理 1 public class Test1 { 2 3 public static void main(String[] args) { 4 ...
java集合框架（hashSet自定义元素是否相同，重写hashCode和equals方法）
/*HashSet 基本操作 * --set:元素是无序的，存入和取出顺序不一致，元素不可以重复 * （通过哈希值来判断是否是同一个对象） * ----HashSet：底层数据结构是哈希表， * 保证数据唯一性的方法是调用存入元素的hashCode（）方法 * 和equals(Obj...
java 集合框架(List操作)
/*list 基本操作 * * List a=new List(); * 增 * a.add(index,element);按指定位置添加，其余元素依次后移 * addAll(index,Collection);在从指定位置开始添加一系列元素，其余元素依次后移 * 删 * a.remove(...
java内部类
/* * 内部类 * */ 1 class OutClass{ 2 //定义外部类的成员变量 3 private int x=1; 4 //定义外部类函数 5 public void methodOut(){ 6 System.out.println(...
java集合的操作(set,Iterator)
集合的操作Iterator、Collection、Set和HashSet关系Iterator set=new HashSet(); //向集合中添加元素 set.add("a"); set.add("b"); set.add("c"); s
java接口
接口中常量的修饰关键字：public，static，final（常量）函数的修饰关键字：public，abstract如果没有写全，系统在编译时会自动加上接口中的所有成员都是public接口中的方法，都是抽象方法， * 接口是不可以创建对象，因为有抽象方法；子类如果只实现部分接口的抽象方法，则子类是
java 集合框架(TreeSet操作,自动对数据进行排序,重写CompareTo方法)
/*TreeSet * treeSet存入数据后自动调用元素的compareTo(Object obj) 方法，自动对数据进行排序 * 所以输出的数据是经过排序的数据 * 注：compareTo方法返回值有：负数，零，正数。分别表示小于，等于，大于 * 对于存入自定义的对象元素，要重写元...
java映射(map用法)
主要分两个接口：collection和Map主要分三类：集合(set)、列表(List)、映射(Map)1.集合：没有重复对象，没有特定排序方式2.列表：对象按索引位置排序，可以有重复对象3.映射：有一个键对象和一个值对象，键不可重复，值可以重复hashtable 和hashmap区别1 HashM
java Http消息传递之POST和GET两种方法
/** * 通过Get方法来向服务器传值和获取信息， * 这里举例假设的前提是，链接上服务器，服务器直接发送数据给本地 * * 大体的思路： * 1、首先通过URL地址来获得链接的借口 * 通过接口，来设置链接超时的时间，请求方式，是否可以输入输出数据 * 得到读取服务器内容的...
Java中Json解析
首先准备一个JSON格式的字符串 * String JsonStr = "{object:{persons:" + "[{name:'呵呵',image:'http://10.0.159.132:8080/Web/s1.png'},&qu
苹果市值2025年有望达4万亿美元
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot