| Blog信息 |
|
blog名称:宿命宽恕轮回修仙
日志总数:18
评论数量:3
留言数量:0
访问次数:116109
建立时间:2009年3月18日 |
| « | December 2025 | » | | 日 | 一 | 二 | 三 | 四 | 五 | 六 | | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | | | | |
| |
|
 [WEKA]如何将英文文本数据集转换为ARFF格式
原创空间
宿命宽恕轮回修仙 发表于 2009/6/2 17:05:24 |
|
若采用的是英文文本语料库，利用WEKA将英文文本数据转换到ARFF格式中，需要用到以下两个工具：TextDirectoryToArff和TextDirectoryLoader。TextDirectoryToArff是一个JAVA类（Class），它负责将一个目录文件中的文本数据转换到一个ARFF文件中。TextDirectoryLoader是一个转换器（Converter），它是基于TextDirectoryToArff类的，并且处于weka.core.converters包中。
在转换之前，我们需要将文本数据集按照TextDirectoryLoader转换器所要求形式布局：
-----------------------------------------------------------... | +- example | +- class1 | | | + file1.txt | | | + file2.txt | | | ... | +- class2 | | | + another_file1.txt | | | + another_file2.txt | | | ...----------------------------------------------------------- 按照上图所示的目录布局好文本数据后，将example文件夹放置在weka根目录下，我们利用WEKA的命令行界面（Simple CLI）输入以下命令：
java weka.core.converters.TextDirectoryLoader -dir example > example.arff
此时，可以发现在weka根目录下生成了一个example.arff文件，这说明文本数据已经成功转换成了WEKA需要的ARFF文件了。
example.arff文件内容下图所示，从图中可以发现example文件夹下的子文件夹名变成了每个文档的类标记。
-----------------------------------------------------------@relation D__workspace_weka_example@attribute text string@attribute class {class1,class2,class3}@data‘文本内容’,class1‘文本内容’,class3‘文本内容’,class2‘文本内容’,class1‘文本内容’,class3...-----------------------------------------------------------
该方法对于中文文本数据不适用，生成的ARFF中的中文会变成乱码，需要修改WEKA的源码才能实现对中文文本数据的处理。
参考文献：http://weka.wiki.sourceforge.net/Text+categorization+with+Weka |
|
|