SAP HANA中的文本挖掘

在SAP HANA中，除了基本的分词等文本分析任务外，从SPS09开始增加了文本挖掘（Text Mining）的功能。具体来说，具体来说包括文本关键词提取，文本分类，相似文本查找，相似单词查找等功能，在SPS09中，文本挖掘接口以XS接口的形式提供，在SPS10中，提供了SQL形式的接口，这对于文本挖掘的任务，真是非常cool, 有了这个神器，文本分类不再需要整合R，直接在HANA中就可以实现文本分类的功能，具体来说，在HANA内部，在建立全文索引之后，维护了一个term-document矩阵，基于此，可以计算TF,IDF,TF-IDF等词项权重，以欧几里得距离为基础，实现K近邻分类。

废话不多说，下面直接见例子，本文只是介绍最基本用法为主，更多参数及原理请读者自行查找相关资料。

－准备数据


SET SCHEMA TMTEST;
DROP TABLE MYTEST CASCADE;
CREATE COLUMN TABLE MYTEST(ID INTEGER primary key,CONTENT NCLOB,LANG VARCHAR(32),CLASS VARCHAR(64));
INSERT INTO MYTEST VALUES('1','I am a chinese, I live in beijing','en','china');
INSERT INTO MYTEST VALUES('2','I like fish,especially big fish','en','fish');
INSERT INTO MYTEST VALUES('3','fish is an animal,live in water','en','fish');
INSERT INTO MYTEST VALUES('4','fish is delicous, I like it','en','fish');
INSERT INTO MYTEST VALUES('5','Chinese is great, I like chinese','en','china');
INSERT INTO MYTEST VALUES('6','China and Chinese','en','china');

我们插入6条记录，属于俩个大类，‘china’跟’fish’.

二建立全文索引


DROP FULLTEXT INDEX ftidx;
CREATE FULLTEXT INDEX ftidx ON MYTEST (CONTENT)
ASYNC
FAST PREPROCESS OFF
SEARCH ONLY OFF
TEXT ANALYSIS ON
CONFIGURATION 'LINGANALYSIS_FULL'
TEXT MINING ON
TEXT MINING CONFIGURATION 'DEFAULT.textminingconfig'
LANGUAGE DETECTION ('EN')

具体参数意义请参考相关文档，我就不一个一个解释了，主要是关闭FAST PREPROCESS,关闭SEARCH ONLY，打开TEXT ANALYSIS跟TEXT MINING，文本挖掘配置参数文件用默认的。

三 Delta Merge