Spark：基于jieba分词的特征向量提取

ゝ一纸荒年。 2023-07-18 11:15 74阅读 0赞

### 基于jieba分词的对计算机课程名的特征向量提取 ###

**首先引入包：**

import org.apache.spark.sql.\{DataFrame, SparkSession\}//spark入口,DataFrame操作需要用到的包  
import java.nio.file.\{Path, Paths\}//加入自定义词库时路径需要的包  
   
import com.huaban.analysis.jieba.\{JiebaSegmenter, WordDictionary\}//jieba分词需要用到的包  
import org.apache.spark.ml.feature.\{HashingTF, IDF, Tokenizer\}//特征向量提取需要用到的包  
   
import scala.collection.mutable//java.util.List转换成scala Aarray需要用到的包

**连接数据库得到DataFrame：**

// 创建Spark入口  
    val spark = SparkSession.builder().getOrCreate()  
   
    /\*这一行很关键！引入scala Encoder，使得scala拥有自动的RDD / DataFrame类型转换能力。\*/  
    /\*后面的map操作需要用到。若不引入，则会抛出Encoder缺失异常\*/  
    // 关键！  
    import spark.implicits.\_  
   
    // 连接本项目测试数据库  
    val jdbcDF = spark.read.format("jdbc")  
      .option("url", "xxx")//为隐私就用xxx代替了  
      .option("driver", "com.mysql.jdbc.Driver")  
      .option("dbtable", "class\_name")  
      .option("user", "rec")  
      .option("password", "cuclabcxg")  
      .load()

**使用DataFrame的select()取列操作和filter()的取行操作，来取出我们要提取特征向量的DataFrame格式的数据。**

//jieba加入自定义词库  
    //val path = Paths.get("/home/maples/lab/sogou.txt")  
    //WordDictionary.getInstance().loadUserDict(path)  
    //val jieba = new JiebaSegmenter()  
    //val res:String = jieba.sentenceProcess(text).toString()  
    //特征提取  
    //id - 分词 二维表  
    val id\_word :DataFrame= jdbcDF.select("id","name")  
      .filter(jdbcDF("discipline")==="计算机")  
      .map(row =>(row.getInt(0),(new JiebaSegmenter()).sentenceProcess(row.getString(1)):mutable.Buffer\[String\]))  
      .toDF("id","wordVec")  
      id\_word.show()

【注意这里】

1、我原先是这样写的：

val jieba = new JiebaSegmenter()  
val id\_word :DataFrame= jdbcDF.select("id","name")  
      .filter(jdbcDF("discipline")==="计算机")  
      .map(row =>(row.getInt(0),jieba.sentenceProcess(row.getString(1)):mutable.Buffer\[String\]))  
      .toDF("id","wordVec")

我先将JiebaSegmenter()对象在取DataFrame操作外面进行实例化，然后在.map()里调用jieba的分词方法。

会报以下错误：

Exception in thread "main" org.apache.spark.SparkException: Task not serializable......

大概意思是map()里的东西没有序列化，查阅博客后得知，jieba是运行在Driver端的，而map()是运行在Executor端的，两个操作是在不同地方执行的，所以我把new JiebaSegmenter()的操作搬到了map()里就ok了。

2、注意这里的id\_word需要声明它的类型：DataFrame，包括后面新建的DataFrame对象都要声明它的类型为DataFrame，否则在调用这些DataFrame对象的时候，会报以下错误：

hashingTF.transform cannot resolve method 'transform'......

就是我在对id\_word对象计算哈希值的时候，transform报红，识别不了我的id\_word的类型。后面摸索发现需要在前面对这些对象声明类型（然而《Spark编程基础》几乎都没有声明类型）。

3、由于我对第二个字段即课程名进行分词后得到的是一个java.util.List类型，而特征提取的操作需要这里是一个scala的Array类型，所以需要引入包：  
import scala.collection.JavaConversions.asScalaBuffer  
import scala.collection.mutable

并且在分词结果后面加上 :mutable.Buffer\[String\]

jieba.sentenceProcess(row.getString(1)):mutable.Buffer\[String\]

关于java.util.List类型和scala Array之间的互相转换我找到一篇博客供参考：

[https://www.jianshu.com/p/c4f6cbec8363][https_www.jianshu.com_p_c4f6cbec8363]

4、在声明变量类型后，DataFrame在初始化的时候后面就不能直接加.show()来打印输出，像这样：

var df :DataFrame = .......  
      .show()

因为这样=右边的返回值就是Unit不是DataFrame，会报错。

要这样写：

var df :DataFrame = .......  
df.show()

![20191113134232806.png][]

**计算向量的Hash值：**

//计算hash值  
    val hashingTF = new HashingTF()  
      .setInputCol("wordVec")  
      .setOutputCol("wordVecHash")  
      .setNumFeatures(2000)  
    val featureVec = hashingTF.transform(id\_word)  
      .show()

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xPR19JTl9NRQ_size_16_color_FFFFFF_t_70][]

**计算TF-IDF词袋：**

//计算TF-IDF词袋  
    val idf = new IDF()  
      .setInputCol("wordVecHash")  
      .setOutputCol("TF-IDF")  
    val idfModel = idf.fit(featureVec)  
    val TFIDFResult = idfModel.transform(featureVec)  
    TFIDFResult.show()

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xPR19JTl9NRQ_size_16_color_FFFFFF_t_70 1][]

[https_www.jianshu.com_p_c4f6cbec8363]: https://www.jianshu.com/p/c4f6cbec8363
[20191113134232806.png]: /images/20230528/3c8c528955c448c3a43cb257d5bcdc5f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xPR19JTl9NRQ_size_16_color_FFFFFF_t_70]: /images/20230528/e3d93dd829ad4d45aa9928e6f8e7ca5a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xPR19JTl9NRQ_size_16_color_FFFFFF_t_70 1]: /images/20230528/45a5ef665a844219aa003269019e8c01.png