通过numpy向量化对某些pyspark数据帧列进行NLP分析

如何解决通过numpy向量化对某些pyspark数据帧列进行NLP分析

我想对pyspark数据帧中的字符串列进行一些NLP分析。

df：

 year month u_id rating_score p_id review
 2010 09    tvwe  1           p_5  I do not like it because its size is not for me.  
 2011 11    frsa  1           p_7  I am allergic to the peanut elements.  
 2015 5     ybfd  1           p_2  It is a repeated one,please no more.
 2016 7     tbfb  2           p_2  It is not good for my oil hair.
 

每个p_id代表一个项目。 每个u_id可能对每个项目都有一些评论。评论可能是几个字，一个句子或一个段落，甚至是表情符号。

我想找到物品被评为低或高的根本原因。 例如，有多少“ u_id”抱怨物品的尺寸，化学元素过敏或其他与物品功能有关的问题。

从How to iterate over rows in a DataFrame in Pandas，我了解到将数据帧转换为numpy数组，然后使用矢量化进行NLP分析，效率更高。

我正在尝试使用SparkNLP为年，月，u_id，p_id的每个注释提取形容词和名词短语。

我不确定如何应用numpy向量化以非常有效地做到这一点。

我的py3代码：

from sparknlp.pretrained import PretrainedPipeline
df = spark.sql('select year,month,u_id,p_id,comment from MY_DF where rating_score = 1 and isnull(comment) = false')
import numpy as np

trainseries = df['comment'].apply(lambda x : np.array(x.toArray())).as_matrix().reshape(-1,1)

text = np.apply_along_axis(lambda x : x[0],1,trainseries) # TypeError: 'Column' object is not callable

pipeline_dl = PretrainedPipeline('explain_document_dl',lang='en') # 
result = pipeline_dl.fullAnnotate(text)

该代码不起作用。 我还需要在向量化中保留其他列（例如，年，月，u_id，p_id），并确保NLP分析结果可以与年，月，u_id，p_id保持一致。

我不喜欢这样 How to convert a pyspark dataframe column to numpy array，因为collect（）太慢。

谢谢

解决方法

IIUC，您不需要Numpy（Spark内部处理矢量化），只需执行transform，然后从结果数据框中选择并过滤适当的信息即可：

from sparknlp.pretrained import PretrainedPipeline

df = spark.sql('select year,month,u_id,p_id,comment from MY_DF where rating_score = 1 and isnull(comment) = false')

df1 = df.withColumnRenamed('comment','text')

pipeline_dl = PretrainedPipeline('explain_document_dl',lang='en')

result = pipeline_dl.transform(df1)

df_new = result.selectExpr(
  *df1.columns,'transform(filter(pos,p -> p.result rlike "^(?:NN|JJ)"),x -> x.metadata.word) as words'
)

输出：

df_new.show(10,0)
+-----+-----+----+------------+----+------------------------------------------------+----------------------------+
|years|month|u_id|rating_score|p_id|text                                            |words                       |
+-----+-----+----+------------+----+------------------------------------------------+----------------------------+
|2010 |09   |tvwe|1           |p_5 |I do not like it because its size is not for me.|[size]                      |
|2011 |11   |frsa|1           |p_7 |I am allergic to the peanut elements.           |[allergic,peanut,elements]|
|2015 |5    |ybfd|1           |p_2 |It is a repeated one,please no more.           |[more]                      |
|2016 |7    |tbfb|2           |p_2 |It is not good for my oil hair.                 |[good,oil,hair]           |
+-----+-----+----+------------+----+------------------------------------------------+----------------------------+

注意：

（1）result = pipeline.fullAnnotate(df,'comment')是将comment重命名为text然后执行pipeline.transform(df1)的快捷方式。 fullAnnotate的第一个参数可以是DataFrame，List或String。

（2）https://www.ling.upenn.edu/courses/Fall_2003/ling001/penn_treebank_pos.html中的POS标签列表