PySpark 切片并选择特定的行数

系统管理员 2023-06-14 04:18 2阅读 0赞

在PySpark需要选择特定的某些行，数据量巨大而没法转到pandas的dataframe操作。

### 1. 如果内容为数值，可以用between函数筛选。 ###

参考资料：[http://spark.apache.org/docs/latest/api/python/pyspark.sql.html\#pyspark.sql.Column.between][http_spark.apache.org_docs_latest_api_python_pyspark.sql.html_pyspark.sql.Column.between]

下面的例子，表示筛选出(id >= 5) 及 (id <= 10)的行。

from pyspark.sql.functions import col
    
    df.where(col("id").between(5, 10))

### 2. 如果选择前多少行，可以用take函数和head函数。 ###

下面的例子，分别表示选择第3行和第5行。

list = df.head(3)
    list = df.take(5)

### 3.选择dataframe中间的特定行数。 ###

而我使用的dataframe前两种方法都没法解决。特点如下：

1.  特定列中的内容为字符串，并非数值，不能直接比较大小。
2.  所选取数据为中间行，如第10~20行，不能用函数直接选取。

最终的解决方法如下：

*  **首先添加行索引，然后选择特定区间内的行索引，从而选取特定中间行。**

第一步，添加行索引。

from pyspark.sql.functions import monotonically_increasing_id
    
    dfWithIndex = df.withColumn(“id”,monotonically_increasing_id())

第二步，筛选特定行。

dfWithIndex.select(dfWithIndex.name, dfWithIndex.id.between(50, 100)).show()

成功~

[http_spark.apache.org_docs_latest_api_python_pyspark.sql.html_pyspark.sql.Column.between]: http://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.Column.between

发表评论取消回复

表情：

评论列表（有 0 条评论，2人围观）

还没有评论，来说两句吧...

相关阅读

相关 PySpark 切片并选择特定的行数

在PySpark需要选择特定的某些行，数据量巨大而没法转到pandas的dataframe操作。 1. 如果内容为数值，可以用between函数筛选。参考资料：[ht

系统管理员/ 2023年06月14日 04:18/ 0 赞/ 3 阅读

相关 php sql行数,php – SQL：保持行数或从数据库中选择计...

例如：我有2张桌子 – 分类 – 帖子这是一个很好的方法来保持这样的类别的邮政编号类别 id | title | posts \----+----------+

港控/mmm°/ 2023年01月17日 15:54/ 0 赞/ 72 阅读

相关 numpy选择特定的行列

有时需要抽取矩阵中特定行的特定列。比如，需要抽取矩阵x的0,1行的0,3列，结果为矩阵域 x = np.array([[ 0, 1, 2, 3],

客官°小女子只卖身不卖艺/ 2022年12月20日 14:55/ 0 赞/ 109 阅读

相关 git log根据特定条件查询日志并统计修改的代码行数

文章目录前言 git log 条件筛选查询最近几条log 查询指定作者提交查

た入场券/ 2022年12月04日 08:32/ 0 赞/ 363 阅读

相关 pyspark 筛选 null 行

如果某行数值是null，去掉这行，比如代码： df = df.filter(df.x2. isNotNull()) +---+----+----+

叁歲伎倆/ 2022年11月28日 00:21/ 0 赞/ 83 阅读

相关 vim匹配特定的行并删除它

删除包含特定字符的行： g/pattern/d 删除不包含指定字符的行： v/pattern/d g!/pattern/d 现实TAB键以及空

╰半橙微兮°/ 2022年08月09日 14:41/ 0 赞/ 457 阅读

相关 iview选择导出特定的行和列（导出格式为CVS）

要实现的功能：如下图所示，可以选择制定的行，并将选择的行导出为cvs，选择之后可取消，可增加。 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW

分手后的思念是犯贱/ 2022年03月15日 18:49/ 0 赞/ 103 阅读

相关数组的索引及切片

一.数组的轴这里我们先创建一个三维数组让大家认识一下 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_

小鱼儿/ 2022年02月15日 13:17/ 0 赞/ 309 阅读

相关读取txt内容,并在每行加特定字段

public class test2 \{ public static void main(String\[\] args) \{ List list = new Ar

た入场券/ 2022年02月13日 14:27/ 0 赞/ 227 阅读

相关 c++命令行刷新特定行_在特定时间从命令行关闭Windows

![c++命令行刷新特定行][c] c++命令行刷新特定行 If you’ve ever wanted to shut down Windows at a particul

客官°小女子只卖身不卖艺/ 2021年07月26日 20:06/ 0 赞/ 421 阅读