码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • pyspark dataframe分位数计算


    from pyspark.sql.functions import udf, col, explode, from_json
    from pyspark.sql.types import LongType, StructType, StructField, FloatType, IntegerType, StringType, DoubleType, BooleanType, ArrayType, DecimalType
    from pyspark.sql import functions as F, window as W, Row
    from pyspark.sql import SparkSession
    from pyspark.sql.window import Window

    wind = Window.partitionBy('name')
    med = F.expr('percentile_approx(len, array(0.25, 0.5, 0.75, 0.95))')
    #df.withColumn('med_val', med.over(wind)).show()
    seq_df = spark.read.text("/user/data/my_name/rec/seq_outputs/{}".format(cur_date))\
                .withColumn('name',lit(1))\
                .withColumn('len',F.split(col('value'),';')[4])\
                .withColumn('len',col('len').cast(IntegerType()))\
                .withColumn('med_val', med.over(wind)) 
    seq_df.show()

  • 相关阅读:
    html在线商城购物网站制作——基于HTML+CSS+JavaScript鲜花礼品电商网站
    【Vue3】搭建vue3项目以及环境
    【C++进阶】多态
    review 11
    C#线程间控件操作--解决错误:线程间操作无效,从不是创建控件的线程访问它
    JAVA学习笔记DAY6——SSM_Spring
    Leetcode 39.组合总和
    spark DStream从不同数据源采集数据(RDD 队列、文件、diy 采集器、kafka)(scala 编程)
    Linux C 应用编程学习笔记——(2)文件 I/O 基础
    VictoriaMetrics之集群版
  • 原文地址:https://blog.csdn.net/yisun123456/article/details/126163037
  • 最新文章
  • 沪漂五周年了:我越来越迷茫了
    Agentic Skill Routing 实战:别再把所有 Skill 塞进 AI Agent 上下文
    MySQL-Seconds_behind_master的精度误差
    [MAF预定义ChatClient中间件-03]CachingChatClient——利用缓存省钱省时间
    AI的至暗历史:从万众期待到被政府撤资,AI的两次死亡徘徊
    Agent OS :五种驯服不确定性的范式
    PortSwigger SQL注入LAB11
    数据库即时编译JIT
    [Begin]AI Learn Data Day 0
    深度学习进阶(二十七)现代 LLM 的核心架构设计其二:SwiGLU
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号