码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • Flink学习15:Flink自定义数据源


     

     

    自定义数据源,核心3步:

    1.创建一个类,用来指定数据流中的数据类型

    2.创建一个数据源的类,继承RichSourceFunction等类,并重写run 和cancel 方法

    3.在main方法中,生成环境后,把自定义的数据源的类,通过addSource 加入到环境中

    import org.apache.flink.streaming.api.functions.source.{RichSourceFunction, SourceFunction}
    import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment}
    
    import org.apache.flink.api.scala._
    import java.util.Calendar
    import scala.util.Random
    
    
    //defined the stockPrice attribute
    case class StockPrice(stockID:String, timestamp:Long, price:Double)
    
    //to define myself dataSource
    class StockPriceSource extends RichSourceFunction[StockPrice]{
    
      var isRunning: Boolean =true
      val rand = new Random()
    
      //initialize the stock price
      private var priceList = List(10.0d, 20.0d, 30.0d, 40.0d, 50.0d)
      var stockId =0
      var curPrice =0.0d
    
    
      //when we defined our dataSource function, we must override Two function :run and cancel
      override def run(sourceContext: SourceFunction.SourceContext[StockPrice]): Unit = {
    
        while (isRunning){
          //change the stock price random
    
          //get the stockid by random
          stockId=rand.nextInt(priceList.size)
    
          //generate the random price
          val curPrice = priceList(stockId) + rand.nextGaussian() * 0.05
    
          //update the stock price list
          priceList = priceList.updated(stockId,curPrice)
    
          //create the time stamp
          val curTime = Calendar.getInstance.getTimeInMillis
    
          //add my data source to sourceContext
          sourceContext.collect(StockPrice("stock_"+stockId.toString, curTime, curPrice))
    
          //thread sleep
          Thread.sleep(rand.nextInt(10))
    
        }
      }
    
      override def cancel(): Unit = {
        //cancel the run function
        isRunning=false
      }
    }
    
    
    
    object myDataSourceTest {
    
    
      def main(args: Array[String]): Unit = {
    
        //create env
        val env = StreamExecutionEnvironment.getExecutionEnvironment
    
        //set the parallelism
        env.setParallelism(1)
    
        //create my dataSource
        val stockPriceStream: DataStream[StockPrice] = env.addSource(new StockPriceSource)
    
        //print
        stockPriceStream.print()
    
        //execute
        env.execute("stock price streaming")
    
      }
    
    
    }
    
  • 相关阅读:
    ARCGIS---dem生成高程点
    什么是零代码?零代码与低代码有什么联系与区别?
    【题库】咸鱼之王答题挑战题库大全
    【场景化解决方案】“云上管车”连接货运系统,帮助企业高效调度车辆
    《论文阅读》具有人格自适应注意的个性化对话生成 AAAI 2023
    java计算机毕业设计海康物流MyBatis+系统+LW文档+源码+调试部署
    Python Fire:更加灵活的命令行参数
    Win11提示无法安全下载软件怎么办?Win11无法安全下载软件
    安装JDK8绿色版
    C. Complementary XOR CodeTON Round 3 (Div. 1 + Div. 2, Rated, Prizes)
  • 原文地址:https://blog.csdn.net/hzp666/article/details/126247313
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号