码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 无缝数据传输:StreamSet安装部署的最佳实践


    文章目录

      • 概要
      • 安装方法尝试
      • 安装部署方案
      • 1. 下载datacollector镜像
      • 2. 启动容器
      • 3. 访问streamsets
      • 小结

    概要

    StreamSets是一款流数据集成平台,旨在帮助用户轻松地收集、处理和传输大规模数据流。它提供了直观的界面和强大的功能,可用于实时数据流的提取、转换和加载(ETL)、数据湖和数据仓库的构建,以及流式分析和机器学习等任务。

    适用于从各种数据源中提取、转换和加载数据,以及进行实时数据处理和分析的场景。

    安装方法尝试

    安装部署流程,网上提供了很多种方法,说是必须先注册账号,然后登陆才能下载。但是由于安全问题目前国内好像无法注册,会报各种各样的错误。

    比如网友说的先访问指定链接进行下载https://archives.streamsets.com/index.html,然而本人打开网页却出现如下错误
    在这里插入图片描述
    没有出现如下所示的下载页面,也就无法进行后续操作
    在这里插入图片描述

    也有说是访问https://streamsets.com/opensource链接,出现以下页面进行下载

    在这里插入图片描述
    但是访问指定链接却跳转到官网,根本无从下手,也没有对应的下载页面
    在这里插入图片描述
    本人网上搜索尝试了多种方法,都无济于事,最后通过docker命令完美的解决了问题,现将整个操作流程记录如下,以免大家走太多弯路

    安装部署方案

    整体步骤分为以下几步:

    • 下载镜像
    • 启动容器
    • 访问

    注意事项:尽量安装3.14.0及以下版本,否则安装成功后访问时进入指定页面会出现以下错误

    在这里插入图片描述

    在这里插入图片描述

    1. 下载datacollector镜像

    docker pull streamsets/datacollector:3.14.0
    
    • 1

    2. 启动容器

    docker run -v /var/data:/var/lib/sdc --restart on-failure -p 18630:18630 -d --name streamsets streamsets/datacollector:3.14.0 dc
    
    
    • 1
    • 2

    3. 访问streamsets

    http://ip:18630/
    
    • 1

    在这里插入图片描述

    小结

    好了,以上就是streamsets的安装部署流程,如果对你有所帮助,希望一键三连,您的认可就是我创作的最大动力!

  • 相关阅读:
    使用QtService实现Qt后台服务程序
    【linux命令讲解大全】012.Git:分布式版本控制系统的先驱和常用命令清单(一)
    Dubbo服务提供者如何优雅升级?
    jquery吧页面<table>里的内容导出为excel
    8 位卷王!总结 1135 页 Java 核心面试手册,硬钢 BATJ 一线大厂面试官
    Python利用A*算法解决八数码问题
    如何反编译jar并修改后还原为jar
    SpringBoot整合Activiti7——执行监听器(六)
    Etsy店铺防防关联,自养号防关联环境搭建要点
    MySQL数据库备份与恢复
  • 原文地址:https://blog.csdn.net/qq_34279303/article/details/132859891
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号