码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • MaxCompute远程连接,上传、下载数据文件操作


    MaxCompute远程连接,上传数据文件

    • MaxCompute远程连接
      • 文档地址
      • 购买MaxCompute
      • 开通DataWorks
      • 创建项目
      • 远程连接
        • 注意需要有Java环境
        • 下载客户端
        • 进入配置odps_config.ini
          • 复制项目名称
          • 获取AccessKey
          • 进行验证
          • 连接地址对照表(配置end_point和tunnel_endpoint)
        • 双击打开
        • 连接成功
        • 查看表
        • tunnel文档
        • tunnel上传文件
        • tunnel下载文件
        • 创建分区表
        • 分区表上传
        • 分区表查询

    MaxCompute远程连接

    文档地址

    https://help.aliyun.com/document_detail/27971.html#section-7ce-cnh-euq

    购买MaxCompute

    在这里插入图片描述
    同意
    在这里插入图片描述

    开通DataWorks

    然后会自动让你开通DataWorks,选择免费开通基础版
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    创建项目

    在这里插入图片描述
    填写信息

    在这里插入图片描述
    等待构建完成即可

    远程连接

    注意需要有Java环境

    下载客户端

    远程客户端下载

    在这里插入图片描述
    解压打开
    在这里插入图片描述

    进入配置odps_config.ini

    在这里插入图片描述

    具体配置如下:

    project_name=
    access_id=
    access_key=
    end_point=
    log_view_host=
    https_check=
    # confirm threshold for query input size(unit: GB)
    data_size_confirm=
    # this url is for odpscmd update
    update_url=
    # download sql results by instance tunnel
    use_instance_tunnel=
    # the max records when download sql results by instance tunnel
    instance_tunnel_max_record=
    # IMPORTANT:
    #   If leaving tunnel_endpoint untouched, console will try to automatically get one from odps service, which might charge networking fees in some cases.
    #   Please refer to Endpoint
    # tunnel_endpoint=
    
    # use set.<key>=
    # e.g. set.odps.sql.select.output.format=
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21

    复制项目名称

    在这里插入图片描述

    获取AccessKey

    点击创建
    在这里插入图片描述

    进行验证

    在这里插入图片描述

    在这里插入图片描述

    连接地址对照表(配置end_point和tunnel_endpoint)

    在这里插入图片描述
    在这里插入图片描述

    双击打开

    在这里插入图片描述

    连接成功

    在这里插入图片描述

    查看表

    在这里插入图片描述

    tunnel文档

    https://help.aliyun.com/document_detail/27833.html

    tunnel上传文件

    在这里插入图片描述

    tunnel下载文件

    在这里插入图片描述

    创建分区表

    以gender为分区

    create test02_p(id int,name string) partitioned by(gender string);
    alter table test02_p add if not exists partition (gender='male');
    
    • 1
    • 2

    在这里插入图片描述
    在这里插入图片描述

    分区表上传

    tunnel upload D:\2020-2024大学学习\大数据考证\实验数据\ODPS_DEMO\Resources\02-DataTransfer\t_tunnel_p.csv test02_p/gender='male';
    
    • 1

    在这里插入图片描述

    分区表查询

    select * from test02_p where gender='male';
    
    • 1

    在这里插入图片描述
    在这里插入图片描述

  • 相关阅读:
    resultmap
    安装chromadb遇到的问题与python3升级
    算法竞赛备赛之贪心算法训练提升,贪心算法基础掌握
    Mongo 服务器上的 CPU 使用率很高,但 Mongo 似乎处于空闲状态
    风靡全国的真人猫抓老鼠是什么?
    yolo数据增强
    JeecgBoot 3.3.0 版本发布,基于代码生成器的企业级低代码平台
    anroid html5 拍照扫码
    前端学习C语言 - 开篇
    C++设计模式-装饰器(Decorator)
  • 原文地址:https://blog.csdn.net/qq_51553982/article/details/125420078
  • 最新文章
  • 【JVM】编译执行与解释执行的区别是什么?JVM 使用哪种方式?
    用 Hashids 优雅解决 C 端自增 ID 暴露问题
    V8引擎 精品漫游指南--Ignition篇(上) 指令 栈帧 槽位 调用约定 内存布局 基础内容
    LLVM Pass快速入门(四):代码插桩
    milkup:桌面端 markdown AI续写和即时渲染
    基于项目工程构建SBOM(软件物料清单)的研究
    鸿蒙应用开发UI基础第二节:鸿蒙应用程序框架核心解析与实操
    .NET 中如何快速实现 List 集合去重?
    扣子Coze实战:从0到1打造抖音+小红书热点监控智能体
    浅谈数据访问层
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号