• 阿里云大数据实战记录9：MaxCompute RAM 用户与授权


    文章目录

    问题来源：maxcompute 管理员无法访问敏感列？

    先抛一个问题：作为 maxcompute 的管理员，拥有较高的权限，为什么访问不了设置了敏感列的数据？
    这个问题是我最近遇到的一个难题之一。

    一开始我以为作为 maxcompute 管理员，应该可以“畅通无阻”，却没想到，敏感列迟迟无法访问，中间做了很多功夫，读了很多官方文档，最终的结论是需要 maxcompute 项目的 owner 或超级管理员给我设置用户等级（Label）或者给我管理员权限，我自己配置。

    注意，以上涉及了好些概念，我不知道我这么命名是否合理，不过在我看来是合理的。如果你已经很了解阿里云大数据服务的权限问题，那可能很轻松能理解我的意思，但如果是新手，可能会有一些疑惑。没事，待我细细说来。

    首先 maxcompute 和 maxcompute 项目是两个不同的东西，切忌混为一谈！
    你可以把 maxcompute 看做是一个服务器，而 maxcompute 项目是一个数据库，然后敏感表、敏感列则是库里的表和表的字段。

    但作为数据库的管理员不应该是可以访问数据库里的所有数据吗？这就涉及到另外一个概念：用户等级，官方定义为 User Label。由于我的账号等级是 0 级，而敏感列等级高于 0 级，等级可以高级访问低级，但是无法逆向低级访问高级，所以访问不了。

    这样子理解应该就能明白为什么作为 maxcompute 的管理员，却访问不了敏感列的数据。

    Label 策略是一个比较重要的参考标准，即使在数据保护伞已经设置了白名单，还是无法访问敏感数据。

    主线问题：如何提高用户等级

    那么，如何提高用户等级呢？

    从下面这篇官方文档可以得知，提高用户等级需要通过终端执行命令来实现。

    Label权限控制：https://help.aliyun.com/zh/maxcompute/user-guide/label-based-access-control?#section-4ha-2x9-h5i

    修改 RAM 用户等级的命令如下：

    set Label 3 to USER RAM$Bob@aliyun.com:Allen;

    • 1

    其中，数字3是目标等级，即要升到哪一个级别，RAM指代 RAM 用户，Bob@aliyun.com是主账号的邮箱，Allen是 RAM 用户名。如果是给主账号调整，则把RAM$Bob@aliyun.com:Allen改为ALIYUN$Bob@aliyun.com。

    执行命令的地方有多个（相关链接可以再文档中查找到）：

    • MaxCompute客户端
    • 使用SQL分析连接
    • MaxCompute Studio
    • 使用DataWorks连接

    这里以 MaxCompute 为例，做个示例，比如我的账号是：xindata，主账号是：123456@qq.com，目标等级是 1 级，那么命令如下：

    set Label 1 to USER RAM$123456@qq.com:xindata;

    • 1

    浏览器打开 maxcompute 控制台：https://maxcompute.console.aliyun.com/，然后点击下图的【命令行】，这个才是 ODPS CMD，上面的那个是云命令行，使用云命令行也可以，不过需要切换下路径，进入 ODPS CMD，命令为cloudshell-odpscmd -p "项目名称"，一开始搞错了，点了云命令行输入以上命令一直报错说命令不存在，哈哈哈。

    image.png

    点击命令行之后选择对应的项目，便可以开启一个窗口，输入以上命令，返回结果说我没有安全操作。

    Authorization Failed [4003], You have NO privilege to do the PROJECT SECURITY OPERATION for {acs:odps:*:projects/xxx/authorization/users}.

    image.png

    通过搜索错误提示，找到了一篇解决文档：https://help.aliyun.com/zh/maxcompute/user-guide/odps-0420095?#pAFKK
    image.png

    从解决文档提示看，需要授权，授权方式有两种：

    表单提供了一种方法，可以通过新增策略动作给用户授权，我所需要的动作是SetDataLabel。

    image.png
    于是编辑了相关的权限策略：

    {
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "odps:SetDataLabel"
      ],
      "Resource": [
        *  // 开始使用："acs:odps:*:projects/xxx/authorization/users" 但提示格式有误，改 *
      ],
      "Condition": {}
    }
  ]
}

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15

    但是这个策略放哪里呢？

    一开始我不清楚 maxcompute 和 maxcompute 项目的差异的时候，我在 RAM 控制台的权限策略中新建了一个策略进行授权，可想而知，这是无效的！其实在 RAM 控制台，我已经是有了 maxcompute 的管理权限，所以并不需要再一次这么配置。

    实际上配置的位置是在 maxcompute 项目中，具体路径是在 maxcompute 控制台的项目管理中，选择对应的项目列表，点击右侧的管理。在项目详情中，点击角色权限，如果没有权限，会有报错提示。由于我没有权限，所以是空的（报错已关闭）。

    参考通过控制台（新版）管理用户权限：https://help.aliyun.com/zh/maxcompute/user-guide/manage-user-permissions-in-the-maxcompute-console

    image.png

    所以，第二条路是走不通的，没有管理权限，根本无法进入配置用户权限。

    结论就是：只能由项目的 admin 或者 super_administrator 角色处理了。

    衍生问题1：怎么知道自己的等级和表单的等级

    这个其实用表的时候，如果有权限问题，会报错提示：

    The sensitive label of column ‘xxx’ is 1, but your effective label from package is 0.

    image.png

    如果想直接查询，也可以通过以下命令查询：

    # 查看自己的等级信息，第一条是当前用户，第二条是指定用户
show label grants;
show label grants for RAM$123456@qq.com:xindata;
# 查看表的等级信息，注意，如果提示没有 odps:describe 权限，去安全中心申请表单权限，获取 describe 权限。
desc 项目名.表名称;

    • 1
    • 2
    • 3
    • 4
    • 5

    衍生问题2：为什么 dataworks 空间管理员也没有设置等级的权限？

    DataWorks 是阿里云提供的一站式大数据开发治理平台，可以在 DataWorks 上进行 MaxCompute 作业开发、周期性调度、作业运维、数据治理等一站式数据开发治理操作。可在 DataWorks 控制台创建 DataWorks 工作空间，并在这过程中直接创建并绑定 MaxCompute 项目，后续即可在 DataWorks 工作空间中开发 MaxCompute 作业。
    DataWorks 和 maxcompute 二者的权限有相通之处，但也有不同点，具体差异如下：

    参考MaxCompute和DataWorks的权限关系：https://help.aliyun.com/zh/maxcompute/user-guide/permissions?#section-u7s-ys0-vv0



    可以看到 MaxCompute 的管理员角色不能通过 DataWorks 设置，即使是 DataWorks 空间管理员，再 MaxCompute 的映射也只是一个 Role_Project_Admin 角色，对应的权限仅仅是 当前项目下project/table/fuction/resource/instance/job的所有权限，以及 package 的 read 权限，并非管理员。
    所以 DataWorks 空间管理员也没有设置等级的权限。

    衍生问题3：敏感列从哪里来

    首先是项目的设置，在 MaxCompute 项目的详情中，我们可以看到项目的配置信息，里面会限制一栏：启动Label访问控制，如果启动，就可以配置敏感列。
    敏感列的配置地方在数据保护伞，可以在 DataWorks 首页打开全部产品找到它。

    image.png

    然后在【敏感数据识别】中新增规则识别敏感数据，在此之前可能需要先在【数据分类分级】中新增分类和分级的类别和层数。

    image.png

    配置好之后，还可以在【用户组管理】添加用户组，并在【数据脱敏管理】中新增白名单，但这并不能覆盖用户等级的限制，低等级依旧无法访问高等级的数据。

    小结

    本次探索过程，发现了一个问题，阿里云产品，可能每一个都会有自己的控制台，有自己的一套权限管理，配置权限前，需要先思考，这个权限是在哪一个平台上使用，然后针对性去对应的文档和对应的控制台中寻找解决方案。

    就如本次，处理的内容其实是 MaxCompute 项目级别的问题，需要到项目中去寻找解决方案，一开始我配置了 RAM 用户相关权限，也在数据保护伞和 DataWorks 用户管理上面也尝试了解决方案，不过都是无用功，无法最终解决问题，只是更加清晰地了解了阿里云的权限管理逻辑。

  • 相关阅读:
    鸿蒙开发从hello world开始
    系统检测工具
    Junit执行源码分析，Junit是怎么跑起来的（二）
    FTX和Binance摩擦升级？一文梳理“吵架”背后始末
    智慧公厕：城市公共厕所的未来之路
    使用docker安装mysql
    H3C无线控制器AP license共享配置
    Rxjs map, mergeMap 和 switchMap 的区别和联系
    可拆分背包问题（贪心算法）
    跨环境同步数据的操作方式：使用mysqldump 远程执行备份与还原
  • 原文地址：https://blog.csdn.net/qq_45476428/article/details/132657954