大数据数据挖掘系统可视化设计艺术

1.系统背景

        在我们实际进行数据挖掘研发过程中，为了验证某些算法在业务中的性能每次都需要去从头写代码，如果我们将我们研发的算法以模块化的思想封装起来，下次再使用的时候直接在系统中进行拖拉一下生成一个工作流，就能完成数据挖掘的实验，这将大大的提高我们的工作效率，最重要的是可以将我们的研发结果积累到系统中，可以重复的使用。

2.挖掘实验功能预览

2.1 功能图

2.2 功能描述

 2.2.1 算子定义

      算子是定义的是一个操作，我们可以通过自定义算子来覆盖我们的所有业务。同时算子也可以通过系统配置进行修改。

2.2.2 有向无环图工作流

       通过鼠标将左边的算子拖拉到右边工作区，形成一个有向无环图，提交到计算引擎，这里计算引擎分为本地计算和大数据平台，技术架构都是通过Spark技术栈进行封装。

3.技术架构

3.1 技术架构图

4. 总结

    大数据挖掘系统后期将接入云原生，并做代码分享，欢迎持续关注。