Apache Calcite - 使用内置函数

前言

在上一篇文章中学习了如何适配来源数据，并使用sql查询数据。当我们获取数据后，通常还会进行各种计算、变换工作，这时使用内置函数可以极大提高我们的效率。

函数介绍

Apache Calcite 提供了广泛的 SQL 函数支持，包括但不限于标准的 SQL 函数（如聚合函数、数学函数、字符串函数等）以及一些 Calcite 特有的扩展函数。这些函数可以在 SQL 查询中使用，以执行复杂的数据处理和分析任务。详细的介绍可以参考[1]。

下面是对参考手册中函数的分类介绍

• 聚合函数：如 COUNT, SUM, AVG, MIN, MAX 等。
• 数学函数：如 ABS, EXP, LOG, POWER, SQRT, SIN, COS 等。
• 字符串函数：如 CONCAT, LENGTH, UPPER, LOWER, TRIM, SUBSTRING 等。
• 日期和时间函数：如 CURRENT_DATE, CURRENT_TIME 等。
• 转换函数：如 CAST, COALESCE, NULLIF, CASE 等。
• 系统函数：如 USER, CURRENT_USER, SESSION_USER, SYSTEM_USER 等。
• 窗口函数：如 ROW_NUMBER, RANK, DENSE_RANK, LEAD, LAG 等。

在代码中使用函数

我们可以直接在sql中使用这些函数，首先我们对上一篇文章中的代码进行一点小改动。

Linq4j

在进行改动前首先我们介绍一下Linq4j。Apache Calcite 的 Linq4j（Language-Integrated Query for Java）是一个提供类似于.NET LINQ（Language Integrated Query）的查询功能的库，专为Java语言设计。Linq4j 允许开发者使用Java来编写类似于SQL的查询语句，从而对Java集合、数组等进行查询操作。

Linq4j 是一个查询库，它提供了一组扩展的Java集合接口和迭代器接口，使得开发者可以在Java应用程序中使用声明式的方式来处理数据。它支持多种操作，包括筛选（filter）、映射（map）、聚合（aggregate）等，类似于SQL语言的操作。

我们使用Linq4j类提供的工具方法来将我们的来源数据列表转换为Enumerable对象，这样在查询Sql中可以使用相关的函数。

下面是一个使用案例，我们首先将用户列表转换为Enumerable类型，然后使用where方法来筛选年龄大于30的用户，接着使用orderBy方法按姓名排序，最后将结果转换为列表并打印。

这样的处理方式使得数据操作更加直观和易于理解，类似于我们在SQL中进行查询操作。

import org.apache.calcite.linq4j.Enumerable;
import org.apache.calcite.linq4j.Linq4j;

List<User> users = Arrays.asList(
    new User("Alice", 28),
    new User("Bob", 35),
    new User("Charlie", 32)
);

Enumerable<User> enumerable = Linq4j.asEnumerable(users);
List<User> filteredSortedUsers = enumerable
    .where(user -> user.getAge() > 30)
    .orderBy(user -> user.getName())
    .toList();

filteredSortedUsers.forEach(user -> System.out.println(user.getName() + " - " + user.getAge()));

改造代码

我们使用linq4j改造来源集合的创建，重新实现scan方法，这样可以在sql中使用相关的函数。

    public class TableForList extends AbstractTable implements ScannableTable{

        private PersonList personList;

        public TableForList(PersonList personList) {
            this.personList = personList;
        }

        @Override
        public Enumerable<Object[]> scan(DataContext root) {
            return Linq4j.asEnumerable(personList.getPersonList())
                .select(emp -> new Object[]{emp.getId(), emp.getName(), emp.getAge()});
        }

        @Override
        public RelDataType getRowType(RelDataTypeFactory typeFactory) {
            return typeFactory.builder()
                .add("id", typeFactory.createSqlType(SqlTypeName.BIGINT))
                .add("name",typeFactory.createSqlType(SqlTypeName.VARCHAR))
                .add("age",typeFactory.createSqlType(SqlTypeName.INTEGER))
                .build();
        }
    }

sql中使用函数

我们对上一篇文章中的Sql做出调整，使用各类函数。

        // 聚合函数
        ResultSet countResult = statement.executeQuery("select sum(age) from listSchema.MyTable");
        print(countResult);
        // 数学函数
        ResultSet sqrtResult = statement.executeQuery("select sqrt(sum(age)) from listSchema.MyTable");
        print(sqrtResult);
        // 字符串函数
        ResultSet lowerResult = statement.executeQuery("select lower('ABC'),sum(age) from listSchema.MyTable");
        print(lowerResult);
        // 日期函数
        ResultSet timeResult = statement.executeQuery("select current_time,sum(age) from listSchema.MyTable");
        print(timeResult);

// 输出结果
242 
15.556349186104045 
abc 242 
20:14:51 242 

总结

Calcite提供了多种内置函数，使用这些函数可以简化我们的开发工作，提升效率

参考

[1]Calcite内置支持的函数清单,https://calcite.apache.org/docs/reference.html