• Redis功能实战篇之附近商户


    在互联网的app当中,特别是像美团,饿了么等app。经常会看到附件美食或者商家,
    当我们点击美食之后,会出现一系列的商家,商家中可以按照多种排序方式,我们此时关注的是距离,这个地方就需要使用到我们的GEO,向后台传入当前app收集的地址(我们此处是写死的) ,以当前坐标作为圆心,同时绑定相同的店家类型type,以及分页信息,把这几个条件传入后台,后台查询出对应的数据再返回。

    1.什么是GEC

    GEO就是Geolocation的简写形式,代表地理坐标。Redis在3.2版本中加入了对GEO的支持,允许存储地理坐标信息,帮助我们根据经纬度来检索数据。

    但基于GEO搜索,其实有很多种方案,以下是我从度娘哪里得来的方案总结

    sphinx geo索引1.支持按照距离排序,2.并支持分页。3.无法满足高实时性需求。(可能是不了解实时增量索引配置有误)资源占用小,速度快
    mongodb geo索引1.支持按照距离排序,2.并支持分页,3.支持多条件筛选,4.可满足实时性需求 5.资源占用大,数据量达到百万级请流量在10w左右查询速度明显下降。
    mysql+geohash / mysql sql查询1.不支持按照距离排序(代价太大)。2.支持分页。3.支持多条件筛选。4.可满足实时性需求。5.资源占用中等,查询速度不及mongodb。且geohash按照区块将球面转化平面并切割。暂时没有找到跨区块查询方法
    redis+geohash1.支持距离排序(但版本需要6.2以后的)。2.支持分页查询。3.不支持多条件筛选。4.可满足实时性需求。资源占用最小。查询速度很快

    当然还有Elasticsearch+geohash,从技术学习成本和实现成本来看,最优的三种方式就是 mongodb ,redis 和 Elasticsearch。
    关于ES实现思路
    这里就对redis的GEO进行一个介绍,常见的命令有:

    • GEOADD:添加一个地理空间信息,包含:经度(longitude)、纬度(latitude)、值(member)
    • GEODIST:计算指定的两个点之间的距离并返回
    • GEOHASH:将指定member的坐标转为hash字符串形式并返回
    • GEOPOS:返回指定member的坐标
    • GEORADIUS:指定圆心、半径,找到该圆内包含的所有member,并按照与圆心之间的距离排序后返回。6.以后已废弃
    • GEOSEARCH:在指定范围内搜索member,并按照与指定点之间的距离排序后返回。范围可以是圆形或矩形。6.2.新功能
    • GEOSEARCHSTORE:与GEOSEARCH功能一致,不过可以把结果存储到一个指定的key。 6.2.新功能

    在这里插入图片描述
    我们要做的事情是:将数据库表中的数据导入到redis中去,redis中的GEO,GEO在redis中就一个menber和一个经纬度,我们把x和y轴传入到redis做的经纬度位置去,但我们不能把所有的数据都放入到menber中去,毕竟作为redis是一个内存级数据库,如果存海量数据,redis还是力不从心,所以我们在这个地方存储他的id即可。

    但是这个时候还有一个问题,就是在redis中并没有存储type,所以我们无法根据type来对数据进行筛选,所以我们可以按照商户类型做分组,类型相同的商户作为同一组,以typeId为key存入同一个GEO集合中即可

    实现思路

    先看下表结构:
    在这里插入图片描述
    表中一定要有 X轴 和 Y轴 的坐标数据

    1:先将带地址位置的店铺类型进行分类,分配导入Redis

    @Test
    void loadShopData() {
        // 1.查询店铺信息
        List<Shop> list = shopService.list();
        // 2.把店铺分组,按照typeId分组,typeId一致的放到一个集合
        Map<Long, List<Shop>> map = list.stream().collect(Collectors.groupingBy(Shop::getTypeId));
        // 3.分批完成写入Redis
        for (Map.Entry<Long, List<Shop>> entry : map.entrySet()) {
            // 3.1.获取类型id
            Long typeId = entry.getKey();
            String key = SHOP_GEO_KEY + typeId;
            // 3.2.获取同类型的店铺的集合
            List<Shop> value = entry.getValue();
            List<RedisGeoCommands.GeoLocation<String>> locations = new ArrayList<>(value.size());
            // 3.3.写入redis GEOADD key 经度 纬度 member
            for (Shop shop : value) {
                // stringRedisTemplate.opsForGeo().add(key, new Point(shop.getX(), shop.getY()), shop.getId().toString());
                locations.add(new RedisGeoCommands.GeoLocation<>(
                        shop.getId().toString(),
                        new Point(shop.getX(), shop.getY())
                ));
            }
            stringRedisTemplate.opsForGeo().add(key, locations);
        }
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25

    注意:SpringBoot版本,大部分使用的是SpringDataRedis的2.3.9版本并不支持Redis 6.2提供的GEOSEARCH命令,因此需要排除此版本,引入新版本

    <dependency>
        <groupId>org.springframework.bootgroupId>
        <artifactId>spring-boot-starter-data-redisartifactId>
        
        <exclusions>
            <exclusion>
                <artifactId>spring-data-redisartifactId>
                <groupId>org.springframework.datagroupId>
            exclusion>
            <exclusion>
                <artifactId>lettuce-coreartifactId>
                <groupId>io.lettucegroupId>
            exclusion>
        exclusions>
    dependency>
    
    <dependency>
        <groupId>org.springframework.datagroupId>
        <artifactId>spring-data-redisartifactId>
        <version>2.6.2version>
    dependency>
    <dependency>
        <groupId>io.lettucegroupId>
        <artifactId>lettuce-coreartifactId>
        <version>6.1.6.RELEASEversion>
    dependency>
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26

    2. 接口层入参一定要有《当前坐标》 作为入参

    @Controller

    @GetMapping("/of/type")
    public Result queryShopByType(
            @RequestParam("typeId") Integer typeId,
            @RequestParam(value = "current", defaultValue = "1") Integer current,
            @RequestParam(value = "x", required = false) Double x,
            @RequestParam(value = "y", required = false) Double y
    ) {
       return shopService.queryShopByType(typeId, current, x, y);
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9

    3.使用Redis的GEOSEARCH 命令进行查询

    @Override
        public Result queryShopByType(Integer typeId, Integer current, Double x, Double y) {
            // 1.判断是否需要根据坐标查询
            if (x == null || y == null) {
                // 不需要坐标查询,按数据库查询
                Page<Shop> page = query()
                        .eq("type_id", typeId)
                        .page(new Page<>(current, SystemConstants.DEFAULT_PAGE_SIZE));
                // 返回数据
                return Result.ok(page.getRecords());
            }
    
            // 2.计算分页参数
            int from = (current - 1) * SystemConstants.DEFAULT_PAGE_SIZE;
            int end = current * SystemConstants.DEFAULT_PAGE_SIZE;
    
            // 3.查询redis、按照距离排序、分页。结果:shopId、distance
            String key = SHOP_GEO_KEY + typeId;
            GeoResults<RedisGeoCommands.GeoLocation<String>> results = stringRedisTemplate.opsForGeo() // GEOSEARCH key BYLONLAT x y BYRADIUS 10 WITHDISTANCE
                    .search(
                            key,
                            GeoReference.fromCoordinate(x, y),
                            new Distance(5000),
                            RedisGeoCommands.GeoSearchCommandArgs.newGeoSearchArgs().includeDistance().limit(end)
                    );
            // 4.解析出id
            if (results == null) {
                return Result.ok(Collections.emptyList());
            }
            List<GeoResult<RedisGeoCommands.GeoLocation<String>>> list = results.getContent();
            if (list.size() <= from) {
                // 没有下一页了,结束
                return Result.ok(Collections.emptyList());
            }
            // 4.1.截取 from ~ end的部分
            List<Long> ids = new ArrayList<>(list.size());
            Map<String, Distance> distanceMap = new HashMap<>(list.size());
            list.stream().skip(from).forEach(result -> {
                // 4.2.获取店铺id
                String shopIdStr = result.getContent().getName();
                ids.add(Long.valueOf(shopIdStr));
                // 4.3.获取距离
                Distance distance = result.getDistance();
                distanceMap.put(shopIdStr, distance);
            });
            // 5.根据id查询Shop
            String idStr = StrUtil.join(",", ids);
            List<Shop> shops = query().in("id", ids).last("ORDER BY FIELD(id," + idStr + ")").list();
            for (Shop shop : shops) {
                shop.setDistance(distanceMap.get(shop.getId().toString()).getValue());
            }
            // 6.返回
            return Result.ok(shops);
        }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
  • 相关阅读:
    接口相关注解组合
    【SG滤波】三阶滤波、五阶滤波、七阶滤波(Matlab代码实现)
    目标检测数据集:摄像头成像吸烟检测数据集(自己标注)
    gRPC-GateWay Swagger 实战
    批量插入,部分参数为null,报sql语法错误解决方案
    013. N 皇后
    OpenCV项目实战-深度学习去阴影-图像去阴影
    信贷风控也要学|智能推荐系统的应用
    C语言连接MySQL并执行SQL语句(hello world)
    【机器学习-周志华】学习笔记-第一章
  • 原文地址:https://blog.csdn.net/qq_43652793/article/details/132633813