• SpringCloudAlibaba系列之Nacos配置管理


    目录

    说明

    认识配置中心

    Nacos架构图

    Nacos配置管理实现原理

    核心源码分析-客户端

    核心源码分析-服务端

    配置修改的实时通知

    主流配置中心对比

    小小收获


    说明

    本篇文章主要目的是从头到尾比较粗粒度的分析Nacos配置中心的一些实现,很多细节没有涉及,希望能给大家带来一定的启发。如果大家对其中更多的实现细节感兴趣,可以留言区留言大家一起讨论。下面就让我们一起开始Nacos配置中心的探索之旅吧!

    认识配置中心

    集中配置管理解决了之前各个应用单独维护配置在下面这些方面的不足:

    • 动态更新
    • 集中式管理
    • 安全性和权限管理
    • 不同部署环境的隔离问题

    本篇内容将带领大家深入理解配置中心Nacos,如有纰漏,望大家及时指正。下面让我们一起开始进入正题。

    Nacos架构图

    学习任何技术,我们首先看下它官方的架构图,有个整体的认识。Nacos架构图如下:

    核心内容就是:Nacos Server作为Nacos的服务端,其中的Config Service模块提供了配置管理服务,然后对外提供了OpenAPI接口供客户端调用。实际应用当中,我们是通过Nacos客户端SDK来完成相关接口的调用的,SDK屏蔽了所有接口调用的细节,我们只需要完成相关的配置即可。

    Nacos配置管理实现原理

    实际应用的时候,我们会通过下面这样的方式来读取配置中心的值:

    1. @Value("${manual.onFlag}")
    2. private Boolean manualOnFlag;

    这是一个开关配置,为什么我们通过@Value注解,就可以获取到远程配置中心的数据呢?因为远程配置中心的所有数据,在应用程序启动完成之后,都会被填充到Enviroment中,它是Spring中管理所有属性值的对象。

    接下来,我们就来一起梳理一下配置中心的实现细节,并搞懂下面几个事情:

    • 配置中心的数据是怎么填充到Enviroment中的?
    • 配置如何动态刷新?即改了配置内容,应用无需重启即可生效。

    其整体实现思路:客户端启动,会去远程配置中心拉取当前应用关心的相关配置信息(这是主动拉取的过程,主动拉取的时候,会同服务端建立长轮询机制);如果服务端(Nacos-Server)配置信息发生了变更,会推送变更的配置项到客户端,然后客户端拉取变更的配置项对应的最新内容(这是服务端推送),基于长轮询机制实现。具体实现细节我们下面再慢慢分析。

    这里贴两张图用于我们接下来更加直观地理解Nacos配置管理的实现原理。

    总的来说,Nacos配置中心采用了推拉结合的方式来实现配置管理,主动拉取会存在时效性,所以再基于长轮询机制实现了推模式,解决主动拉取方式存在的时效性问题。

    核心源码分析-客户端

    • 核心类

    Spring Cloud中的PropertySourceLocator类实现应用外部化配置可动态加载,Spring Cloud Alibaba Nacos中的NacosPropertySourceLocator类实现了该接口,其中的locate方法就是配置获取的核心逻辑。

    1. public PropertySource locate(Environment env) {
    2. this.nacosConfigProperties.setEnvironment(env);
    3. ConfigService configService = this.nacosConfigManager.getConfigService();
    4. if (null == configService) {
    5. log.warn("no instance of config service found, can't load config from nacos");
    6. return null;
    7. } else {
    8. long timeout = (long)this.nacosConfigProperties.getTimeout();
    9. this.nacosPropertySourceBuilder = new NacosPropertySourceBuilder(configService, timeout);
    10. String name = this.nacosConfigProperties.getName();
    11. String dataIdPrefix = this.nacosConfigProperties.getPrefix();
    12. if (StringUtils.isEmpty(dataIdPrefix)) {
    13. dataIdPrefix = name;
    14. }
    15. if (StringUtils.isEmpty(dataIdPrefix)) {
    16. dataIdPrefix = env.getProperty("spring.application.name");
    17. }
    18. CompositePropertySource composite = new CompositePropertySource("NACOS");
    19. this.loadSharedConfiguration(composite);
    20. this.loadExtConfiguration(composite);
    21. this.loadApplicationConfiguration(composite, dataIdPrefix, this.nacosConfigProperties, env);
    22. return composite;
    23. }
    24. }

     从这里我们可以看出,三类配置的一个加载顺序:先是共享配置shared-config,然后是扩展配置ext-config,最后是应用配置。如果遇到相同的配置项,后者会覆盖前者。

    1. //dataIdPrefix规则:spring.cloud.nacos.config.prefix如果没有配置,使用spring.cloud.nacos.config.name;如果prefix和name都未配置,使用spring.application.name
    2. //fileExtension:配置文件中的spring.cloud.nacos.config.file-extension属性,默认为properties
    3. private void loadApplicationConfiguration(CompositePropertySource compositePropertySource, String dataIdPrefix, NacosConfigProperties properties, Environment environment) {
    4. String fileExtension = properties.getFileExtension();
    5. String nacosGroup = properties.getGroup();
    6. //获取配置方式一:Nacos中的dataId为dataIdPrefix
    7. this.loadNacosDataIfPresent(compositePropertySource, dataIdPrefix, nacosGroup, fileExtension, true);
    8. //获取配置方式二:Nacos中的dataId为dataIdPrefix.fileExtension
    9. this.loadNacosDataIfPresent(compositePropertySource, dataIdPrefix + "." + fileExtension, nacosGroup, fileExtension, true);
    10. String[] var7 = environment.getActiveProfiles();
    11. int var8 = var7.length;
    12. for(int var9 = 0; var9 < var8; ++var9) {
    13. String profile = var7[var9];
    14. String dataId = dataIdPrefix + "-" + profile + "." + fileExtension;
    15. //获取配置方式三:Nacos中dataId为dataIdprefix-profile(区分不同环境).fileExtension
    16. this.loadNacosDataIfPresent(compositePropertySource, dataId, nacosGroup, fileExtension, true);
    17. }
    18. }
    19. private void loadNacosDataIfPresent(final CompositePropertySource composite, final String dataId, final String group, String fileExtension, boolean isRefreshable) {
    20. if (null != dataId && dataId.trim().length() >= 1) {
    21. if (null != group && group.trim().length() >= 1) {
    22. NacosPropertySource propertySource = this.loadNacosPropertySource(dataId, group, fileExtension, isRefreshable);
    23. this.addFirstPropertySource(composite, propertySource, false);
    24. }
    25. }
    26. }
    27. private NacosPropertySource loadNacosPropertySource(final String dataId, final String group, String fileExtension, boolean isRefreshable) {
    28. return NacosContextRefresher.getRefreshCount() != 0L && !isRefreshable ? NacosPropertySourceRepository.getNacosPropertySource(dataId, group) : this.nacosPropertySourceBuilder.build(dataId, group, fileExtension, isRefreshable);
    29. }
    30. private void addFirstPropertySource(final CompositePropertySource composite, NacosPropertySource nacosPropertySource, boolean ignoreEmpty) {
    31. if (null != nacosPropertySource && null != composite) {
    32. if (!ignoreEmpty || !((Map)nacosPropertySource.getSource()).isEmpty()) {
    33. composite.addFirstPropertySource(nacosPropertySource);
    34. }
    35. }
    36. }
    37. public void setNacosConfigManager(NacosConfigManager nacosConfigManager) {
    38. this.nacosConfigManager = nacosConfigManager;
    39. }

    客户端SDK调用Nacos-Server提供的OpenAPI接口获取配置信息。

    1. NacosPropertySource build(String dataId, String group, String fileExtension, boolean isRefreshable) {
    2. List> propertySources = this.loadNacosData(dataId, group, fileExtension);
    3. NacosPropertySource nacosPropertySource = new NacosPropertySource(propertySources, group, dataId, new Date(), isRefreshable);
    4. NacosPropertySourceRepository.collectNacosPropertySource(nacosPropertySource);
    5. return nacosPropertySource;
    6. }
    7. private List> loadNacosData(String dataId, String group, String fileExtension) {
    8. String data = null;
    9. try {
    10. data = this.configService.getConfig(dataId, group, this.timeout);
    11. if (StringUtils.isEmpty(data)) {
    12. log.warn("Ignore the empty nacos configuration and get it based on dataId[{}] & group[{}]", dataId, group);
    13. return Collections.emptyList();
    14. }
    15. if (log.isDebugEnabled()) {
    16. log.debug(String.format("Loading nacos data, dataId: '%s', group: '%s', data: %s", dataId, group, data));
    17. }
    18. return NacosDataParserHandler.getInstance().parseNacosData(dataId, data, fileExtension);
    19. } catch (NacosException var6) {
    20. log.error("get data from Nacos error,dataId:{} ", dataId, var6);
    21. } catch (Exception var7) {
    22. log.error("parse data from Nacos error,dataId:{},data:{}", new Object[]{dataId, data, var7});
    23. }
    24. return Collections.emptyList();
    25. }

    到这里,我们从外部读取到了配置信息放入到PropertySource,那么它是在什么地方合并到Spring中的环境对象Environment中去的呢?答案是PropertySourceBootstrapConfiguration类中的initialize方法。

    1. public void initialize(ConfigurableApplicationContext applicationContext) {
    2. List> composite = new ArrayList();
    3. AnnotationAwareOrderComparator.sort(this.propertySourceLocators);
    4. boolean empty = true;
    5. ConfigurableEnvironment environment = applicationContext.getEnvironment();
    6. Iterator var5 = this.propertySourceLocators.iterator();
    7. while(true) {
    8. Collection source;
    9. do {
    10. do {
    11. if (!var5.hasNext()) {
    12. if (!empty) {
    13. MutablePropertySources propertySources = environment.getPropertySources();
    14. String logConfig = environment.resolvePlaceholders("${logging.config:}");
    15. LogFile logFile = LogFile.get(environment);
    16. Iterator var15 = environment.getPropertySources().iterator();
    17. while(var15.hasNext()) {
    18. PropertySource p = (PropertySource)var15.next();
    19. if (p.getName().startsWith("bootstrapProperties")) {
    20. propertySources.remove(p.getName());
    21. }
    22. }
    23. this.insertPropertySources(propertySources, composite);
    24. this.reinitializeLoggingSystem(environment, logConfig, logFile);
    25. this.setLogLevels(applicationContext, environment);
    26. this.handleIncludedProfiles(environment);
    27. }
    28. return;
    29. }
    30. PropertySourceLocator locator = (PropertySourceLocator)var5.next();
    31. source = locator.locateCollection(environment);
    32. } while(source == null);
    33. } while(source.size() == 0);
    34. List> sourceList = new ArrayList();
    35. Iterator var9 = source.iterator();
    36. while(var9.hasNext()) {
    37. PropertySource p = (PropertySource)var9.next();
    38. if (p instanceof EnumerablePropertySource) {
    39. EnumerablePropertySource enumerable = (EnumerablePropertySource)p;
    40. sourceList.add(new BootstrapPropertySource(enumerable));
    41. } else {
    42. sourceList.add(new SimpleBootstrapPropertySource(p));
    43. }
    44. }
    45. logger.info("Located property source: " + sourceList);
    46. composite.addAll(sourceList);
    47. empty = false;
    48. }
    49. }

    分析到这里,我们应该就能明白我们为何能在程序中通过@Value注解,获取对应的配置属性的值了。

    • 配置监听

    现在我们获取到了远程配置中心的配置数据,如果配置发生了变更,那我们怎么感知到呢?通过对相应的配置添加监听来实现配置变更的动态感知,当服务端配置发生变更,通过长轮询机制,推送变化的配置项key到客户端,然后客户端重新从服务端去获取最新的配置数据。

    那么配置监听具体是怎么实现的呢?通过相关的自动装配类可以找到NacosContextRefresher类,它监听ApplicationReadyEvent事件,该事件在上下文准备完毕之后发布,这里会完成Nacos事件监听的注册。

    1. package com.alibaba.cloud.nacos.refresh;
    2. public class NacosContextRefresher implements ApplicationListener, ApplicationContextAware {
    3. private static final Logger log = LoggerFactory.getLogger(NacosContextRefresher.class);
    4. private static final AtomicLong REFRESH_COUNT = new AtomicLong(0L);
    5. private NacosConfigProperties nacosConfigProperties;
    6. private final boolean isRefreshEnabled;
    7. private final NacosRefreshHistory nacosRefreshHistory;
    8. private final ConfigService configService;
    9. private ApplicationContext applicationContext;
    10. private AtomicBoolean ready = new AtomicBoolean(false);
    11. private Map listenerMap = new ConcurrentHashMap(16);
    12. public NacosContextRefresher(NacosConfigManager nacosConfigManager, NacosRefreshHistory refreshHistory) {
    13. this.nacosConfigProperties = nacosConfigManager.getNacosConfigProperties();
    14. this.nacosRefreshHistory = refreshHistory;
    15. this.configService = nacosConfigManager.getConfigService();
    16. this.isRefreshEnabled = this.nacosConfigProperties.isRefreshEnabled();
    17. }
    18. //1.监听ApplicationReadyEvent事件,该事件在上下文准备完毕之后发布
    19. public void onApplicationEvent(ApplicationReadyEvent event) {
    20. if (this.ready.compareAndSet(false, true)) {
    21. this.registerNacosListenersForApplications();
    22. }
    23. }
    24. private void registerNacosListenersForApplications() {
    25. if (this.isRefreshEnabled()) {
    26. Iterator var1 = NacosPropertySourceRepository.getAll().iterator();
    27. while(var1.hasNext()) {
    28. NacosPropertySource propertySource = (NacosPropertySource)var1.next();
    29. if (propertySource.isRefreshable()) {
    30. String dataId = propertySource.getDataId();
    31. this.registerNacosListener(propertySource.getGroup(), dataId);
    32. }
    33. }
    34. }
    35. }
    36. //2.当监听到事件之后,会调用registerNacosListenersForApplications方法来实现Nacos事件监听的注册
    37. private void registerNacosListener(final String groupKey, final String dataKey) {
    38. String key = NacosPropertySourceRepository.getMapKey(dataKey, groupKey);
    39. Listener listener = (Listener)this.listenerMap.computeIfAbsent(key, (lst) -> {
    40. return new AbstractSharedListener() {
    41. public void innerReceive(String dataId, String group, String configInfo) {
    42. NacosContextRefresher.refreshCountIncrement();
    43. NacosContextRefresher.this.nacosRefreshHistory.addRefreshRecord(dataId, group, configInfo);
    44. //通过applicationContext.publishEvent发布一个RefreshEvent事件,而这个事件的监听实现在RefreshEventListener类中。
    45. NacosContextRefresher.this.applicationContext.publishEvent(new RefreshEvent(this, (Object)null, "Refresh Nacos config"));
    46. if (NacosContextRefresher.log.isDebugEnabled()) {
    47. NacosContextRefresher.log.debug(String.format("Refresh Nacos config group=%s,dataId=%s,configInfo=%s", group, dataId, configInfo));
    48. }
    49. }
    50. };
    51. });
    52. try {
    53. this.configService.addListener(dataKey, groupKey, listener);
    54. } catch (NacosException var6) {
    55. log.warn(String.format("register fail for nacos listener ,dataId=[%s],group=[%s]", dataKey, groupKey), var6);
    56. }
    57. }
    58. }

    可以看到如果监听到了相应的事件,会发布RefreshEvent事件,它的监听实现在RefreshEventListener类中。

    1. package org.springframework.cloud.endpoint.event;
    2. public class RefreshEventListener implements SmartApplicationListener {
    3. private static Log log = LogFactory.getLog(RefreshEventListener.class);
    4. private ContextRefresher refresh;
    5. private AtomicBoolean ready = new AtomicBoolean(false);
    6. public void onApplicationEvent(ApplicationEvent event) {
    7. if (event instanceof ApplicationReadyEvent) {
    8. this.handle((ApplicationReadyEvent)event);
    9. } else if (event instanceof RefreshEvent) {
    10. this.handle((RefreshEvent)event);
    11. }
    12. }
    13. public void handle(ApplicationReadyEvent event) {
    14. this.ready.compareAndSet(false, true);
    15. }
    16. public void handle(RefreshEvent event) {
    17. if (this.ready.get()) {
    18. log.debug("Event received " + event.getEventDesc());
    19. Set keys = this.refresh.refresh();
    20. log.info("Refresh keys changed: " + keys);
    21. }
    22. }
    23. }

     完成配置的监听之后,也就启动了客户端长轮询定时任务。具体是在什么地方呢?客户端在构建ConfigService的时候,最终调用的代码如下所示:

    1. package com.alibaba.nacos.api.config;
    2. import com.alibaba.nacos.api.exception.NacosException;
    3. import java.lang.reflect.Constructor;
    4. import java.util.Properties;
    5. public class ConfigFactory {
    6. public ConfigFactory() {
    7. }
    8. public static ConfigService createConfigService(Properties properties) throws NacosException {
    9. try {
    10. //1.通过Class.forName来加载NacosConfigService类。
    11. Class driverImplClass = Class.forName("com.alibaba.nacos.client.config.NacosConfigService");
    12. Constructor constructor = driverImplClass.getConstructor(Properties.class);
    13. //2.使用反射来完成ConfigService类的实例化。
    14. ConfigService vendorImpl = (ConfigService)constructor.newInstance(properties);
    15. return vendorImpl;
    16. } catch (Throwable var4) {
    17. throw new NacosException(-400, var4);
    18. }
    19. }
    20. public static ConfigService createConfigService(String serverAddr) throws NacosException {
    21. Properties properties = new Properties();
    22. properties.put("serverAddr", serverAddr);
    23. return createConfigService(properties);
    24. }
    25. }

     ClientWorker是Nacos客户端的一个工作类,它的构造方法如下:

    1. public ClientWorker(final HttpAgent agent, ConfigFilterChainManager configFilterChainManager, Properties properties) {
    2. this.agent = agent;
    3. this.configFilterChainManager = configFilterChainManager;
    4. this.init(properties);
    5. //第一个线程池executor只拥有一个核心线程,每隔10s就会执行一次checkConfigInfo()方法,从方法名上可以知道每10s检查一次配置信息。
    6. this.executor = Executors.newScheduledThreadPool(1, new ThreadFactory() {
    7. public Thread newThread(Runnable r) {
    8. Thread t = new Thread(r);
    9. t.setName("com.alibaba.nacos.client.Worker." + agent.getName());
    10. t.setDaemon(true);
    11. return t;
    12. }
    13. });
    14. //第二个线程池executorService只完成了初始化,主要用于实现客户端的定时长轮询功能。
    15. this.executorService = Executors.newScheduledThreadPool(Runtime.getRuntime().availableProcessors(), new ThreadFactory() {
    16. public Thread newThread(Runnable r) {
    17. Thread t = new Thread(r);
    18. t.setName("com.alibaba.nacos.client.Worker.longPolling." + agent.getName());
    19. t.setDaemon(true);
    20. return t;
    21. }
    22. });
    23. //每隔10s执行一次,检查配置是否发生了变化
    24. this.executor.scheduleWithFixedDelay(new Runnable() {
    25. public void run() {
    26. try {
    27. ClientWorker.this.checkConfigInfo();
    28. } catch (Throwable var2) {
    29. ClientWorker.LOGGER.error("[" + agent.getName() + "] [sub-check] rotate check error", var2);
    30. }
    31. }
    32. }, 1L, 10L, TimeUnit.MILLISECONDS);
    33. }

     长轮询机制细节本篇文章不做过多分析,后续补充。

    总的来说,长轮询机制主要目的是实现配置的拉取(默认30s),核心内容是ClientWorker类中的LongPollingRunnable线程,完成了如下内容:检查配置是否有变更;同服务端建立长轮询机制(/v1/cs/configs/listener);获取远程配置等。

    核心源码分析-服务端

    服务端长轮询处理入口如下:

    1. /**
    2. * The client listens for configuration changes.
    3. */
    4. @PostMapping("/listener")
    5. @Secured(action = ActionTypes.READ, parser = ConfigResourceParser.class)
    6. public void listener(HttpServletRequest request, HttpServletResponse response)
    7. throws ServletException, IOException {
    8. request.setAttribute("org.apache.catalina.ASYNC_SUPPORTED", true);
    9. String probeModify = request.getParameter("Listening-Configs");
    10. if (StringUtils.isBlank(probeModify)) {
    11. throw new IllegalArgumentException("invalid probeModify");
    12. }
    13. probeModify = URLDecoder.decode(probeModify, Constants.ENCODE);
    14. Map clientMd5Map;
    15. try {
    16. clientMd5Map = MD5Util.getClientMd5Map(probeModify);
    17. } catch (Throwable e) {
    18. throw new IllegalArgumentException("invalid probeModify");
    19. }
    20. // do long-polling
    21. inner.doPollingConfig(request, response, clientMd5Map, probeModify.length());
    22. }
    1. /**
    2. * 轮询接口.
    3. */
    4. public String doPollingConfig(HttpServletRequest request, HttpServletResponse response,
    5. Map clientMd5Map, int probeRequestSize) throws IOException {
    6. // Long polling.
    7. if (LongPollingService.isSupportLongPolling(request)) {
    8. longPollingService.addLongPollingClient(request, response, clientMd5Map, probeRequestSize);
    9. return HttpServletResponse.SC_OK + "";
    10. }
    11. // Compatible with short polling logic.
    12. List changedGroups = MD5Util.compareMd5(request, response, clientMd5Map);
    13. // Compatible with short polling result.
    14. String oldResult = MD5Util.compareMd5OldResult(changedGroups);
    15. String newResult = MD5Util.compareMd5ResultString(changedGroups);
    16. String version = request.getHeader(Constants.CLIENT_VERSION_HEADER);
    17. if (version == null) {
    18. version = "2.0.0";
    19. }
    20. int versionNum = Protocol.getVersionNumber(version);
    21. // Before 2.0.4 version, return value is put into header.
    22. if (versionNum < START_LONG_POLLING_VERSION_NUM) {
    23. response.addHeader(Constants.PROBE_MODIFY_RESPONSE, oldResult);
    24. response.addHeader(Constants.PROBE_MODIFY_RESPONSE_NEW, newResult);
    25. } else {
    26. request.setAttribute("content", newResult);
    27. }
    28. Loggers.AUTH.info("new content:" + newResult);
    29. // Disable cache.
    30. response.setHeader("Pragma", "no-cache");
    31. response.setDateHeader("Expires", 0);
    32. response.setHeader("Cache-Control", "no-cache,no-store");
    33. response.setStatus(HttpServletResponse.SC_OK);
    34. return HttpServletResponse.SC_OK + "";
    35. }

    上述代码中,首先会判断当前请求是否为长轮询(请求头包含Long-Pulling-Timeout),如果是,则调用addLongPollingClient。

    • 获取客户端请求的超时时间,减去500ms后赋值给timeout变量。
    • 判断isFixedPolling,如果为true,定时任务将会在30s后开始执行;否则,在29.5s后开始执行。
    • 和服务端的数据进行MD5对比,如果发生过变化则直接返回。
    • scheduler.execute执行ClientLongPolling线程。

    这里的核心是ClientLongPolling,它封装了客户端的长轮询请求。

    1. public void addLongPollingClient(HttpServletRequest req, HttpServletResponse rsp, Map clientMd5Map,
    2. int probeRequestSize) {
    3. String str = req.getHeader(LongPollingService.LONG_POLLING_HEADER);
    4. String noHangUpFlag = req.getHeader(LongPollingService.LONG_POLLING_NO_HANG_UP_HEADER);
    5. String appName = req.getHeader(RequestUtil.CLIENT_APPNAME_HEADER);
    6. String tag = req.getHeader("Vipserver-Tag");
    7. int delayTime = SwitchService.getSwitchInteger(SwitchService.FIXED_DELAY_TIME, 500);
    8. long timeout = Math.max(10000, Long.parseLong(str) - delayTime);
    9. if (isFixedPolling()) {
    10. timeout = Math.max(10000, getFixedPollingInterval());
    11. // Do nothing but set fix polling timeout.
    12. } else {
    13. long start = System.currentTimeMillis();
    14. List changedGroups = MD5Util.compareMd5(req, rsp, clientMd5Map);
    15. if (changedGroups.size() > 0) {
    16. generateResponse(req, rsp, changedGroups);
    17. return;
    18. } else if (noHangUpFlag != null && noHangUpFlag.equalsIgnoreCase(TRUE_STR)) {
    19. return;
    20. }
    21. }
    22. String ip = RequestUtil.getRemoteIp(req);
    23. // Must be called by http thread, or send response.
    24. final AsyncContext asyncContext = req.startAsync();
    25. // AsyncContext.setTimeout() is incorrect, Control by oneself
    26. asyncContext.setTimeout(0L);
    27. ConfigExecutor.executeLongPolling(
    28. new ClientLongPolling(asyncContext, clientMd5Map, ip, probeRequestSize, timeout, appName, tag));
    29. }
    1. class ClientLongPolling implements Runnable {
    2. @Override
    3. public void run() {
    4. asyncTimeoutFuture = ConfigExecutor.scheduleLongPolling(new Runnable() {
    5. @Override
    6. public void run() {
    7. try {
    8. getRetainIps().put(ClientLongPolling.this.ip, System.currentTimeMillis());
    9. boolean removeFlag = allSubs.remove(ClientLongPolling.this);
    10. if (removeFlag) {
    11. if (isFixedPolling()) {
    12. List changedGroups = MD5Util
    13. .compareMd5((HttpServletRequest) asyncContext.getRequest(),
    14. (HttpServletResponse) asyncContext.getResponse(), clientMd5Map);
    15. if (changedGroups.size() > 0) {
    16. sendResponse(changedGroups);
    17. } else {
    18. sendResponse(null);
    19. }
    20. } else {
    21. sendResponse(null);
    22. }
    23. } else {
    24. }
    25. } catch (Throwable t) {
    26. }
    27. }
    28. }, timeoutTime, TimeUnit.MILLISECONDS);
    29. allSubs.add(this);
    30. }
    31. void sendResponse(List changedGroups) {
    32. if (null != asyncTimeoutFuture) {
    33. asyncTimeoutFuture.cancel(false);
    34. }
    35. generateResponse(changedGroups);
    36. }
    37. void generateResponse(List changedGroups) {
    38. if (null == changedGroups) {
    39. asyncContext.complete();
    40. return;
    41. }
    42. HttpServletResponse response = (HttpServletResponse) asyncContext.getResponse();
    43. try {
    44. final String respString = MD5Util.compareMd5ResultString(changedGroups);
    45. // Disable cache.
    46. response.setHeader("Pragma", "no-cache");
    47. response.setDateHeader("Expires", 0);
    48. response.setHeader("Cache-Control", "no-cache,no-store");
    49. response.setStatus(HttpServletResponse.SC_OK);
    50. response.getWriter().println(respString);
    51. asyncContext.complete();
    52. } catch (Exception ex) {
    53. PULL_LOG.error(ex.toString(), ex);
    54. asyncContext.complete();
    55. }
    56. }
    57. ClientLongPolling(AsyncContext ac, Map clientMd5Map, String ip, int probeRequestSize,
    58. long timeoutTime, String appName, String tag) {
    59. this.asyncContext = ac;
    60. this.clientMd5Map = clientMd5Map;
    61. this.probeRequestSize = probeRequestSize;
    62. this.createTime = System.currentTimeMillis();
    63. this.ip = ip;
    64. this.timeoutTime = timeoutTime;
    65. this.appName = appName;
    66. this.tag = tag;
    67. }
    68. final AsyncContext asyncContext;
    69. final Map clientMd5Map;
    70. final long createTime;
    71. final String ip;
    72. final String appName;
    73. final String tag;
    74. final int probeRequestSize;
    75. final long timeoutTime;
    76. Future asyncTimeoutFuture;
    77. @Override
    78. public String toString() {
    79. return "ClientLongPolling{" + "clientMd5Map=" + clientMd5Map + ", createTime=" + createTime + ", ip='" + ip
    80. + '\'' + ", appName='" + appName + '\'' + ", tag='" + tag + '\'' + ", probeRequestSize="
    81. + probeRequestSize + ", timeoutTime=" + timeoutTime + '}';
    82. }
    83. }

    从上面的分析我们可以看出,所谓的长轮询就是服务端收到请求之后,不立即返回,而是在延后(30-0.5)s才把请求结果返回给客户端,这就使得客户端和服务端之间在30s之内数据没有发生变化的情况下一直处于连接状态。

    这里我们可能会有一个疑问,定时任务是延时29.5s之后执行的,并没有达到我们说的实时通知的目的,那我们修改配置之后是如何做到实时通知的呢?

    配置修改的实时通知

    核心是通过发布订阅机制以及DataChangeTask来实现的。

    1. public LongPollingService() {
    2. allSubs = new ConcurrentLinkedQueue();
    3. ConfigExecutor.scheduleLongPolling(new StatTask(), 0L, 10L, TimeUnit.SECONDS);
    4. // Register LocalDataChangeEvent to NotifyCenter.
    5. NotifyCenter.registerToPublisher(LocalDataChangeEvent.class, NotifyCenter.ringBufferSize);
    6. // Register A Subscriber to subscribe LocalDataChangeEvent.
    7. NotifyCenter.registerSubscriber(new Subscriber() {
    8. @Override
    9. public void onEvent(Event event) {
    10. if (isFixedPolling()) {
    11. // Ignore.
    12. } else {
    13. if (event instanceof LocalDataChangeEvent) {
    14. LocalDataChangeEvent evt = (LocalDataChangeEvent) event;
    15. ConfigExecutor.executeLongPolling(new DataChangeTask(evt.groupKey, evt.isBeta, evt.betaIps));
    16. }
    17. }
    18. }
    19. @Override
    20. public Classextends Event> subscribeType() {
    21. return LocalDataChangeEvent.class;
    22. }
    23. });
    24. }
    1. class DataChangeTask implements Runnable {
    2. @Override
    3. public void run() {
    4. try {
    5. ConfigCacheService.getContentBetaMd5(groupKey);
    6. for (Iterator iter = allSubs.iterator(); iter.hasNext(); ) {
    7. ClientLongPolling clientSub = iter.next();
    8. if (clientSub.clientMd5Map.containsKey(groupKey)) {
    9. // If published tag is not in the beta list, then it skipped.
    10. if (isBeta && !CollectionUtils.contains(betaIps, clientSub.ip)) {
    11. continue;
    12. }
    13. // If published tag is not in the tag list, then it skipped.
    14. if (StringUtils.isNotBlank(tag) && !tag.equals(clientSub.tag)) {
    15. continue;
    16. }
    17. getRetainIps().put(clientSub.ip, System.currentTimeMillis());
    18. iter.remove(); // Delete subscribers' relationships.
    19. clientSub.sendResponse(Arrays.asList(groupKey));
    20. }
    21. }
    22. } catch (Throwable t) {
    23. }
    24. }
    25. DataChangeTask(String groupKey, boolean isBeta, List betaIps) {
    26. this(groupKey, isBeta, betaIps, null);
    27. }
    28. DataChangeTask(String groupKey, boolean isBeta, List betaIps, String tag) {
    29. this.groupKey = groupKey;
    30. this.isBeta = isBeta;
    31. this.betaIps = betaIps;
    32. this.tag = tag;
    33. }
    34. final String groupKey;
    35. final long changeTime = System.currentTimeMillis();
    36. final boolean isBeta;
    37. final List betaIps;
    38. final String tag;
    39. }

    遍历队列allSubs中的所有客户端长轮询请求,比较每一个客户端长轮询请求携带的groupKey,如果服务端变更的配置和客户端请求关注的配置一致,则直接返回。

    主流配置中心对比

    这里我们对比几个常用的配置中心,Nacos、Apollo和Spring Cloud Config。下面是网上找到的一个比较全面的比较内容,供大家参考:

    对于Spring Cloud Config、Apollo和Nacos这三个开源的配置中心中间件,Spring Cloud自带的Config配置中心依赖git,性能较差;Apollo相比较而已,功能更加完善,相比其他配置中心,它内置支持CAT,性能也算OK;Nacos毕竟是阿里开源,经过线上的各种考验,性能最优。总的来说,对于配置中心的选型,能满足我们的需求就行,再就是考虑和现有团队技术栈的一个吻合度。

    小小收获

    通过对Nacos由表及里的学习,我们能从中学习到的知识点包括以下这些方面,如果有大家感兴趣的点,建议大家去深入了解和学习一下,作为对自己的一个技术能力提升。

    • SpringBoot启动原理(梳理启动原理找到配置获取的入口)
    • 【重要】SpringBoot自动装配机制SPI(这个比较重要,Dubbo的核心思想之一,实现方式不同但是思想一致)
    • Spring事件发布与订阅(阅读源码过程中,很多场景有涉及)
    • Spring应用程序环境配置封装类Environment(配置项的载体)
    • 反射机制(Java基础内容)
    • 长轮询机制(配置中心核心内容)
    • 线程池(定时线程池,延迟特定时间之后执行)
    • 队列(长轮询机制实现,客户端请求封装之后全部放入队列,然后慢慢处理)
  • 相关阅读:
    【分布式id和分布式锁】分布式id实现方案、分布式锁的使用场景、实现方案、注意事项_Redis03
    【100天精通Python】Day59:Python 数据分析_Pandas高级功能-多层索引创建访问切片和重塑操作,pandas自定义函数和映射功能
    crypto:Rabbit
    Vue3最佳实践 第六章 Pinia,Vuex与axios,VueUse 3(VueUse )
    深度学习——深度学习计算二
    phpstudy2018中的mysql命令行,输入root显示这个怎么办
    1051 Pop Sequence
    说说 Redis 缓存删除策略
    Flink1.15源码阅读——PER_JOB vs APPLICATION执行流程
    React update和enqueueUpdate
  • 原文地址:https://blog.csdn.net/weixin_39283212/article/details/133961792