• JaVers：自动化数据审计

    在开发应用程序时，我们经常需要存储有关数据如何随时间变化的信息。此信息可用于更轻松地调试应用程序并满足设计要求。在本文中，我们将讨论 JaVers 工具，该工具允许您通过记录数据库实体状态的更改来自动执行此过程。

    Javers如何工作？

    库的操作基于以 JSON 格式在专用表中存储有关业务数据实体的信息。JaVers允许您将这些信息存储在MongoDB，H2，PostgreSQL，MySQL，MariaDB，Oracle和Microsoft SQL Server等数据库中。

    使用MongoDB时，JaVers会创建两个集合来存储审计数据：

    • jv_head_id– 用于存储包含commitId 最后一个值的文档的集合
    • jv_snapshots– 此集合包含有关由于创建、更新或删除操作而对业务实体所做的更改的详细信息。

    另一方面，如果您决定使用其中一个关系数据库，JaVers 将创建以下表：

    • jv_global_id– 用于存储每个更改的唯一标识符的表
    • jv_commit – 包含有关数据修改的时间和作者信息的表
    • jv_commit_property – 一个附加表，允许您存储前一个表中数据的其他信息，例如用户的标识符和用户名。ID 和作为更改作者的用户的名称
    • jv_snapshot– 此表存储有关实体的哪些属性因给定操作而更改的信息，以及每个属性的值。

    为了提供适当的算法来比较不同版本的对象，JaVers 对几种数据类型进行操作：实体、值对象、容器和基元。

    为每个类指示适当的数据类型，可以通过 3 种方式完成：

    • 明确地 – 使用寄存器...（） 方法或对所选类添加适当的注释
    • 隐式 – 依靠 JaVers 根据类层次结构自动检测给定类的类型
    • 默认值 – 将所有类视为 ValueObjects

    值得注意的是，JaVers 默认映射来自javax.persistence包的注解，这使得在实现我们的数据库实体时无需添加额外的注解。

    实现

    要开始使用 JaVers 工具，我们需要向项目添加适当的依赖项。根据我们将在其中存储审计数据的数据库，我们有两个选项可供选择：

    在本文中，我们将使用 PostgreSQL 数据库，因此我们在 pom 文件中包含以下依赖项：

    1. <dependency> 
    2.     <groupId>org.javersgroupId> 
    3.     <artifactId>javers-spring-boot-starter-sqlartifactId> 
    4.     <version>6.6.3version> 
    5. dependency>

    库的工作方式将以应用程序为例呈现，用于存储有关公司正在进行的项目的信息。我们应用程序的数据库实体的结构和实现如下：

    Project.java

    1. @Entity
    2. public class Project {
    3.  
    4.     @Id
    5.     @GeneratedValue
    6.     private UUID id;
    7.  
    8.     @NotNull
    9.     private String name;
    10.  
    11.     @NotNull
    12.     @Embedded
    13.     private ProjectDetails details;
    14.  
    15.     @OneToMany(mappedBy = "project")
    16.     private List<Member> members = new ArrayList<>();
    17.  
    18.     @Builder
    19.     @AllArgsConstructor
    20.     @NoArgsConstructor
    21.     @Embeddable
    22.     public static class ProjectDetails {
    23.  
    24.         @NotNull
    25.         private LocalDateTime startTime;
    26.  
    27.         @NotNull
    28.         private LocalDateTime endTime;
    29.     }
    30. }

    Member.java

    1. @Entity
    2. public class Member {
    3.  
    4.     @Id
    5.     @GeneratedValue
    6.     private UUID id;
    7.  
    8.     @NotNull
    9.     private String name;
    10.  
    11.     @NotNull
    12.     private String surname;
    13.  
    14.     @NotNull
    15.     private String role;
    16.  
    17.     @ManyToOne
    18.     @JoinColumn(name = "project_id")
    19.     private Project project;
    20. }

    在数据库中，我们应该有以下可用的表列表：

    数据审计

    要指示哪些业务数据应该接受审计机制，我们可以使用三种方式。

    第一种是用@JaversSpringDataAuditable注释标记所选实体的存储库。添加此注释后，调用任何方法来修改此存储库上的数据将导致有关此操作的信息放置在其中一个 JaVers 表中。

    在我们的应用程序中，我们只会将注释添加到Project类存储库中，如下所示：

    1.     @Repository
    2.     @JaversSpringDataAuditable
    3.     public interface ProjectRepository extends JpaRepository<Project, UUID> {
    4.     }
    5.  
    6.     @Repository
    7.     public interface MemberRepository extends JpaRepository<Member, UUID> {
    8.     }
    第二种方法，允许我们调用数据的审计机制，是使用@JaversAuditable注释，我们可以在所选方法上方添加注释来修改数据。此类解决方案的示例如下所示：

    服务层方法

    1.     @JaversAuditable
    2.     public void save(Project project) {
    3.         //save project
    4. }

    存储库层方法

    1. @Override
    2. @JaversAuditable
    3. S extends Project> S save(S entity);

    我们可以保存审计数据的最后一种方法是在Javers类的对象上调用commit方法，我们可以使用依赖注入机制使用它。实际显示此解决方案的代码片段如下所示：

    1. @RequiredArgsConstructor
    2. public class ProjectService {
    3.  
    4.     private final Javers javers;
    5.  
    6.     public void commitProject() {
    7.         Project project = new Project();//for simplicity ommited passing parameters
    8.         javers.commit("author", project);
    9.     }
    10. }

    作者提供程序配置

    在实践中使用这些方法之前，我们仍然需要指定谁是记录的审计数据的作者。下面显示了用于确定此信息的基本配置示例。

    1.  @Configuration
    2. public class JaversAuthorConfiguration {
    3.  
    4.     @Bean
    5.     public AuthorProvider provideJaversAuthor() {
    6.         return new SimpleAuthorProvider();
    7.     }
    8.  
    9.     private static class SimpleAuthorProvider implements AuthorProvider {
    10.         @Override
    11.         public String provide() {
    12.             return "Freddie Mercury";
    13.         }
    14.     }
    15. }

    在实践中审计数据

    为了在实践中验证所讨论的机制，调用了插入和修改数据方法，从而生成了INITIAL和UPDATE类型的审计数据。调用每个方法的结果如下所示：

    添加新数据

    插入新业务数据的方法：

    1.     public void save() {
    2.         Project.ProjectDetails projectDetails = Project.ProjectDetails.builder()
    3.                 .startTime(LocalDateTime.now())
    4.                 .endTime(LocalDateTime.now().plusDays(14))
    5.                 .build();
    6.  
    7.         Project project = Project.builder()
    8.                 .name("Project 1")
    9.                 .details(projectDetails)
    10.                 .build();
    11.  
    12.         Member member = Member.builder()
    13.                 .name("Brian")
    14.                 .surname("May")
    15.                 .role("guitarist")
    16.                 .project(project)
    17.                 .build();
    18.  
    19.         project.getMembers().add(member);
    20.  
    21.         projectRepository.saveAndFlush(project);
    22. }

    调用上述方法的结果是在jv_snapshot表中生成的以下条目：

    值得注意的是，尽管仅在项目实体存储库上添加了@JaversSpringDataAuditable注释，但成员实体数据也已写入。

    默认情况下，JaVers 包括属于审核实体的所有嵌套模型。我们可以通过在要从审计机制中省略的字段上添加@DiffIgnore注释来更改此行为。

    在我们的例子中，这个注释的使用如下所示：

    1. @DiffIgnore
    2.     @Builder.Default
    3.     @OneToMany(mappedBy = "project", cascade = CascadeType.ALL)
    4. private List members = new ArrayLis<>();

    修改现有数据

    反过来，修改以前插入的数据的方法是：

    1.    public void update(UUID uuid) {
    2.         Project project = projectRepository.getById(uuid);
    3.         project.setName("Live Aid");
    4.         projectRepository.saveAndFlush(project);
    5. }

    但是，调用上述方法会导致生成其他条目，如下表所示：

    下载审核数据

    由于库提供的API，存储的审计数据可以从存储库中检索，称为JaVers查询语言（link：JQL (JaVers Query Language) examples — JaVers Documentation）。可用方法返回的数据可以以以下三种形式之一呈现：

    • 影子 – 包含域对象的历史数据，这些数据是从快照（快照）重新创建的
    • 更改 – 表示两个对象属性之间的差异
    • 快照 – 包含域对象的历史数据，表示为具有值的属性映射

    以下是以所讨论的每种形式返回数据的代码片段。此外，在每个代码段下，还显示了调用该方法后返回的数据示例。

    影子查询

    查询：

    1.  public String getShadow() {
    2.         JqlQuery query = QueryBuilder.byClass(Project.class).build();
    3.         List<Shadow<Object>> shadows = javers.findShadows(query);
    4.  
    5.         return javers.getJsonConverter().toJson(shadows);
    6. }
    响应： 
    1.   [
    2.   {
    3.     "commitMetadata": {
    4.       "author": "Freddie Mercury",
    5.       "properties": [],
    6.       "commitDate": "2022-05-03T20:02:27.554",
    7.       "commitDateInstant": "2022-05-03T18:02:27.554689400Z",
    8.       "id": 2.00
    9.     },
    10.     "it": {
    11.       "id": "37bfc44c-ab29-44b5-869c-b39b705bdfdf",
    12.       "name": "Live Aid",
    13.       "details": {
    14.         "startTime": "2022-05-03T20:02:12.274037",
    15.         "endTime": "2022-05-17T20:02:12.274037"
    16.       }
    17.     }
    18.   },
    19.   {
    20.     "commitMetadata": {
    21.       "author": "Freddie Mercury",
    22.       "properties": [],
    23.       "commitDate": "2022-05-03T20:02:12.343",
    24.       "commitDateInstant": "2022-05-03T18:02:12.343208800Z",
    25.       "id": 1.00
    26.     },
    27.     "it": {
    28.       "id": "37bfc44c-ab29-44b5-869c-b39b705bdfdf",
    29.       "name": "Project 1",
    30.       "details": {
    31.         "startTime": "2022-05-03T20:02:12.2740372",
    32.         "endTime": "2022-05-17T20:02:12.2740372"
    33.       }
    34.     }
    35.   }
    36. ]

    如我们所见，返回的响应包含有关同一对象不同版本的信息。例如，返回的数据没有关于给定版本中哪个值已更改的专用信息。

    更改查询

    查询：

    1.    public String getChanges() {
    2.         JqlQuery query = QueryBuilder.byClass(Project.class).build();
    3.         Changes changes = javers.findChanges(query);
    4.  
    5.         return javers.getJsonConverter().toJson(changes);
    6. }
    响应： 
    1.   [
    2.   {
    3.     "changeType": "ValueChange",
    4.     "globalId": {
    5.       "entity": "io.devapo.javerssample.entity.Project",
    6.       "cdoId": "37bfc44c-ab29-44b5-869c-b39b705bdfdf"
    7.     },
    8.     "commitMetadata": {
    9.       "author": "Freddie Mercury",
    10.       "properties": [],
    11.       "commitDate": "2022-05-03T20:02:27.554",
    12.       "commitDateInstant": "2022-05-03T18:02:27.554689400Z",
    13.       "id": 2.00
    14.     },
    15.     "property": "name",
    16.     "propertyChangeType": "PROPERTY_VALUE_CHANGED",
    17.     "left": "Project 1",
    18.     "right": "Live Aid"
    19.   },
    20.   {
    21.     "changeType": "NewObject",
    22.     "globalId": {
    23.       "entity": "io.devapo.javerssample.entity.Project",
    24.       "cdoId": "37bfc44c-ab29-44b5-869c-b39b705bdfdf"
    25.     },
    26.     "commitMetadata": {
    27.       "author": "Freddie Mercury",
    28.       "properties": [],
    29.       "commitDate": "2022-05-03T20:02:12.343",
    30.       "commitDateInstant": "2022-05-03T18:02:12.343208800Z",
    31.       "id": 1.00
    32.     }
    33.   },
    34.   {
    35.     "changeType": "InitialValueChange",
    36.     "globalId": {
    37.       "entity": "io.devapo.javerssample.entity.Project",
    38.       "cdoId": "37bfc44c-ab29-44b5-869c-b39b705bdfdf"
    39.     },
    40.     "commitMetadata": {
    41.       "author": "Freddie Mercury",
    42.       "properties": [],
    43.       "commitDate": "2022-05-03T20:02:12.343",
    44.       "commitDateInstant": "2022-05-03T18:02:12.343208800Z",
    45.       "id": 1.00
    46.     },
    47.     "property": "id",
    48.     "propertyChangeType": "PROPERTY_VALUE_CHANGED",
    49.     "left": null,
    50.     "right": "37bfc44c-ab29-44b5-869c-b39b705bdfdf"
    51.   },
    52.   {
    53.     "changeType": "InitialValueChange",
    54.     "globalId": {
    55.       "entity": "io.devapo.javerssample.entity.Project",
    56.       "cdoId": "37bfc44c-ab29-44b5-869c-b39b705bdfdf"
    57.     },
    58.     "commitMetadata": {
    59.       "author": "Freddie Mercury",
    60.       "properties": [],
    61.       "commitDate": "2022-05-03T20:02:12.343",
    62.       "commitDateInstant": "2022-05-03T18:02:12.343208800Z",
    63.       "id": 1.00
    64.     },
    65.     "property": "name",
    66.     "propertyChangeType": "PROPERTY_VALUE_CHANGED",
    67.     "left": null,
    68.     "right": "Project 1"
    69.   }
    70. ]

    在上面的示例中，我们可以看到仅针对Project类中的字段返回更改信息，省略了嵌入的ProjectDetails类型的值。

    生成的响应列出了有关对象创建和特定字段值分配的信息。因此，在以Changes 的形式调用数据查询时，值得通过设置适当的筛选器来缩小搜索区域。

    快照查询

    查询：

    1. public String getSnapshot() {
    2.         JqlQuery query = QueryBuilder.byClass(Project.class).build();
    3.         List<CdoSnapshot> snapshots = javers.findSnapshots(query);
    4.  
    5.         return javers.getJsonConverter().toJson(snapshots);
    6. }
    响应： 
    1.  [
    2.   {
    3.     "commitMetadata": {
    4.       "author": "Freddie Mercury",
    5.       "properties": [],
    6.       "commitDate": "2022-05-03T20:02:27.554",
    7.       "commitDateInstant": "2022-05-03T18:02:27.554689400Z",
    8.       "id": 2.00
    9.     },
    10.     "globalId": {
    11.       "entity": "io.devapo.javerssample.entity.Project",
    12.       "cdoId": "37bfc44c-ab29-44b5-869c-b39b705bdfdf"
    13.     },
    14.     "state": {
    15.       "name": "Live Aid",
    16.       "details": {
    17.         "valueObject": "io.devapo.javerssample.entity.Project$ProjectDetails",
    18.         "ownerId": {
    19.           "entity": "io.devapo.javerssample.entity.Project",
    20.           "cdoId": "37bfc44c-ab29-44b5-869c-b39b705bdfdf"
    21.         },
    22.         "fragment": "details"
    23.       },
    24.       "id": "37bfc44c-ab29-44b5-869c-b39b705bdfdf"
    25.     },
    26.     "changedProperties": [
    27.       "name"
    28.     ],
    29.     "type": "UPDATE",
    30.     "version": 2
    31.   },
    32.   {
    33.     "commitMetadata": {
    34.       "author": "Freddie Mercury",
    35.       "properties": [],
    36.       "commitDate": "2022-05-03T20:02:12.343",
    37.       "commitDateInstant": "2022-05-03T18:02:12.343208800Z",
    38.       "id": 1.00
    39.     },
    40.     "globalId": {
    41.       "entity": "io.devapo.javerssample.entity.Project",
    42.       "cdoId": "37bfc44c-ab29-44b5-869c-b39b705bdfdf"
    43.     },
    44.     "state": {
    45.       "name": "Project 1",
    46.       "details": {
    47.         "valueObject": "io.devapo.javerssample.entity.Project$ProjectDetails",
    48.         "ownerId": {
    49.           "entity": "io.devapo.javerssample.entity.Project",
    50.           "cdoId": "37bfc44c-ab29-44b5-869c-b39b705bdfdf"
    51.         },
    52.         "fragment": "details"
    53.       },
    54.       "id": "37bfc44c-ab29-44b5-869c-b39b705bdfdf"
    55.     },
    56.     "changedProperties": [
    57.       "name",
    58.       "details",
    59.       "id"
    60.     ],
    61.     "type": "INITIAL",
    62.     "version": 1
    63.   }
    64. ]

    在上面的示例中，我们可以看到Snapshot响应包含与Shodow响应类似的数据集，但包含一些其他元素，例如更改值的列表或审计数据类型（初始或更新）。

    总结

    上面的文章介绍了JaVers工具，它允许您促进和部分自动化数据审计过程。在我们看来，此工具可以让您满足许多项目要求，同时实现它所需的少量工作。我们很高兴与该库分享我们的经验，并鼓励您尝试一下。

  • 相关阅读:
    Oracle故障案例之-19C时区补丁DSTV38更新
    【buildroot】buildroot使用笔记-03 | 系统初始化的三种方式
    【计算机网络】物理层：物理层要解决哪些问题？
    Python的包和模块
    中兴B863AV3.1-M2_卡刷固件_萌虎开机动画
    sentinel环境搭建以及微服务接入
    纯前端导出excel表格 使用xlsx-style 可自定义样式,行高,打印属性,页边距,多表格压缩包下载
    pytorch模型量化和移植安卓详细教程
    青云霍秉杰：一文读懂Prometheus长期存储主流方案
    【AI 测试】分词器
  • 原文地址：https://blog.csdn.net/allway2/article/details/128100762