• 如何在TestNG中恢复失败的测试用例？

    有时，案例失败，不是因为应用程序错误，而是因为意外事件，如浏览器问题，网络滞后等，现在，我们可能需要重新验证失败的案例，看看这些意外事件是否仍然存在。TestNG为我们提供了一些方法来做到这一点。

    让我们一个接一个地看每一种方式。

    使用testng-failed.xml文件重新运行失败的测试用例

    让我们首先尝试运行一个测试类。我们的测试类将有三个测试用例。

    1. package Test;
    2.  
    3. import org.testng.Assert;
    4. import org.testng.annotations.Test;
    5.  
    6. public class CodekruTest {
    7.  
    8.     @Test
    9.     public void test1() {
    10.         System.out.println("Executing test1 in CodekruTest class");
    11.         Assert.assertTrue(true);
    12.     }
    13.  
    14.     @Test
    15.     public void test2() {
    16.         System.out.println("Executing test2 in CodekruTest class");
    17.         Assert.assertTrue(false); // failing this test case
    18.     }
    19.  
    20.     @Test
    21.     public void test3() {
    22.         System.out.println("Executing test3 in CodekruTest class");
    23.         Assert.assertTrue(false); // failing this test case as well
    24.     }
    25.  
    26. }

    下面是运行上述测试类的XML文件

    1. <suite name="codekru">
    2.     <test name="codekruTest">
    3.         <classes>
    4.             <class name="Test.CodekruTest" />
    5.         classes>
    6.     test>
    7. suite>

    运行上述XML文件后的输出-

    Executing test1 in CodekruTest class

    Executing test2 in CodekruTest class

    Executing test3 in CodekruTest class

    ===============================================

    codekru Total tests run: 3, Passes: 1, Failures: 2, Skips: 0 

     现在，有两个用例失败了（test 2和test 3），并且必须在testng-output中创建一个testng-failed.xml文件，该文件可用于运行失败的测试用例。

    testng—failed.xml文件的内容包含再次运行失败案例所需的信息。

    1. "1.0" encoding="UTF-8"?>
    2. suite SYSTEM "https://testng.org/testng-1.0.dtd">
    3. <suite name="Failed suite [Failed suite [codekru]]" guice-stage="DEVELOPMENT">
    4.   <test thread-count="5" name="codekruTest(failed)(failed)">
    5.     <classes>
    6.       <class name="Test.CodekruTest">
    7.         <methods>
    8.           <include name="test3"/>
    9.           <include name="test2"/>
    10.         methods>
    11.       class> 
    12.     classes>
    13.   test> 
    14. suite>

     运行testng-failed.xml文件后的输出-

    1. [RemoteTestNG] detected TestNG version 7.4.0
    2. Executing test3 in CodekruTest class
    3. Executing test2 in CodekruTest class
    4.  
    5. ===============================================
    6. Failed suite [Failed suite [codekru]]
    7. Total tests run: 2, Passes: 0, Failures: 2, Skips: 0

    在这里，我们可以看到，只有失败的案件得到执行。

    如果失败的用例依赖于其他通过的测试用例怎么办？
    1. package Test;
    2.  
    3. import org.testng.Assert;
    4. import org.testng.annotations.Test;
    5.  
    6. public class CodekruTest {
    7.  
    8.     @Test
    9.     public void test1() {
    10.         System.out.println("Executing test1 in CodekruTest class");
    11.         Assert.assertTrue(true);
    12.     }
    13.  
    14.     @Test(dependsOnMethods = "test4")
    15.     public void test2() {
    16.         System.out.println("Executing test2 in CodekruTest class");
    17.         Assert.assertTrue(false); // failing this test case
    18.     }
    19.  
    20.     @Test(dependsOnMethods = "test4")
    21.     public void test3() {
    22.         System.out.println("Executing test3 in CodekruTest class");
    23.         Assert.assertTrue(false); // failing this test case as well
    24.     }
    25.  
    26.     @Test
    27.     public void test4() {
    28.         System.out.println("Executing test4 in CodekruTest class");
    29.         Assert.assertTrue(true);
    30.     }
    31. }

    让我们再次运行CodekruTest类

    1. Executing test1 in CodekruTest class
    2. Executing test4 in CodekruTest class
    3. Executing test2 in CodekruTest class
    4. Executing test3 in CodekruTest class
    5. PASSED: test4
    6. PASSED: test1
    7. FAILED: test3
    8. FAILED: test2
    9. ===============================================
    10.     Default test
    11.     Tests run: 4, Failures: 2, Skips: 0
    12. ===============================================

     在这里，test 4用例通过，而test 2和test 3仍然失败。现在让我们看看testng-failed.xml文件的内容。

    让我们在CodekruTest类中再包含一个测试用例（test4），test2和test3将使用dependsOnMethods属性依赖于test4。

    1. package Test;
    2.  
    3. import org.testng.Assert;
    4. import org.testng.annotations.Test;
    5.  
    6. public class CodekruTest {
    7.  
    8.     @Test
    9.     public void test1() {
    10.         System.out.println("Executing test1 in CodekruTest class");
    11.         Assert.assertTrue(true);
    12.     }
    13.  
    14.     @Test(dependsOnMethods = "test4")
    15.     public void test2() {
    16.         System.out.println("Executing test2 in CodekruTest class");
    17.         Assert.assertTrue(false); // failing this test case
    18.     }
    19.  
    20.     @Test(dependsOnMethods = "test4")
    21.     public void test3() {
    22.         System.out.println("Executing test3 in CodekruTest class");
    23.         Assert.assertTrue(false); // failing this test case as well
    24.     }
    25.  
    26.     @Test
    27.     public void test4() {
    28.         System.out.println("Executing test4 in CodekruTest class");
    29.         Assert.assertTrue(true);
    30.     }
    31. }

    让我们再次运行CodekruTest类

    Executing test1 in CodekruTest class

    Executing test4 in CodekruTest class

    Executing test2 in CodekruTest class

    Executing test3 in CodekruTest class

    PASSED: test4 PASSED: test1 FAILED: test3 FAILED: test2 ===============================================

    Default test Tests run: 4, Failures: 2, Skips: 0 ===============================================

     在这里，test 4用例通过，而test 2和test 3仍然失败。现在让我们看看testng-failed.xml文件的内容。

    1. "1.0" encoding="UTF-8"?>
    2. suite SYSTEM "https://testng.org/testng-1.0.dtd">
    3. <suite name="Failed suite [Default suite]" guice-stage="DEVELOPMENT">
    4.   <test thread-count="5" name="Default test(failed)">
    5.     <classes>
    6.       <class name="Test.CodekruTest">
    7.         <methods>
    8.           <include name="test4"/>
    9.           <include name="test3"/>
    10.           <include name="test2"/>
    11.         methods>
    12.       class> 
    13.     classes>
    14.   test> 
    15. suite>

    我们可以看到test 4也包含在testng-failed.xml文件中，因为test 2和test 3依赖于test 4。因此，现在在执行testng-failed.xml文件后将运行三个测试用例。

    Executing test4 in CodekruTest class

    Executing test3 in CodekruTest class

    Executing test2 in CodekruTest class ===============================================

    Failed suite [Default suite] Total tests run: 3, Passes: 1, Failures: 2, Skips: 0 ===============================================

    使用RetryAnalyzer重新运行失败的案例

    通过testng-failed.xml运行失败的用例是一个很好的方法来验证测试用例，但是失败的用例将在TestNG执行整个测试套件之后执行。TestNG为我们提供了一个特性，它可以在失败时立即恢复我们的用例，我们可以通过使用retryAnalyzer属性来实现这一点。

    使用retryAnalyzer属性的一些优点

    • 一旦失败，就会立即执行失败的用例，而无需等待TestNG执行整个套件。
    • 我们可以重试失败的次数，只要我们想要的。

    那么，我们如何在代码中使用重试分析器呢？

    • 创建一个实现IRetryAnalyzer接口的类。
    • 将实现IRetryAnalyzer接口的类绑定到@Test注释。例如& nbsp;@Test（retryAnalyzer = Retry.class）

    让我们创建一个实现IRetryAnalyzer接口的类。IRetryAnalyzer有一个retry（）方法，我们的类将覆盖该方法。

    1. package Test;
    2.  
    3. import org.testng.IRetryAnalyzer;
    4. import org.testng.ITestResult;
    5.  
    6. public class Retry implements IRetryAnalyzer {
    7.  
    8.     int counter = 0;
    9.     int retryLimit = 2; // maximum number of times, the case can be retried
    10.  
    11.     public boolean retry(ITestResult result) {
    12.         if (counter < retryLimit) {
    13.             counter++;
    14.             return true; // retry the case if retryLimit is not exhausted
    15.         }
    16.         return false; // Do not retry anymore, as retryLimit is exhausted
    17.     }
    18.  
    19. }

     

    • 在这里，计数器变量存储了一个案例被执行的次数。
    • retryLimit变量告知单个测试用例的最大重试次数。

    它将重试该案件，直到案件通过或重试已用尽。现在，我们将在我们的测试类（CodekruTest）中使用它。

    1. package Test;
    2.  
    3. import org.testng.Assert;
    4. import org.testng.annotations.Test;
    5.  
    6. public class CodekruTest {
    7.  
    8.     @Test
    9.     public void test1() {
    10.         System.out.println("Executing test1 in CodekruTest class");
    11.         Assert.assertTrue(true);
    12.     }
    13.  
    14.     @Test(retryAnalyzer = Retry.class)
    15.     public void test2() {
    16.         System.out.println("Executing test2 in CodekruTest class");
    17.         Assert.assertTrue(false); // failing this test case
    18.     }
    19.  
    20.     @Test()
    21.     public void test3() {
    22.         System.out.println("Executing test3 in CodekruTest class");
    23.         Assert.assertTrue(false); // failing this test case as well
    24.     }
    25. }

     现在，test2（）用例在失败后将重试2次。所以，现在让我们尝试使用下面的XML文件运行我们的CodekruTest类。

    1. <suite name="codekru">
    2.     <test name="codekruTest">
    3.         <classes>
    4.             <class name="Test.CodekruTest" />
    5.         classes>
    6.     test>
    7. suite>

     

    产出-

    1. Executing test1 in CodekruTest class
    2. Executing test2 in CodekruTest class
    3. Executing test2 in CodekruTest class
    4. Executing test2 in CodekruTest class
    5. Executing test3 in CodekruTest class
    6.  
    7. ===============================================
    8. codekru
    9. Total tests run: 5, Passes: 1, Failures: 2, Skips: 0, Retries: 2

    我们可以看到test2（）已经重试了两次。

    如何对一个类的所有案例进行重试？

    有时候，对每个用例都使用retryAnalyzer需要花费时间，尤其是当类有很多测试用例的时候。为了保存我们，TestNG为我们提供类级注释的功能。我们只能在类级别上放置@Test（（retryAnalyzer = Retry.class）一次，它将应用于类中的所有案例。

    1. package Test;
    2.  
    3. import org.testng.Assert;
    4. import org.testng.annotations.Test;
    5.  
    6. @Test(retryAnalyzer = Retry.class)
    7. public class CodekruTest {
    8.  
    9.     public void test1() {
    10.         System.out.println("Executing test1 in CodekruTest class");
    11.         Assert.assertTrue(true);
    12.     }
    13.  
    14.     public void test2() {
    15.         System.out.println("Executing test2 in CodekruTest class");
    16.         Assert.assertTrue(false); // failing this test case
    17.     }
    18.  
    19.     public void test3() {
    20.         System.out.println("Executing test3 in CodekruTest class");
    21.         Assert.assertTrue(false); // failing this test case as well
    22.     }
    23. }

    现在，所有的测试用例如果失败，将被重试。让我们通过执行上面的类来尝试一下。

    1. Executing test1 in CodekruTest class
    2. Executing test2 in CodekruTest class
    3. Executing test2 in CodekruTest class
    4. Executing test2 in CodekruTest class
    5. Executing test3 in CodekruTest class
    6. Executing test3 in CodekruTest class
    7. Executing test3 in CodekruTest class

    test2（）和test3（）又执行了两次。

    如何对一套件的所有案件进行重试？

    现在让我们讨论一下如何在套件中运行的所有案例上设置重试？

    我们可以通过使用IAnnotationTransformer接口来实现这一点，在该接口中我们可以实现transform方法。我们将使用一个类（比如AnnotationTransformer）来实现IAnnotationTransformer接口。

    这个接口用于在运行时以编程方式添加注释，并且它的transform方法在每个测试用例运行时执行。因此，我们将重写transform方法，并在运行时在我们的测试用例中添加retryAnalyzer功能。

    1. package Test;
    2.  
    3. import org.testng.IAnnotationTransformer;
    4. import org.testng.annotations.ITestAnnotation;
    5. import java.lang.reflect.Constructor;
    6. import java.lang.reflect.Method;
    7.  
    8. public class AnnotationTransformer implements IAnnotationTransformer {
    9.  
    10.     public void transform(ITestAnnotation annotation, Class testClass, Constructor testConstructor, Method testMethod) {
    11.         annotation.setRetryAnalyzer(Retry.class); // setting the retryAnalyzer
    12.     }
    13.  
    14. }

    现在，如何使用AnnotationTransformer类，以便它可以将retryAnalyzer功能添加到我们的测试用例中。我们必须在testng.xml文件中添加这个类作为侦听器，然后由XML文件运行的所有案例都将添加retryAnalyzer属性。

    现在，我们的CodekruTest类看起来像

    1. package Test;
    2.  
    3. import org.testng.Assert;
    4. import org.testng.annotations.Test;
    5.  
    6. public class CodekruTest {
    7.  
    8.     @Test
    9.     public void test1() {
    10.         System.out.println("Executing test1 in CodekruTest class");
    11.         Assert.assertTrue(true);
    12.     }
    13.  
    14.     @Test
    15.     public void test2() {
    16.         System.out.println("Executing test2 in CodekruTest class");
    17.         Assert.assertTrue(false); // failing this test case
    18.     }
    19.  
    20.     @Test
    21.     public void test3() {
    22.         System.out.println("Executing test3 in CodekruTest class");
    23.         Assert.assertTrue(false); // failing this test case as well
    24.     }
    25. }

     我们的XML文件将是

    1. <suite name="codekru">
    2.     <listeners>
    3.         <listener class-name="Test.AnnotationTransformer" />
    4.     listeners>
    5.     <test name="codekruTest">
    6.         <classes>
    7.             <class name="Test.CodekruTest" />
    8.         classes>
    9.     test>
    10. suite>

     

    运行上述XML文件后的输出-

    1. Executing test1 in CodekruTest class
    2. Executing test2 in CodekruTest class
    3. Executing test2 in CodekruTest class
    4. Executing test2 in CodekruTest class
    5. Executing test3 in CodekruTest class
    6. Executing test3 in CodekruTest class
    7. Executing test3 in CodekruTest class
    8.  
    9. ===============================================
    10. codekru
    11. Total tests run: 7, Passes: 1, Failures: 2, Skips: 0, Retries: 4
    12. ===============================================

    我们可以看到，失败的案例被自动重试。

    最后一件重要的事

    您可能已经注意到，每当我们重试案例时，我们的总案例数就会增加，跳过的案例数也会增加。以下是我们上次执行死刑的总结

    注意：TestNG的新版本将Retries字段添加到摘要中。

    1. Executing test1 in CodekruTest class
    2. Executing test2 in CodekruTest class
    3. Executing test2 in CodekruTest class
    4. Executing test2 in CodekruTest class
    5. Executing test3 in CodekruTest class
    6. Executing test3 in CodekruTest class
    7. Executing test3 in CodekruTest class
    8.  
    9. ===============================================
    10. codekru
    11. Total tests run: 7, Passes: 1, Failures: 2, Skips: 0, Retries: 4
    12. ===============================================

    test case summary after retry

    我们可以看到跳过的案例或重试计数为4，总案例计数为7。但是有时候，我们不想把重试算在所有的用例中，而只想显示在我们的测试类中已经写好的用例的数量。

    那么，如何在所有情况下不计算重试次数呢？

    在这里，我们将不得不使用多一个接口，ITestrons，和一个类（比如TestListenerClass）来实现接口。

    1. package Test;
    2.  
    3. import org.testng.ITestListener;
    4. import org.testng.ITestResult;
    5.  
    6. public class TestListenerClass implements ITestListener {
    7.  
    8.     public void onTestSuccess(ITestResult result) {
    9.  
    10.         if (result.getMethod().getRetryAnalyzer(result) != null) {
    11.             int numberOfSkippedCases = result.getTestContext().getSkippedTests().getResults(result.getMethod()).size();
    12.  
    13.             for (int i = 0; i < numberOfSkippedCases; i++) {
    14.                 result.getTestContext().getSkippedTests().removeResult(result.getMethod());
    15.             }
    16.         }
    17.  
    18.     }
    19.      
    20.     public void onTestFailure(ITestResult result) {
    21.  
    22.         if (result.getMethod().getRetryAnalyzer(result) != null) {
    23.             int numberOfSkippedCases = result.getTestContext().getSkippedTests().getResults(result.getMethod()).size();
    24.  
    25.             for (int i = 0; i < numberOfSkippedCases; i++) {
    26.                 result.getTestContext().getSkippedTests().removeResult(result.getMethod());
    27.             }
    28.         }
    29.  
    30.     }
    31.  
    32. }

     

    那我们来这里干什么

    • onTestFailure（）方法在每次用例失败时执行，而onTestSuccess（）方法在测试用例通过时执行。
    • 因此，无论测试用例是通过还是失败，我们都将使用result.getMethod（）.getRetryAnalyzer（result）！=空条件。
    • 如果测试用例设置了retryAnalyzer属性，我们将计算跳过的用例的数量。因为每次我们重试一个案例，它都被标记为跳过。
    • 一旦我们知道了漏查的案子。我们将运行一个for循环来从结果中删除跳过的案例。

    现在，我们必须在XML文件中添加TestListenerClass作为侦听器。因此，我们更新的XML文件将是

    1. <suite name="codekru">
    2.     <listeners>
    3.         <listener class-name="Test.AnnotationTransformer" />
    4.         <listener class-name="Test.TestListenerClass" />
    5.     listeners>
    6.     <test name="codekruTest">
    7.         <classes>
    8.             <class name="Test.CodekruTest" />
    9.         classes>
    10.     test>
    11. suite>

    运行上述XML文件后的输出，它再次执行我们的CodekruTest类的案例-

    1. Executing test1 in CodekruTest class
    2. Executing test2 in CodekruTest class
    3. Executing test2 in CodekruTest class
    4. Executing test2 in CodekruTest class
    5. Executing test3 in CodekruTest class
    6. Executing test3 in CodekruTest class
    7. Executing test3 in CodekruTest class
    8.  
    9. ===============================================
    10. codekru
    11. Total tests run: 3, Passes: 1, Failures: 2, Skips: 0
    12. ===============================================

    这里我们可以看到，显示的计数仅为3，而不是7。

    尽管TestNG摘要看起来仍然像

    test case summary after retry

     

                                                                                                                                                                                                                                                                                                                                                               

  • 相关阅读:
    SpringSecurity基础：自定义登录和登出
    java虚拟机详解篇十二（方法调用和方法的绑定机制）
    尚硅谷Vue视频学习打卡-Vue组件化编程以及Vue脚手架的安装-简要介绍
    Zookeeper 启动失败【Cannot open channel to 3 at election address...】
    原来服务器这么有用-Docker安装
    制作电子签名
    windows操作系统部署Moodle3.9修改大文件上传限制
    ReentrantLock源码分析
    C语言函数调用过程解析
    linux 学习 day 07 进程信号
  • 原文地址：https://blog.csdn.net/TalorSwfit20111208/article/details/138169679