談一談單元測試

寫在前面

對於我們開發人員來說,單元測試一定不會陌生,但在各種原因下會被忽視,尤其是在我接觸到的專案中,提測階段發現各種各樣的問題,我覺得有必要聊一下單元測試。
為了寫而寫的單元測試沒什麼價值,但一個好的單元測試帶來的收益是非常客觀的。問題是怎麼去寫好單元測試?怎麼去驅動寫好單元測試?

一  我們的現狀

現狀一:多個專案完全沒有單元測試。
現狀二:開發人員沒有寫單元測試的習慣,或者由於趕業務記錄而沒有時間去寫。
現狀三:單元測試寫成了整合測試,比如容器、資料庫,導致單元測試執行時間長,失去了意義。
現狀四:太依賴整合測試。
以上是我在aone找的兩個專案的測試情況,基本不考慮單元測試就合併釋出,形同虛設。
站在開發的角度講,導致以上問題的原因大概有以下幾點:
  1. 開發成本
對於系統初期,可能要花很多時間去寫新業務,對於老系統又太過龐大,無法下手。
  1. 維護成本
每修改相關的類,或者重構一次程式碼,我們就要去修改相應的單元測試。
  1. ROI
投入產出是不是正收益?可能無論是管理者還是我們開發自己都回質疑這個問題,所以有時候沒有強有力的動力。

二  怎麼解決

說來說去都是成本的問題,所以我們怎麼去解決成本呢?
那麼,我們一切從最開始說起:開發的成本
一個單元測試的傳統寫法,包含以下幾個方面:
  1. 測試資料 (被測資料,和依賴物件)
  2. 測試方法
  3. 返回值斷言
@Testpublicvoid testAddGroup() {// 資料 BuyerGroupDTO groupDTO = new BuyerGroupDTO(); groupDTO.setGmtCreate(newDate()); groupDTO.setGmtModified(newDate()); groupDTO.setName("中國"); groupDTO.setCustomerId(customerId);// 方法 Result<Long> result = customerBuyerDomainService.addBuyerGroup(groupDTO);// 返回值斷言 Assert.assertTrue(result.isSuccess()); Assert.assertNotNull(result.getData()); }
一個簡單的測試還好,但如果是一邏輯複雜,且入引數據複雜的時候,那寫起來其實挺頭痛的。怎麼解放我們程式設計師的雙手?
“工欲善其事必先利其器”
我們以最大的努力降低我們的開發成本,這就涉及到我們測試框架和工具的選擇問題

1  測試框架選擇

首先第一個問題就是junit4和junit5的選擇,【從junit4到junit5】 我覺得最便利的一個好處就是可以引數化測試,並且基於引數化測試我們可以更加靈活的配置我們的引數。
效果如下:
@ParameterizedTest@ValueSource(strings = { "racecar", "radar", "able was I ere I saw elba" })void palindromes(String candidate) { assertTrue(StringUtils.isPalindrome(candidate));}
更好的是,junit5提供了擴充套件,比如我們常用的json格式。這裡我們使用json檔案作為輸入:
@ParameterizedTest@JsonFileSource(resources = {"/com/cq/common/KMPAlgorithm/test.json"})public void test2Test(JSONObject arg) { Animal animal = JSONObject.parseObject(arg.getString("Animal"),Animal.class); List<String> stringList = JSONObject.parseArray(arg.getString("List<String>"),String.class); when(testService.testOther(any(Student.class))).thenReturn(stringArg);when(testService.testMuti(any(List.class),any(Integer.class))).thenReturn(stringList);when(testService.getAnimal(any(Integer.class))).thenReturn(animal); String result = kMPAlgorithm.test2();//todo verify the result }

2  mock框架

然後就是其他mock類的框架了
Mockito: 語法特別優雅,對於容器類的模擬比較合適,且對於返回值為空的函式呼叫也提供比較好的斷言。缺點是不能模擬靜態方法(3.4.x以上版本已支援)
EasyMock: 使用方法類似,但是更嚴格
PowerMock: 可以作為Mockito的一個補充,比如要測試靜態方法,不過不支援junit5
Spock: 基於Groovy語言的單元測試框架

3  資料庫層

這裡主要介紹一下H2資料庫,其基於記憶體來作為對於關係型資料庫的模擬,執行完成自動釋放,達到隔離的目的。
主要配置:ddl檔案路徑、dml檔案路徑。這裡不作詳述。
但對於要不要整合資料庫,很難去定義,它的作用主要是用來驗證sql語法的問題,但是相對來說較重,建議可以用於輕量級的整合測試。

三  Junit5和Mockito

後面講到的自動生成使用的框架和業界使用最多的都是MocKito,所以這裡重點介紹一下,包括使用時遇到的問題。

1  使用方法

  1. 分別單獨引入依賴,推薦引入最新版
<!-- junit5 --><dependency><groupId>org.junit.jupiter</groupId><artifactId>junit-jupiter</artifactId><version>5.7.2</version><scope>test</scope></dependency><!-- mockito --><dependency><groupId>org.mockito</groupId><artifactId>mockito-core</artifactId><version>3.9.0</version><scope>test</scope></dependency><!-- mockito 的junit5介面卡 --><dependency><groupId>org.mockito</groupId><artifactId>mockito-junit-jupiter</artifactId><version>3.9.0</version><scope>test</scope></dependency>
2. 使用spring-test全家桶
<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><scope>test</scope><version>2.5.0</version></dependency>
junit5的使用方法這裡就不多做介紹,主要說一下這個ArgumentsProvider介面,實現它就可以自定義引數化類,類似於自帶的ValueSource、EnumSource等。

2  Mockito 主要註解介紹

先問為什麼,為什麼需要Mockito
因為:現在的java專案幾乎離不開spring框架,而其最為著名的就是IOC,所有的bean用容器來管理,所以這給我們單元測試帶來一個問題,如果要對bean做單元測試,就需要啟動容器,那麼帶來的時間的開銷將會很大。所以Mockito給我門帶來了一系列的解決方法,讓我們可以輕鬆的對bean 進行測試。
@ComponentpublicclassA{@Autowiredprivate B b; // 完全mock@Autowiredprivate C c; // 需要執行方法@Autowired D d; // 需要執行真實方法publicvoidfunc(){ }}@ComponentclassC{@Autowiredprivate B b;publicvoidneedExec(){ }}@ComponentpublicclassB{}
假設我們要對上面的A.func()進行單元測試。

@InjectMocks註解

 表示需要注入bean的類,有兩種
  1. 被測試類,這種很容易理解,我們測試這個類,當然也需要向其注入bean。比如上面的A
  2. 被測試類中的,需要執行其真實的方法,但其裡面也要主要bean,也就是上面的C,我們需要測試neeExec方法,但我們不關係B的具體細節。現實中比如事物,併發鎖等。這一類需要Mockito.spy(new C())的形式,不然會報錯

@Mock

表示要mock的資料,也就是不真實執行其方法內容,只按照我們的規則執行,或者返回,比如使用when().thenReturn()語法。
當然也可以,執行真實方法,則需要when().thenCallRealMethod()方式。

@Spy

表示所有方法都走真實方式,比如有些工具類,轉換類,我們也寫成了bean的形式(嚴格來說這種需要寫成靜態工具類)。
@ExtendWith(MockitoExtension.class)publicclassATest{@InjectMocksprivate A a=new A(); @Mockprivate B b;@Spyprivate D d;@InjectMocksprivate C c= Mockito.spy(new C());;@BeforeEachpublicvoidsetUp()throws Exception { MockitoAnnotations.openMocks(this); }@ParameterizedTest@ValueSource(strings = {"/com/alibaba/cq/springtest/jcode5test/needMockService/A/func.json"})publicvoidfuncTest(String str){ JSONObject arg= TestUtils.getTestArg(str); a.func();//todo verify the result }}

3  Mockito和junit5常見問題

1. mock靜態方法

mockito3.4以後開始支援,之前的版本可以使用PowerMock輔助使用

2. Mockito版本和java版本相容問題

報錯如下
Mockito cannot mock thisclass: xxxMockito can only mock non-private & non-final classes.
原因是2.17.0及之前的版本與java8是相容的
但2.18之後需要使用java11,為了在java8中使用Mockito,則需要引入另一個包
<dependency><groupId>net.bytebuddy</groupId><artifactId>byte-buddy</artifactId><version>1.12.6</version></dependency>

3. Jupiter-api版本相容問題

Process finished withexit code 255java.lang.NoSuchMethodError: org.junit.jupiter.api.extension.ExtensionContext.getRequiredTestInstances()Lorg/junit/jupiter/api/extension/TestInstance
第一個問題是因為junit5中api、engine、params版本不一致導致的。
第二個問題是因為jupiter-api版本太低的問題,5.7.0以後的版本才支援。

四  測試程式碼自動生成

選好了框架,我們還是沒有解決我們的問題,“怎麼節約開發成本?” ,這一節我們來談這個問題,這也是我主要想表達的。
對於寫單元測試,一直以來是比較頭痛的事情,要組裝各種各樣的資料,可能還沒跑成功,就被一堆“xxxx不能為null”的報錯搞煩了。因此我們有理由去設想,有沒有辦法去解決這件事情。

1  業界和集團方案調研

在做這個事情之前,肯定是要調研有沒有現成的框架。答案是有,但很遺憾,沒有找到完全契合我想要的效果,我們來看一下這些外掛:
publicclassBaseTest {protected TestService testService;public String baseTest() {return testService.testBase(1); // 4 }}publicclassJCode5extendsBaseTest {publicvoidtestExtend(){ String s = testService.testOther(new Student()); //1 // 呼叫 另一個方法 System.out.println(testBean());// 呼叫基類方法 baseTest(); }// 使用testServicepublic String testBean() { testService.testMuti(new ArrayList<Integer>() {{add(1);}}, 2); //2return testService.getStr(12); //3 }/** * 測試範型類 */publicvoidtestGeneric(Person person) {//test list.stream().forEach(a -> { System.out.println(a); });for (int i = 0; i < 2; i++) { Long aLong = testService.getLong("1213" , "12323"); System.out.println(aLong); } System.out.println(testBean()); }}publicclassTestService {public String testBase(Integer integer) {return"TestBase"; }public List<String> testMuti(List<Integer> a, Integer c) { List<String> res = new ArrayList<>(); res.add(a.toString() + c + "test muti");return res; }public String getStr(Integer integer) {return"TestService" + getInt(); }public String testOther(Student student) {return student.getAge() + "age"; }}
如上,testExtend一共呼叫了testService的4個方法,我們對比下各個外掛生成的程式碼。

1、TestMe

@Test void testTestExtend() {when(testService.getStr(anyInt())).thenReturn("getStrResponse");when(testService.testMuti(any(), anyInt())).thenReturn(Arrays.<String>asList("String"));when(testService.testOther(any())).thenReturn("testOtherResponse");jCode5.testExtend(Integer.valueOf(0)); } @Test void testTestGeneric() {when(testService.getStr(anyInt())).thenReturn("getStrResponse");when(testService.getLong(anyString(), anyString())).thenReturn(Long.valueOf(1));when(testService.testMuti(any(), anyInt())).thenReturn(Arrays.<String>asList("String"));jCode5.testGeneric(newPerson()); }
1、生成的程式碼基本符合邏輯,包括需要mock的bean的邏輯都生成了。
2、但它把最重要的一環,也就是資料省略了,只是單純的用了建構函式的形式。這顯然對於我們DDD模型不適應。
3、另外他沒用用到junit5的一些特性,比如引數化測試。
4、對於testExtend的方法,它只識別了3個方法。沒有識別父類的呼叫。

2、JunitGenerate

只能生成基礎的框架程式碼,對於我想mock的邏輯、以及測試方法都沒有生成,用處不大。
@TestpublicvoidtestTestExtend()throws Exception { //TODO: Test goes here... }

3、Squaretest

生成的方法非常豐富,且一個非常厲害的一點,它能生成多個分支,比如程式碼邏輯中有if條件,它能生成兩個測試,從而走不通的分支。
但是,最大的缺點是“收費軟體,不開源”,這就決定了我們沒法用它,除非是特別需要。另外測試用過程中還發現了一些其他問題,比如對於繼承,過載之類的問題,它解決的也不是很好,往往識別不了需要呼叫的方法。
雖然無法使用,但還是可以借鑑。

五  打造程式碼自動生成最佳方案

既然市場上的外掛都不是特別合適,就決定寫一個適合自己專案的外掛(暫時命名JCode5)。有興趣的也可以自己試試。

1  外掛安裝

idea外掛市場下載,搜尋JCode5

2  外掛使用

外掛有三個功能
  1. 生成測試程式碼,也就是生成單元測試。
  2. 生成json資料,通常用來生成測試資料,比如model。用來引數化測試。
  3. 增加測試方法,隨著業務開發,類可能增加一下功能方法,這個時候相應的可以增加測試方法
定位到需要測試的類,快捷鍵或選單定位到generater,如下,選擇JCode5.

1、生成測試類

目前支援三個選項,後續會逐漸完善
另外兩個功能類似,直接嘗試使用一下就行。

2、生成的結果—類+json資料

@ParameterizedTest@ValueSource(strings = {"/com/cq/common/JCode5/testExtend.json"})publicvoid testExtendTest(String str) { JSONObject arg= TestUtils.getTestArg(str); Integer i = arg.getInteger("Integer"); // 識別泛型活著集合類 List<String> stringList = JSONObject.parseArray(arg.getString("List<String>"),String.class); String stringArg = arg.getString("String"); String stringArg1 = arg.getString("String"); String stringArg0 = arg.getString("String"); // 識別四個方法,包括父類呼叫、其他方法呼叫 when(testService.testBase(any(Integer.class))).thenReturn(stringArg); when(testService.testMuti(any(List.class),any(Integer.class))).thenReturn(stringList); when(testService.getStr(any(Integer.class))).thenReturn(stringArg0); when(testService.testOther(any(Student.class))).thenReturn(stringArg1); jCode5.testExtend(i);//todo verify the result }
如上除了生成基本的程式碼,另外會生成測試資料,它會將該方法所需要的測試資料全都生成在一個json檔案當中,完全實現
“資料和程式碼的分離”
如testExtend.json:
{"Integer":1,"String":"test","List<String>":["test" ]}

3、補充判定語句

這一塊前期考慮對於不同的方法有不同的校驗,所以目前想的還是開發者自己去寫驗證程式碼。

注意事項

在自動生成完程式碼之後,雖然可以執行,但如我們前面提到的,為了寫單元測試而寫的單元測試是沒什麼價值的,我們的最終目的是為了寫一個好的測試。程式碼自動生成,但它終究能力有限,所以還是需要我們自己再去驗證,比如
  1. 該外掛生成的程式碼需要junit5和mockito的支援,使用時需要引入相關的依賴
  2. 增加assert校驗邏輯,看是不是想要的結果,目前外掛不會自動生成assertEquals等斷言程式碼。
  3. 運用引數化測試能力,複製一份生成的json檔案並修改輸入資料,多組測試

3  外掛實現介紹

主要的實現思路,參考了dubbo的SPI的原始碼,也就是自動實現自適應SPI那部分,簡單點說就是反射獲取程式碼邏輯,然後生成測試程式碼。

4  後期規劃

  1. mock資料可定製,目前的想法是
    1. 固定值比如目前的String: test、Integer和boolean: 0、1
    2. 測試者使用配置模版,比如txt檔案包含keyValue對
    3. 使用Faker,對於name、email、phone這種特定傾向的資料進行特色自動生成
  2. 自動分支測試,這一塊的想法目前主要針對if來做,需要一定的時間。
  3. 其他

六  寫在最後

對於程式碼自動生成,還是有很多東西可以做的,但有些問題還尚待解決,希望能盡最大努力解放我們的雙手,也能提高我們單元測試的質量。
已在我們專案中使用此模式增加135個測試用例(除去mock的單模組達到70%):速度比整合測試(pandora、spring等)提升一個等級。程式碼的覆蓋率相對可觀。

Elasticsearch實戰進階營

點選閱讀原文檢視詳情


相關文章