作者：HelloGitHub-Prodesire

HelloGitHub 的《講解開源專案》系列，專案地址：https://github.com/HelloGitHub-Team/Article

前言

說到 Python 的單元測試框架，想必接觸過 Python 的朋友腦袋裡第一個想到的就是 unittest。
的確，作為 Python 的標準庫，它很優秀，並被廣泛用於各個專案。但你知道嗎？其實在 Python 眾多專案中，主流的單元測試框架遠不止這一個。

本系列文章將為大家介紹目前流行的 Python 的單元測試框架，講講它們的功能和特點並比較其異同，以讓大家在面對不同場景、不同需求的時候，能夠權衡利弊，選擇最佳的單元測試框架。

本文預設以 Python 3 為例進行介紹，若某些特性在 Python 2 中沒有或不同，會特別說明。

一、介紹

unittest 單元測試框架最早受到 JUnit 的啟發，和其他語言的主流單元測試框架有著相似的風格。

它支援測試自動化，多個測試用例共享前置（setUp）和清理（tearDown）程式碼，聚合多個測試用例到測試集中，並將測試和報告框架獨立。

二、用例編寫

下面這段簡單的示例來自於官方文件，用來測試三種字串方法：upper、isupper、split：

import unittest

class TestStringMethods(unittest.TestCase):

    def test_upper(self):
        self.assertEqual('foo'.upper(), 'FOO')

    def test_isupper(self):
        self.assertTrue('FOO'.isupper())
        self.assertFalse('Foo'.isupper())

    def test_split(self):
        s = 'hello world'
        self.assertEqual(s.split(), ['hello', 'world'])
        # check that s.split fails when the separator is not a string
        with self.assertRaises(TypeError):
            s.split(2)

if __name__ == '__main__':
    unittest.main()
 

上述示例中，通過繼承 unittest.TestCase 來建立一個測試用例。
在這個類中，定義以 test 開頭的方法，測試框架將把它作為獨立的測試去執行。

每個用例都採用 unittest 內建的斷言方法來判斷被測物件的行為是否符合預期，比如：

• 在 test_upper 測試中，使用 assertEqual 檢查是否是預期值
• 在 test_isupper 測試中，使用 assertTrue 或 assertFalse 驗證是否符合條件
• 在 test_split 測試中，使用 assertRaises 驗證是否丟擲一個特定異常

可能有人會好奇，為什麼不使用內建斷言語句 assert，而要額外提供這麼多斷言方法並使用呢？原因是通過使用 unittest

三、用例發現和執行

unittest 支援用例自動（遞迴）發現：

• 預設發現當前目錄下所有符合 test*.py 測試用例
  • 使用 python -m unittest 或 python -m unittest discover
• 通過 -s 引數指定要自動發現的目錄， -p 引數指定用例檔案的名稱模式
  • python -m unittest discover -s project_directory -p "test_*.py"
• 通過位置引數指定自動發現的目錄和用例檔案的名稱模式
  • python -m unittest discover project_directory "test_*.py"

unittest 支援執行指定用例：

• 指定測試模組
  • python -m unittest test_module1 test_module2
• 指定測試類
  • python -m unittest test_module.TestClass
• 指定測試方法
  • python -m unittest test_module.TestClass.test_method
• 指定測試檔案路徑（僅 Python 3）
  • python -m unittest tests/test_something.py

四、測試夾具（Fixtures）

測試夾具也就是測試前置（setUp）和清理（tearDown）方法。

測試前置方法 setUp() 用來做一些準備工作，比如建立資料庫連線。它會在用例執行前被測試框架自動呼叫。

測試清理方法 tearDown() 用來做一些清理工作，比如斷開資料庫連線。它會在用例執行完成（包括失敗的情況）後被測試框架自動呼叫。

測試前置和清理方法可以有不同的執行級別。

4.1 生效級別：測試方法

如果我們希望每個測試方法之前前後分別執行測試前置和清理方法，那麼需要在測試類中定義好 setUp() 和 tearDown()：

class MyTestCase(unittest.TestCase):
    def setUp(self):
        pass

    def tearDown(self):
        pass

4.2 生效級別：測試類

如果我們希望單個測試類中只執行一次前置方法，再執行該測試類中的所有測試，最後執行一次清理方法，那麼需要在測試類中定義好 setUpClass() 和 tearDownClass()：

class MyTestCase(unittest.TestCase):
    def setUpClass(self):
        pass

    def tearDownClass(self):
        pass

4.3 生效級別：測試模組

如果我們希望單個測試模組中只執行一次前置方法，再執行該模組中所有測試類的所有測試，最後執行一次清理方法，那麼需要在測試模組中定義好 setUpModule() 和 tearDownModule()：

def setUpModule():
    pass

def tearDownModule():
    pass

五、跳過測試和預計失敗

unittest 支援直接跳過或按條件跳過測試，也支援預計測試失敗：

• 通過 skip 裝飾器或 SkipTest 直接跳過測試
• 通過 skipIf 或 skipUnless 按條件跳過或不跳過測試
• 通過 expectedFailure 預計測試失敗

class MyTestCase(unittest.TestCase):

    @unittest.skip("直接跳過")
    def test_nothing(self):
        self.fail("shouldn't happen")

    @unittest.skipIf(mylib.__version__ < (1, 3),
                     "滿足條件跳過")
    def test_format(self):
        # Tests that work for only a certain version of the library.
        pass

    @unittest.skipUnless(sys.platform.startswith("win"), "滿足條件不跳過")
    def test_windows_support(self):
        # windows specific testing code
        pass

    def test_maybe_skipped(self):
        if not external_resource_available():
            self.skipTest("跳過")
        # test code that depends on the external resource
        pass

    @unittest.expectedFailure
    def test_fail(self):
        self.assertEqual(1, 0, "這個目前是失敗的")

六、子測試

有時候，你可能想編寫這樣的測試：在一個測試方法中傳入不同的引數來測試同一段邏輯，但它將被視作一個測試，但是如果使用了子測試，就能被視作 N（即為引數的個數）個測試。下面是一個示例：

class NumbersTest(unittest.TestCase):

    def test_even(self):
        """
        Test that numbers between 0 and 5 are all even.
        """
        for i in range(0, 6):
            with self.subTest(i=i):
                self.assertEqual(i % 2, 0)

示例中使用了 with self.subTest(i=i) 的方式定義子測試，這種情況下，即使單個子測試執行失敗，也不會影響後續子測試的執行。這樣，我們就能看到輸出中有三個子測試不通過：

======================================================================
FAIL: test_even (__main__.NumbersTest) (i=1)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "subtests.py", line 32, in test_even
    self.assertEqual(i % 2, 0)
AssertionError: 1 != 0

======================================================================
FAIL: test_even (__main__.NumbersTest) (i=3)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "subtests.py", line 32, in test_even
    self.assertEqual(i % 2, 0)
AssertionError: 1 != 0

======================================================================
FAIL: test_even (__main__.NumbersTest) (i=5)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "subtests.py", line 32, in test_even
    self.assertEqual(i % 2, 0)
AssertionError: 1 != 0

七、測試結果輸出

基於簡單示例小節中提到的例子，來說明下 unittest 在執行完測試後的結果輸出。

預設情況下的輸出非常簡單，展示運行了多少個用例，以及所花費的時間：

...
----------------------------------------------------------------------
Ran 3 tests in 0.000s

OK

通過指定 -v 引數，可以得到詳細輸出，除了預設輸出的內容，還額外顯示了用例名稱：

test_isupper (__main__.TestStringMethods) ... ok
test_split (__main__.TestStringMethods) ... ok
test_upper (__main__.TestStringMethods) ... ok

----------------------------------------------------------------------
Ran 3 tests in 0.001s

OK

假定 test_upper 測試失敗，則在詳細輸出模式下，結果如下：

test_isupper (tests.test.TestStringMethods) ... ok
test_split (tests.test.TestStringMethods) ... ok
test_upper (tests.test.TestStringMethods) ... FAIL

======================================================================
FAIL: test_upper (tests.test.TestStringMethods)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/Uvsers/prodesire/projects/tests/test.py", line 6, in test_upper
    self.assertEqual('foo'.upper(), 'FOO1')
AssertionError: 'FOO' != 'FOO1'
- FOO
+ FOO1
?    +


----------------------------------------------------------------------
Ran 3 tests in 0.001s

FAILED (failures=1)

如果我們將 test_upper 測試方法中的 self.assertEqual 改為 assert，則測試結果輸出中將會少了對排查錯誤很有幫助的上下文資訊：

test_isupper (tests.test.TestStringMethods) ... ok
test_split (tests.test.TestStringMethods) ... ok
test_upper (tests.test.TestStringMethods) ... FAIL

======================================================================
FAIL: test_upper (tests.test.TestStringMethods)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/Users/prodesire/projects/tests/test.py", line 6, in test_upper
    assert 'foo'.upper() == 'FOO1'
AssertionError

----------------------------------------------------------------------
Ran 3 tests in 0.001s

FAILED (failures=1)

如果想要生成 HTML 格式的報告，那麼就需要額外借助第三方庫（如 HtmlTestRunner）來操作。

在安裝好第三方庫後，你不能直接使用 python -m unittest 加上類似 --html report.html 的方式來生成 HTML 報告，而是需要自行編寫少量程式碼來執行測試用例進而得到 HTML 報告。
詳情請檢視 HtmlTestRunner 使用說明。

八、小結

unittest 作為 Python 標準庫提供的單元測試框架，使用簡單、功能強大，日常測試需求均能得到很好的滿足。在不引入第三方庫的情況下，是單元測試的不二之選。

在下篇文章中，我們將介紹第三方單元測試框架 nose 和 nose2，講講它對比於 unittest 有哪些改進，以至於讓很多開發人員優先選擇了它。

關注公眾號加入交流群，一起討論有趣的技術話