1. 程式人生 > 其它 >資料機構與演算法_03 _ 複雜度分析(上):如何分析、統計演算法的執行效率和資源消耗

資料機構與演算法_03 _ 複雜度分析(上):如何分析、統計演算法的執行效率和資源消耗

我們都知道,資料結構和演算法本身解決的是“快”和“省”的問題,即如何讓程式碼執行得更快,如何讓程式碼更省儲存空間。所以,執行效率是演算法一個非常重要的考量指標。那如何來衡量你編寫的演算法程式碼的執行效率呢?這裡就要用到我們今天要講的內容:時間、空間複雜度分析。

其實,只要講到資料結構與演算法,就一定離不開時間、空間複雜度分析。而且,我個人認為,複雜度分析是整個演算法學習的精髓,只要掌握了它,資料結構和演算法的內容基本上就掌握了一半

複雜度分析實在太重要了,因此我準備用兩節內容來講。希望你學完這個內容之後,無論在任何場景下,面對任何程式碼的複雜度分析,你都能做到“庖丁解牛”般遊刃有餘。

為什麼需要複雜度分析?

你可能會有些疑惑,我把程式碼跑一遍,通過統計、監控,就能得到演算法執行的時間和佔用的記憶體大小。為什麼還要做時間、空間複雜度分析呢?這種分析方法能比我實實在在跑一遍得到的資料更準確嗎?

首先,我可以肯定地說,你這種評估演算法執行效率的方法是正確的。很多資料結構和演算法書籍還給這種方法起了一個名字,叫事後統計法。但是,這種統計方法有非常大的侷限性。

1. 測試結果非常依賴測試環境

測試環境中硬體的不同會對測試結果有很大的影響。比如,我們拿同樣一段程式碼,分別用Intel Core i9處理器和Intel Core i3處理器來執行,不用說,i9處理器要比i3處理器執行的速度快很多。還有,比如原本在這臺機器上a程式碼執行的速度比b程式碼要快,等我們換到另一臺機器上時,可能會有截然相反的結果。

2.測試結果受資料規模的影響很大

後面我們會講排序演算法,我們先拿它舉個例子。對同一個排序演算法,待排序資料的有序度不一樣,排序的執行時間就會有很大的差別。極端情況下,如果資料已經是有序的,那排序演算法不需要做任何操作,執行時間就會非常短。除此之外,如果測試資料規模太小,測試結果可能無法真實地反映演算法的效能。比如,對於小規模的資料排序,插入排序可能反倒會比快速排序要快!

所以,我們需要一個不用具體的測試資料來測試,就可以粗略地估計演算法的執行效率的方法。這就是我們今天要講的時間、空間複雜度分析方法。

大O複雜度表示法

演算法的執行效率,粗略地講,就是演算法程式碼執行的時間。但是,如何在不執行程式碼的情況下,用“肉眼”得到一段程式碼的執行時間呢?

這裡有段非常簡單的程式碼,求1,2,3...n的累加和。現在,我就帶你一塊來估算一下這段程式碼的執行時間。

 int cal(int n) {
   int sum = 0;
   int i = 1;
   for (; i <= n; ++i) {
     sum = sum + i;
   }
   return sum;
 }

從CPU的角度來看,這段程式碼的每一行都執行著類似的操作:讀資料-運算-寫資料。儘管每行程式碼對應的CPU執行的個數、執行的時間都不一樣,但是,我們這裡只是粗略估計,所以可以假設每行程式碼執行的時間都一樣,為unit_time。在這個假設的基礎之上,這段程式碼的總執行時間是多少呢?

第2、3行程式碼分別需要1個unit_time的執行時間,第4、5行都運行了n遍,所以需要2n*unit_time的執行時間,所以這段程式碼總的執行時間就是(2n+2)*unit_time。可以看出來,所有程式碼的執行時間T(n)與每行程式碼的執行次數成正比

按照這個分析思路,我們再來看這段程式碼。

 int cal(int n) {
   int sum = 0;
   int i = 1;
   int j = 1;
   for (; i <= n; ++i) {
     j = 1;
     for (; j <= n; ++j) {
       sum = sum +  i * j;
     }
   }
 }

我們依舊假設每個語句的執行時間是unit_time。那這段程式碼的總執行時間T(n)是多少呢?

第2、3、4行程式碼,每行都需要1個unit_time的執行時間,第5、6行程式碼迴圈執行了n遍,需要2n * unit_time的執行時間,第7、8行程式碼迴圈執行了n2遍,所以需要2n2 * unit_time的執行時間。所以,整段程式碼總的執行時間T(n) = (2n2+2n+3)*unit_time。

儘管我們不知道unit_time的具體值,但是通過這兩段程式碼執行時間的推導過程,我們可以得到一個非常重要的規律,那就是,所有程式碼的執行時間T(n)與每行程式碼的執行次數f(n)成正比

我們可以把這個規律總結成一個公式。注意,大O就要登場了!

我來具體解釋一下這個公式。其中,T(n)我們已經講過了,它表示程式碼執行的時間;n表示資料規模的大小;f(n)表示每行程式碼執行的次數總和。因為這是一個公式,所以用f(n)來表示。公式中的O,表示程式碼的執行時間T(n)與f(n)表示式成正比。

所以,第一個例子中的T(n) = O(2n+2),第二個例子中的T(n) = O(2n2+2n+3)。這就是大O時間複雜度表示法。大O時間複雜度實際上並不具體表示程式碼真正的執行時間,而是表示程式碼執行時間隨資料規模增長的變化趨勢,所以,也叫作漸進時間複雜度(asymptotic time complexity),簡稱時間複雜度

當n很大時,你可以把它想象成10000、100000。而公式中的低階、常量、係數三部分並不左右增長趨勢,所以都可以忽略。我們只需要記錄一個最大量級就可以了,如果用大O表示法表示剛講的那兩段程式碼的時間複雜度,就可以記為:T(n) = O(n); T(n) = O(n2)。

時間複雜度分析

前面介紹了大O時間複雜度的由來和表示方法。現在我們來看下,如何分析一段程式碼的時間複雜度?我這兒有三個比較實用的方法可以分享給你。

1.只關注迴圈執行次數最多的一段程式碼

我剛才說了,大O這種複雜度表示方法只是表示一種變化趨勢。我們通常會忽略掉公式中的常量、低階、係數,只需要記錄一個最大階的量級就可以了。所以,我們在分析一個演算法、一段程式碼的時間複雜度的時候,也只關注迴圈執行次數最多的那一段程式碼就可以了。這段核心程式碼執行次數的n的量級,就是整段要分析程式碼的時間複雜度。

為了便於你理解,我還是拿前面的例子來說明。

 int cal(int n) {
   int sum = 0;
   int i = 1;
   for (; i <= n; ++i) {
     sum = sum + i;
   }
   return sum;
 }

其中第2、3行程式碼都是常量級的執行時間,與n的大小無關,所以對於複雜度並沒有影響。迴圈執行次數最多的是第4、5行程式碼,所以這塊程式碼要重點分析。前面我們也講過,這兩行程式碼被執行了n次,所以總的時間複雜度就是O(n)。

2.加法法則:總複雜度等於量級最大的那段程式碼的複雜度

我這裡還有一段程式碼。你可以先試著分析一下,然後再往下看跟我的分析思路是否一樣。

int cal(int n) {
   int sum_1 = 0;
   int p = 1;
   for (; p < 100; ++p) {
     sum_1 = sum_1 + p;
   }

int sum_2 = 0;
int q = 1;
for (; q < n; ++q) {
sum_2 = sum_2 + q;
}

int sum_3 = 0;
int i = 1;
int j = 1;
for (; i <= n; ++i) {
j = 1;
for (; j <= n; ++j) {
sum_3 = sum_3 + i * j;
}
}

return sum_1 + sum_2 + sum_3;
}

這個程式碼分為三部分,分別是求sum_1、sum_2、sum_3。我們可以分別分析每一部分的時間複雜度,然後把它們放到一塊兒,再取一個量級最大的作為整段程式碼的複雜度。

第一段的時間複雜度是多少呢?這段程式碼迴圈執行了100次,所以是一個常量的執行時間,跟n的規模無關。

這裡我要再強調一下,即便這段程式碼迴圈10000次、100000次,只要是一個已知的數,跟n無關,照樣也是常量級的執行時間。當n無限大的時候,就可以忽略。儘管對程式碼的執行時間會有很大影響,但是回到時間複雜度的概念來說,它表示的是一個演算法執行效率與資料規模增長的變化趨勢,所以不管常量的執行時間多大,我們都可以忽略掉。因為它本身對增長趨勢並沒有影響。

那第二段程式碼和第三段程式碼的時間複雜度是多少呢?答案是O(n)和O(n2),你應該能容易就分析出來,我就不囉嗦了。

綜合這三段程式碼的時間複雜度,我們取其中最大的量級。所以,整段程式碼的時間複雜度就為O(n2)。也就是說:總的時間複雜度等於量級最大的那段程式碼的時間複雜度。那我們將這個規律抽象成公式就是:

如果T1(n)=O(f(n)),T2(n)=O(g(n));那麼T(n)=T1(n)+T2(n)=max(O(f(n)), O(g(n))) =O(max(f(n), g(n))).

3.乘法法則:巢狀程式碼的複雜度等於巢狀內外程式碼複雜度的乘積

我剛講了一個複雜度分析中的加法法則,這兒還有一個乘法法則。類比一下,你應該能“猜到”公式是什麼樣子的吧?

如果T1(n)=O(f(n)),T2(n)=O(g(n));那麼T(n)=T1(n)T2(n)=O(f(n))O(g(n))=O(f(n)*g(n)).

也就是說,假設T1(n) = O(n),T2(n) = O(n2),則T1(n) * T2(n) = O(n3)。落實到具體的程式碼上,我們可以把乘法法則看成是巢狀迴圈,我舉個例子給你解釋一下。

int cal(int n) {
int ret = 0;
int i = 1;
for (; i < n; ++i) {
ret = ret + f(i);
}
}

int f(int n) {
int sum = 0;
int i = 1;
for (; i < n; ++i) {
sum = sum + i;
}
return sum;
}

我們單獨看cal()函式。假設f()只是一個普通的操作,那第4~6行的時間複雜度就是,T1(n) = O(n)。但f()函式本身不是一個簡單的操作,它的時間複雜度是T2(n) = O(n),所以,整個cal()函式的時間複雜度就是,T(n) = T1(n) * T2(n) = O(nn) = O(n2)。

我剛剛講了三種複雜度的分析技巧。不過,你並不用刻意去記憶。實際上,複雜度分析這個東西關鍵在於“熟練”。你只要多看案例,多分析,就能做到“無招勝有招”。

幾種常見時間複雜度例項分析

雖然程式碼千差萬別,但是常見的複雜度量級並不多。我稍微總結了一下,這些複雜度量級幾乎涵蓋了你今後可以接觸的所有程式碼的複雜度量級。

對於剛羅列的複雜度量級,我們可以粗略地分為兩類,多項式量級非多項式量級。其中,非多項式量級只有兩個:O(2n)和O(n!)。

我們把時間複雜度為非多項式量級的演算法問題叫作NP(Non-Deterministic Polynomial,非確定多項式)問題。

當資料規模n越來越大時,非多項式量級演算法的執行時間會急劇增加,求解問題的執行時間會無限增長。所以,非多項式時間複雜度的演算法其實是非常低效的演算法。因此,關於NP時間複雜度我就不展開講了。我們主要來看幾種常見的多項式時間複雜度

1. O(1)

首先你必須明確一個概念,O(1)只是常量級時間複雜度的一種表示方法,並不是指只執行了一行程式碼。比如這段程式碼,即便有3行,它的時間複雜度也是O(1),而不是O(3)。

 int i = 8;
int j = 6;
int sum = i + j;

我稍微總結一下,只要程式碼的執行時間不隨n的增大而增長,這樣程式碼的時間複雜度我們都記作O(1)。或者說,一般情況下,只要演算法中不存在迴圈語句、遞迴語句,即使有成千上萬行的程式碼,其時間複雜度也是Ο(1)

2. O(logn)、O(nlogn)

對數階時間複雜度非常常見,同時也是最難分析的一種時間複雜度。我通過一個例子來說明一下。

 i=1;
while (i <= n) {
i = i * 2;
}

根據我們前面講的複雜度分析方法,第三行程式碼是迴圈執行次數最多的。所以,我們只要能計算出這行程式碼被執行了多少次,就能知道整段程式碼的時間複雜度。

從程式碼中可以看出,變數i的值從1開始取,每迴圈一次就乘以2。當大於n時,迴圈結束。還記得我們高中學過的等比數列嗎?實際上,變數i的取值就是一個等比數列。如果我把它一個一個列出來,就應該是這個樣子的:

所以,我們只要知道x值是多少,就知道這行程式碼執行的次數了。通過2x=n求解x這個問題我們想高中應該就學過了,我就不多說了。x=log2n,所以,這段程式碼的時間複雜度就是O(log2n)。

現在,我把程式碼稍微改下,你再看看,這段程式碼的時間複雜度是多少?

 i=1;
while (i <= n) {
i = i * 3;
}

根據我剛剛講的思路,很簡單就能看出來,這段程式碼的時間複雜度為O(log3n)。

實際上,不管是以2為底、以3為底,還是以10為底,我們可以把所有對數階的時間複雜度都記為O(logn)。為什麼呢?

我們知道,對數之間是可以互相轉換的,log3n就等於log32 * log2n,所以O(log3n) = O(C * log2n),其中C=log32是一個常量。基於我們前面的一個理論:在採用大O標記複雜度的時候,可以忽略係數,即O(Cf(n)) = O(f(n))。所以,O(log2n) 就等於O(log3n)。因此,在對數階時間複雜度的表示方法裡,我們忽略對數的“底”,統一表示為O(logn)。

如果你理解了我前面講的O(logn),那O(nlogn)就很容易理解了。還記得我們剛講的乘法法則嗎?如果一段程式碼的時間複雜度是O(logn),我們迴圈執行n遍,時間複雜度就是O(nlogn)了。而且,O(nlogn)也是一種非常常見的演算法時間複雜度。比如,歸併排序、快速排序的時間複雜度都是O(nlogn)。

3. O(m+n)、O(mn)

我們再來講一種跟前面都不一樣的時間複雜度,程式碼的複雜度由兩個資料的規模來決定。老規矩,先看程式碼!

int cal(int m, int n) {
int sum_1 = 0;
int i = 1;
for (; i < m; ++i) {
sum_1 = sum_1 + i;
}

int sum_2 = 0;
int j = 1;
for (; j < n; ++j) {
sum_2 = sum_2 + j;
}

return sum_1 + sum_2;
}

從程式碼中可以看出,m和n是表示兩個資料規模。我們無法事先評估m和n誰的量級大,所以我們在表示複雜度的時候,就不能簡單地利用加法法則,省略掉其中一個。所以,上面程式碼的時間複雜度就是O(m+n)。

針對這種情況,原來的加法法則就不正確了,我們需要將加法規則改為:T1(m) + T2(n) = O(f(m) + g(n))。但是乘法法則繼續有效:T1(m)*T2(n) = O(f(m) * f(n))。

空間複雜度分析

前面,咱們花了很長時間講大O表示法和時間複雜度分析,理解了前面講的內容,空間複雜度分析方法學起來就非常簡單了。

前面我講過,時間複雜度的全稱是漸進時間複雜度表示演算法的執行時間與資料規模之間的增長關係。類比一下,空間複雜度全稱就是漸進空間複雜度(asymptotic space complexity),表示演算法的儲存空間與資料規模之間的增長關係

我還是拿具體的例子來給你說明。(這段程式碼有點“傻”,一般沒人會這麼寫,我這麼寫只是為了方便給你解釋。)

void print(int n) {
int i = 0;
int[] a = new int[n];
for (i; i <n; ++i) {
a[i] = i * i;
}

for (i = n-1; i >= 0; --i) {
print out a[i]
}
}

跟時間複雜度分析一樣,我們可以看到,第2行程式碼中,我們申請了一個空間儲存變數i,但是它是常量階的,跟資料規模n沒有關係,所以我們可以忽略。第3行申請了一個大小為n的int型別陣列,除此之外,剩下的程式碼都沒有佔用更多的空間,所以整段程式碼的空間複雜度就是O(n)。

我們常見的空間複雜度就是O(1)、O(n)、O(n2 ),像O(logn)、O(nlogn)這樣的對數階複雜度平時都用不到。而且,空間複雜度分析比時間複雜度分析要簡單很多。所以,對於空間複雜度,掌握剛我說的這些內容已經足夠了。

內容小結

基礎複雜度分析的知識到此就講完了,我們來總結一下。

複雜度也叫漸進複雜度,包括時間複雜度和空間複雜度,用來分析演算法執行效率與資料規模之間的增長關係,可以粗略地表示,越高階複雜度的演算法,執行效率越低。常見的複雜度並不多,從低階到高階有:O(1)、O(logn)、O(n)、O(nlogn)、O(n2 )。等你學完整個專欄之後,你就會發現幾乎所有的資料結構和演算法的複雜度都跑不出這幾個。

複雜度分析並不難,關鍵在於多練。 之後講後面的內容時,我還會帶你詳細地分析每一種資料結構和演算法的時間、空間複雜度。只要跟著我的思路學習、練習,你很快就能和我一樣,每次看到程式碼的時候,簡單的一眼就能看出其複雜度,難的稍微分析一下就能得出答案。

課後思考

有人說,我們專案之前都會進行效能測試,再做程式碼的時間複雜度、空間複雜度分析,是不是多此一舉呢?而且,每段程式碼都分析一下時間複雜度、空間複雜度,是不是很浪費時間呢?你怎麼看待這個問題呢?

歡迎留言和我分享,我會第一時間給你反饋。