1. 程式人生 > >記憶體對齊的初步講解--linux和windows平臺下記憶體分配的差異

記憶體對齊的初步講解--linux和windows平臺下記憶體分配的差異

一.記憶體對齊的初步講解 記憶體對齊可以用一句話來概括: “資料項只能儲存在地址是資料項大小的整數倍的記憶體位置上” 例如int型別佔用4個位元組,地址只能在0,4,8等位置上。 例1: #include <stdio.h>
struct xx{
        char b;
        int a;
        int c;
        char d;
}; int main()
{
        struct xx bb;
        printf("&a = %p\n", &bb.a);
        printf("&b = %p\n", &bb.b);
        printf("&c = %p\n", &bb.c);
        printf("&d = %p\n", &bb.d);
        printf("sizeof(xx) = %d\n", sizeof(struct xx));         return 0;
} 執行結果如下: &a = ffbff5ec
&b = ffbff5e8
&c = ffbff5f0
&d = ffbff5f4
sizeof(xx) = 16 會發現b與a之間空出了3個位元組,也就是說在b之後的0xffbff5e9,0xffbff5ea,0xffbff5eb空了出來,a直接儲存在了0xffbff5ec, 因為a的大小是4,只能儲存在4個整數倍的位置上。列印xx的大小會發現,是16,有些人可能要問,b之後空出了3個位元組,那也應該是13啊?其餘的3個 呢?這個往後閱讀本文會理解的更深入一點,這裡簡單說一下就是d後邊的3個位元組,也會浪費掉,也就是說,這3個位元組也被這個結構體佔用了. 可以簡單的修改結構體的結構,來降低記憶體的使用,例如可以將結構體定義為:
struct xx{
        char b; 
        char d;
        int a;          
        int c;                  
}; 這樣列印這個結構體的大小就是12,省了很多空間,可以看出,在定義結構體的時候,一定要考慮要記憶體對齊的影響,這樣能使我們的程式佔用更小的記憶體。 二.作業系統的預設對齊係數 每 個作業系統都有自己的預設記憶體對齊係數,如果是新版本的作業系統,預設對齊係數一般都是8,因為作業系統定義的最大型別儲存單元就是8個位元組,例如 long long(為什麼一定要這樣,在第三節會講解),不存在超過8個位元組的型別(例如int是4,char是1,long在32位編譯時是4,64位編譯時是 8)。當作業系統的預設對齊係數與第一節所講的記憶體對齊的理論產生衝突時,以作業系統的對齊係數為基準。 例如: 假設作業系統的預設對齊係數是4,那麼對與long long這個型別的變數就不滿足第一節所說的,也就是說long long這種結構,可以儲存在被4整除的位置上,也可以儲存在被8整除的位置上。 可以通過#pragma pack()語句修改作業系統的預設對齊係數,編寫程式的時候不建議修改預設對齊係數,在第三節會講解原因 例2: #include <stdio.h>
#pragma pack(4)
struct xx{
        char b;
        long long a;
        int c;
        char d;
};
#pragma pack() int main()
{
        struct xx bb;
        printf("&a = %p\n", &bb.a);
        printf("&b = %p\n", &bb.b);
        printf("&c = %p\n", &bb.c);
        printf("&d = %p\n", &bb.d);
        printf("sizeof(xx) = %d\n", sizeof(struct xx));         return 0;
}
列印結果為: &a = ffbff5e4
&b = ffbff5e0
&c = ffbff5ec
&d = ffbff5f0
sizeof(xx) = 20 發現佔用8個位元組的a,儲存在了不能被8整除的位置上,儲存在了被4整除的位置上,採取了作業系統的預設對齊係數。 三.記憶體對齊產生的原因
記憶體對齊是作業系統為了快速訪問記憶體而採取的一種策略,簡單來說,就是為了放置變數的二次訪問。作業系統在訪問記憶體 時,每次讀取一定的長度(這個長度就是作業系統的預設對齊係數,或者是預設對齊係數的整數倍)。如果沒有記憶體對齊時,為了讀取一個變數是,會產生匯流排的二 次訪問。 例如假設沒有記憶體對齊,結構體xx的變數位置會出現如下情況: struct xx{
        char b;         //0xffbff5e8
        int a;            //0xffbff5e9       
        int c;             //0xffbff5ed      
        char d;         //0xffbff5f1
}; 作業系統先讀取0xffbff5e8-0xffbff5ef的記憶體,然後在讀取0xffbff5f0-0xffbff5f8的記憶體,為了獲得值c,就需要將兩組記憶體合併,進行整合,這樣嚴重降低了記憶體的訪問效率。(這就涉及到了老生常談的問題,空間和效率哪個更重要?這裡不做討論)。 這樣大家就能理解為什麼結構體的第一個變數,不管型別如何,都是能被8整除的吧(因為訪問記憶體是從8的整數倍開始的,為了增加讀取的效率)!
記憶體對齊的問題主要存在於理解struct等複合結構在記憶體中的分佈。 首先要明白記憶體對齊的概念。
許多實際的計算機系統對基本型別資料在記憶體中存放的位置有限制,它們會要求這些資料的首地址的值是某個數k(通常它為4或8)的倍數,這就是所謂的記憶體對齊。 這個k在不同的cpu平臺下,不同的編譯器下表現也有所不同。比如32位字長的計算機與16位字長的計算機。這個離我們有些遠了。我們的開發主要涉及兩大平臺,windows和linux(unix),涉及的編譯器也主要是microsoft編譯器(如cl),和gcc。 記憶體對齊的目的是使各個基本資料型別的首地址為對應k的倍數,這是理解記憶體對齊方式的終極法寶。另外還要區分編譯器的分別。明白了這兩點基本上就能搞定所有記憶體對齊方面的問題。 不同編譯器中的k:
1、對於microsoft的編譯器,每種基本型別的大小即為這個k。大體上char型別為8,int為32,long為32,double為64。
2、對於linux下的gcc編譯器,規定大小小於等於2的,k值為其大小,大於等於4的為4。 明白了以上的說明對struct等複合結構的記憶體分佈就應該很清楚了。 下面看一下最簡單的一個型別:struct中成員都為基本資料型別,例如:
struct test1
{
char a;
short b;
int c;
long d;
double e;
}; 在windows平臺,microsoft編譯器下: 假設從0地址開始,首先a的k值為1,它的首地址可以使任意位置,所以a佔用第一個位元組,即地址0;然後b的k值為2,他的首地址必須是2的倍數,不能是1,所以地址1那個位元組被填充,b首地址為地址2,佔用地址2,3;然後到c,c的k值為4,他的首地址為4的倍數,所以首地址為4,佔用地址4,5,6,7;再然後到d,d的k值也為4,所以他的首地址為8,佔用地址8,9,10,11。最後到e,他的k值為8,首地址為8的倍數,所以地址12,13,14,15被填充,他的首地址應為16,佔用地址16-23。顯然其大小為24。 這就是 test1在記憶體中的分佈情況。我們建立一個test1型別的變數,a、b、c、d、e分別賦值2、4、8、16、32。然後從低地址依次打印出記憶體中每個位元組對應的16進位制數為:
2 0 4 0 8 0 0 0 10 0 0 0 0 0 0 0 0 0 0 0 0 0 40 40 驗證:
顯然推斷是正確的。 在linux平臺,gcc編譯器下:
假設從0地址開始,首先a的k值為1,它的首地址可以使任意位置,所以a佔用第一個位元組,即地址0;然後b的k值為2,他的首地址必須是2的倍數,不能是1,所以地址1那個位元組被填充,b首地址為地址2,佔用地址2,3;然後到c,c的k值為4,他的首地址為4的倍數,所以首地址為4,佔用地址4,5,6,7;再然後到d,d的k值也為4,所以他的首地址為8,佔用地址8,9,10,11。最後到e,從這裡開始與microsoft的編譯器開始有所差異,他的k值為不是8,仍然是4,所以其首地址是12,佔用地址12-19。顯然其大小為20。 驗證:
我們建立一個test1型別的變數,a、b、c、d、e分別賦值2、4、8、16、32。然後從低地址依次打印出記憶體中每個位元組對應的16進位制數為:
2 0 4 0 8 0 0 0 10 0 0 0 0 0 0 0 0 0 40 40 顯然推斷也是正確的。 接下來,看一看幾類特殊的情況,為了避免麻煩,不再描述記憶體分佈,只計算結構大小。 第一種:巢狀的結構
struct test2
{
char f;
struct test1 g;
}; 在windows平臺,microsoft編譯器下: 這種情況下如果把test2的第二個成員拆開來,研究記憶體分佈,那麼可以知道,test2的成員f佔用地址0,g.a佔用地址1,以後的記憶體分佈不變,仍然滿足所有基本資料成員的首地址都為其對應k的倍數這一原則,那麼test2的大小就還是24了。但是實際上test2的大小為32,這是因為:不能因為test2的結構而改變test1的記憶體分佈情況,所以為了使test1種各個成員仍然滿足對齊的要求,f成員後面需要填充一定數量的位元組,不難發現,這個數量應為7個,才能保證test1的對齊。所以test2相對於test1來說增加了8個位元組,所以test2的大小為32。 在linux平臺,gcc編譯器下: 同樣,這種情況下如果把test2的第二個成員拆開來,研究記憶體分佈,那麼可以知道,test2的成員f佔用地址0,g.a佔用地址1,以後的記憶體分佈不變,仍然滿足所有基本資料成員的首地址都為其對應k的倍數這一原則,那麼test2的大小就還是20了。但是實際上test2的大小為24,同樣這是因為:不能因為test2的結構而改變test1的記憶體分佈情況,所以為了使test1種各個成員仍然滿足對齊的要求,f成員後面需要填充一定數量的位元組,不難發現,這個數量應為3個,才能保證test1的對齊。所以test2相對於test1來說增加了4個位元組,所以test2的大小為24。 第二種:位段對齊 struct test3
{
unsigned int a:4;
unsigned int b:4;
char c;
};
或者
struct test3
{
unsigned int a:4;
int b:4;
char c;
}; 在windows平臺,microsoft編譯器下: 相鄰的多個同類型的數(帶符號的與不帶符號的,只要基本型別相同,也為相同的數),如果他們佔用的位數不超過基本型別的大小,那麼他們可作為一個整體來看待。不同型別的數要遵循各自的對齊方式。
如:test3中,a、b可作為一個整體,他們作為一個int型資料來看待,所以test3的大小為8位元組。並且a與b的值在記憶體中從低位開始依次排列,位於4位元組區域中的前0-3位和4-7位 如果test4位以下格式
struct test4
{
unsigned int a:30;
unsigned int b:4;
char c;
};
那麼test4的大小就為12個位元組,並且a與b的值分別分佈在第一個4位元組的前30位,和第二個4位元組的前4位。 如過test5是以下形式
struct test5
{
unsigned int a:4;
unsigned char b:4;
char c;
}; 那麼由於int和char不同型別,他們分別以各自的方式對齊,所以test5的大小應為8位元組,a與b的值分別位於第一個4位元組的前4位和第5個位元組的前4位。 在linux平臺,gcc編譯器下: struct test3
{
unsigned int a:4;
unsigned int b:4;
char c;
};
gcc下,相鄰各成員,不管型別是否相同,佔的位數之和超過這些成員中第一個的大小的時候,在結構中以k值為1對齊,在結構外k值為其基本型別的值。不超過的情況下在記憶體中依次排列。
如test3,其大小為4。a,b的值在記憶體中依次排列分別為第一個四位元組中的0-3和4-7位。 如果test4位以下格式
struct test4
{
unsigned int a:20;
unsigned char b:4;
char c;
};
test4的大小為4個位元組,並且a與b的值分別分佈在第一個4位元組的0-19位,和20-23位,c存放在第4個位元組中。
如過test5是以下形式
struct test5
{
unsigned int a:10;
unsigned char b:4;
short c;
}; 那麼test5的大小應為4位元組,a,b的值為0-9位和10-13位。c存放在後兩個位元組中。如果a的大小變成了20
那麼test5的大小應為8位元組。即 struct test6
{
unsigned int a:20;
unsigned char b:4;
short c;
}; 此時,test6的a、b共佔用0,1,2共3位元組,c的k值為2,其實可以4位首位置,但是在結構外,a要以int的方式對齊。也就是說連續兩個test6物件在記憶體中存放的話,a的首位置要保證為4的倍數,那麼c後面必須多填充2位。所以test6的大小為8個位元組。 關於位段結構的部分是比較複雜的。暫時我就知道這麼多。