1. 程式人生 > 程式設計 >Java 中的偽共享詳解及解決方案

Java 中的偽共享詳解及解決方案

1. 什麼是偽共享

CPU 快取系統中是以快取行(cache line)為單位儲存的。目前主流的 CPU Cache 的 Cache Line 大小都是 64 Bytes。在多執行緒情況下,如果需要修改“共享同一個快取行的變數”,就會無意中影響彼此的效能,這就是偽共享(False Sharing)。

2. 快取行

由於共享變數在 CPU 快取中的儲存是以快取行為單位,一個快取行可以儲存多個變數(存滿當前快取行的位元組數);而CPU對快取的修改又是以快取行為最小單位的,那麼就會出現上訴的偽共享問題。

Cache Line 可以簡單的理解為 CPU Cache 中的最小快取單位,今天的 CPU 不再是按位元組訪問記憶體,而是以 64 位元組為單位的塊(chunk)拿取,稱為一個快取行(cache line)。當你讀一個特定的記憶體地址,整個快取行將從主存換入快取,並且訪問同一個快取行內的其它值的開銷是很小的。

3. CPU 的三級快取

由於 CPU 的速度遠遠大於記憶體速度,所以 CPU 設計者們就給 CPU 加上了快取(CPU Cache)。 以免運算被記憶體速度拖累。(就像我們寫程式碼把共享資料做Cache不想被DB存取速度拖累一樣),CPU Cache 分成了三個級別:L1,L2,L3。越靠近CPU的快取越快也越小。所 以L1 快取很小但很快,並且緊靠著在使用它的 CPU 核心。L2 大一些,也慢一些,並且仍然只能被一個單獨的 CPU 核使用。L3 在現代多核機器中更普遍,仍然更大,更慢,並且被單個插槽上的所有 CPU 核共享。最後,你擁有一塊主存,由全部插槽上的所有 CPU 核共享。

當 CPU 執行運算的時候,它先去L1查詢所需的資料,再去L2,然後是L3,最後如果這些快取中都沒有,所需的資料就要去主記憶體拿。走得越遠,運算耗費的時間就越長。所以如果你在做一些很頻繁的事,你要確保資料在L1快取中。

Java 中的偽共享詳解及解決方案

4. 快取關聯性

目前常用的快取設計是N路組關聯(N-Way Set Associative Cache),他的原理是把一個快取按照N個 Cache Line 作為一組(Set),快取按組劃為等分。每個記憶體塊能夠被對映到相對應的set中的任意一個快取行中。比如一個16路快取,16個 Cache Line 作為一個Set,每個記憶體塊能夠被對映到相對應的 Set 中的16個 CacheLine 中的任意一個。一般地,具有一定相同低bit位地址的記憶體塊將共享同一個Set。

下圖為一個2-Way的Cache。由圖中可以看到 Main Memory 中的 Index 0,2,4 都對映在Way0的不同 CacheLine 中,Index 1,3,5都對映在Way1的不同 CacheLine 中。

Java 中的偽共享詳解及解決方案

5. MESI 協議

多核 CPU 都有自己的專有快取(一般為L1,L2),以及同一個 CPU 插槽之間的核共享的快取(一般為L3)。不同核心的CPU快取中難免會載入同樣的資料,那麼如何保證資料的一致性呢,就是 MESI 協議了。

在 MESI 協議中,每個 Cache line 有4個狀態,可用 2 個 bit 表示,它們分別是:
M(Modified):這行資料有效,資料被修改了,和記憶體中的資料不一致,資料只存在於本 Cache 中;
E(Exclusive):這行資料有效,資料和記憶體中的資料一致,資料只存在於本 Cache 中;
S(Shared):這行資料有效,資料和記憶體中的資料一致,資料存在於很多 Cache 中;
I(Invalid):這行資料無效。

那麼,假設有一個變數i=3(應該是包括變數i的快取塊,塊大小為快取行大小);已經載入到多核(a,b,c)的快取中,此時該快取行的狀態為S;此時其中的一個核a改變了變數i的值,那麼在核a中的當前快取行的狀態將變為M,b,c核中的當前快取行狀態將變為I。如下圖:

Java 中的偽共享詳解及解決方案

6. 解決原理

為了避免由於 false sharing 導致 Cache Line 從 L1,L2,L3 到主存之間重複載入,我們可以使用資料填充的方式來避免,即單個數據填充滿一個CacheLine。這本質是一種空間換時間的做法。

7. Java 對於偽共享的傳統解決方案

import java.util.concurrent.atomic.AtomicLong;
 
public final class FalseSharing
  implements Runnable
{
  public final static int NUM_THREADS = 4; // change
  public final static long ITERATIONS = 500L * 1000L * 1000L;
  private final int arrayIndex;
 
  private static VolatileLong[] longs = new VolatileLong[NUM_THREADS];
  static
  {
    for (int i = 0; i < longs.length; i++)
    {
      longs[i] = new VolatileLong();
    }
  }
 
  public FalseSharing(final int arrayIndex)
  {
    this.arrayIndex = arrayIndex;
  }
 
  public static void main(final String[] args) throws Exception
  {
    final long start = System.nanoTime();
    runTest();
    System.out.println("duration = " + (System.nanoTime() - start));
  }
 
  private static void runTest() throws InterruptedException
  {
    Thread[] threads = new Thread[NUM_THREADS];
 
    for (int i = 0; i < threads.length; i++)
    {
      threads[i] = new Thread(new FalseSharing(i));
    }
 
    for (Thread t : threads)
    {
      t.start();
    }
 
    for (Thread t : threads)
    {
      t.join();
    }
  }
 
  public void run()
  {
    long i = ITERATIONS + 1;
    while (0 != --i)
    {
      longs[arrayIndex].set(i);
    }
  }
 
  public static long sumPaddingToPreventOptimisation(final int index)
  {
    VolatileLong v = longs[index];
    return v.p1 + v.p2 + v.p3 + v.p4 + v.p5 + v.p6;
  }
 
  //jdk7以上使用此方法(jdk7的某個版本oracle對偽共享做了優化)
  public final static class VolatileLong
  {
    public volatile long value = 0L;
    public long p1,p2,p3,p4,p5,p6;
  }
 
  // jdk7以下使用此方法
  public final static class VolatileLong
  {
    public long p1,p6,p7; // cache line padding
    public volatile long value = 0L;
    public long p8,p9,p10,p11,p12,p13,p14; // cache line padding
 
  }
}

8. Java 8 中的解決方案

Java 8 中已經提供了官方的解決方案,Java 8 中新增了一個註解:@sun.misc.Contended。加上這個註解的類會自動補齊快取行,需要注意的是此註解預設是無效的,需要在 jvm 啟動時設定-XX:-RestrictContended才會生效。

@sun.misc.Contended
public final static class VolatileLong {
  public volatile long value = 0L;
  //public long p1,p6;

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支援我們。