1. 程式人生 > 程式設計 >Python通過兩個dataframe用for迴圈求笛卡爾積

Python通過兩個dataframe用for迴圈求笛卡爾積

合併兩個沒有共同列的dataframe,相當於按行號求笛卡爾積。

最終效果如下

Python通過兩個dataframe用for迴圈求笛卡爾積

以下程式碼是參考別人的程式碼修改的:

def cartesian_df(A,B):
    new_df = pd.DataFrame(columns=list(A).extend(list(B)))
    for _,A_row in A.iterrows():
      for _,B_row in B.iterrows():
        row = A_row.append(B_row)
        new_df = new_df.append(row,ignore_index=True)
    return new_df
#這個方法,如果兩張表列名重複會出錯

這段程式碼的思路是對兩個表的每一行進行迴圈,執行速度比較慢,複雜度應該是O(m*n),m是A表的行數,n是B表的行數。

因為我用到的合併錶行數比較多,時間太慢,所以針對上面的程式碼進行了優化。

思路是利用dataframe的merge功能,先迴圈複製A表,將迴圈次數新增為列,直接使用merge合併,複雜度應該為O(n)(n是B表的行數),程式碼如下:

def cartesian_df(df_a,df_b):
  '求兩個dataframe的笛卡爾積'
  #df_a 複製n次,索引用複製次數
  new_df_a = pd.DataFrame(columns=list(df_a))
  for i in range(0,df_b.shape[0]):
    df_a['merge_index'] = i
    new_df_a = new_df_a.append(df_a,ignore_index=True)
  #df_b 設定索引為行數
  df_b.reset_index(inplace = True,drop =True)
  df_b['merge_index'] = df_b.index
  #merge
  new_df = pd.merge(new_df_a,df_b,on=['merge_index'],how='left').drop(['merge_index'],axis = 1)
  return new_df

#兩個原始表中不能有列名'merge_index'

使用一張8行的表和一張142行的表進行測試,優化前的方法用時:5.560689926147461秒

Python通過兩個dataframe用for迴圈求笛卡爾積

優化後的方法用時:0.1296539306640625秒(142行的表作為b表)

Python通過兩個dataframe用for迴圈求笛卡爾積

根據計算原理,將行數少的表放在b表可以更快,測試用時:0.021603107452392578秒(8行的表作為b表)

Python通過兩個dataframe用for迴圈求笛卡爾積

這個速度已經達到預期,基本感覺不到等待,優化完成。

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支援我們。