1. 程式人生 > >python 讀取大文件越來越慢(判斷 key 在 map 中,千萬別用 in keys())

python 讀取大文件越來越慢(判斷 key 在 map 中,千萬別用 in keys())

方案 使用 tail 千萬 上傳 true 文件夾 blog alt

背景:

今天樂樂姐寫代碼,讀取一個四五百兆的文件,然後做一串的處理。結果處理了一天還沒有出來結果。問題出在哪裏呢?

解決:

1. 樂樂姐打印了在不同時間點的時間,直接print time() 即可。發現一個規律,執行速度是越來越慢的。

2. 為什麽會越來越慢呢?

1)可能原因1,GC 的問題,有篇文章裏面寫,python list append 的時候會越來越慢,解決方案是禁止GC:

使用 gc.disable()和gc.enable()

2)改完上面,仍然不行,然後看到一篇文章裏面寫,可能是因為 git 導致的,因為append 的時候 git 會不斷同步,會出問題,於是刪除 .git 文件夾,結果還是不行。

3)繼續查詢,發下一個及其有可能出問題的地方。dict 的 in dict.key(),判斷 key 是否在 dict 裏面,這個的效率是非常低的。看到一篇文章比較了效率:
① 使用 in dict.keys() 效率:

技術分享圖片

② 使用 has_key() 效率: 技術分享圖片 發現 has_key() 效率比較穩定。於是修改,問題解決。 後話: 最初的時候,的確是使用 has_key(), 結果後面上傳代碼的時候,公司代碼檢查過不了,提示不能使用這個函數,只能改成 in dict.key() 這種方式,為什麽公司不讓這麽傳呢?經過一番百度,發現原因所在:在 python3 中,直接將 has_key() 函數給刪除了,所以禁止使用。那禁止了該怎麽辦呢?原來 python 中 in 很智能,能自動判斷 key 是否在字典中存在。所以最正規的做法不是 has_key(), 更不是 in dict.keys(), 而是 in dict.

附錄:

in、 in dict.keys()、 has_key() 方法實戰對比:

>>> a = {‘name‘:"tom", ‘age‘:10, ‘Tel‘:110}
>>> a
{‘age‘: 10, ‘Tel‘: 110, ‘name‘: ‘tom‘}
>>> print ‘age‘ in a
True
>>> print ‘age‘ in a.keys()
True
>>>
>>> print a.has_key("age")
True

參考資料:

https://www.douban.com/group/topic/44472300/

http://www.it1352.com/225441.html

https://blog.csdn.net/tao546377318/article/details/52160942

python 讀取大文件越來越慢(判斷 key 在 map 中,千萬別用 in keys())