1. 程式人生 > >h5魚蝦蟹平臺搭建和MySQL數據庫規範及解讀

h5魚蝦蟹平臺搭建和MySQL數據庫規範及解讀

IT 操作符 clas color order 復雜 索引 寫法 擴展性

一、基礎規範

第一條:必須使用InnoDB存儲引擎

解讀:支持事務、行級鎖、並發h5魚蝦蟹平臺搭建Q1446595067官網:h5.haozibbs.com

性能更好、CPU及內存緩存頁優化使得資源利用率更高

第二條:必須使用utf8(utf8mb4)字符集

解讀:萬國碼,無需轉碼,無亂碼風險,節省空間,utf8mb4是utf8的超集,由於近年移動設備的增多,emoji表情以及部分不常見漢字在utf8下會表現為亂碼,故需要升級至utf8mb4

第三條:數據表、數據字段必須加入中文註釋

解讀:N年後誰會知道這個a1,a2,a3字段是幹嘛的

第四條:禁止使用存儲過程、視圖、觸發器、Event

解讀:高並發大數據的互聯網業務,架構設計思路是“解放數據庫CPU,將計算轉移到服務層”,並發量大的情況下,這些功能很可能將數據庫拖死,業務邏輯放到服務層具備更好的擴展性,能夠輕易實現“增機器就加性能”。數據庫擅長存儲與索引,CPU計算還是上移吧

第五條:禁止存儲大文件或者大照片

解讀:為何要讓數據庫做它不擅長的事情?大文件和照片存儲在文件系統,數據庫裏存URI多好

二、命名規範

第一條:只允許使用內網域名,而不是ip連接數據庫

解讀:雖然IP訪問更快,域名訪問需要內網dns,但是對於大數據庫的擴展和遷庫考慮,域名更好

第二條:線上環境、開發環境、測試環境數據庫內網域名遵循命名規範

業務名稱:xxx 線上環境:dj.xxx.db 開發環境:dj.xxx.rdb 測試環境:dj.xxx.tdb 從庫在名稱後加-s標識,備庫在名稱後加-ss標識 線上從庫:dj.xxx-s.db 線上備庫:dj.xxx-sss.db

第三條:庫名、表名、字段名:小寫,下劃線風格,不超過32個字符,禁止拼音英文混用

解讀:見名知意,方便後續維護

第四條:表名t_xxx,非唯一索引名idx_xxx,唯一索引名uniq_xxx

解讀:見名知意,方便後續維護

三、表和字段設計規範

第一條:禁止使用外鍵,如果有外鍵完整性約束,需要應用程序控制

解讀:外鍵會導致表與表之間耦合,update與delete操作都會涉及相關聯的表,十分影響sql的性能,甚至會造成死鎖。高並發情況下容易造成數據庫性能,大數據高並發業務場景數據庫使用以性能優先

第二條:必須把字段定義為NOT NULL並且提供默認值

解讀: a) null的列使索引/索引統計/值比較都更加復雜,對MySQL來說更難優化 b) null這種類型MySQL內部需要進行特殊處理,增加數據庫處理記錄的復雜性;同等條件下,表中有較多空字段的時候,數據庫的處理性能會降低很多 c) null值需要更多的存儲空,無論是表還是索引中每行中的null的列都需要額外的空間來標識 d) 對null的處理時候,只能采用is null或is not null,而不能采用=、in、<、<>、!=、not in這些操作符號。如:where name!=‘shenjian‘,如果存在name為null值的記錄,查詢結果就不會包含name為null值的記錄

第三條:禁止使用TEXT、BLOB類型

解讀:會浪費更多的磁盤和內存空間,非必要的大量的大字段查詢會淘汰掉熱數據,導致內存命中率急劇降低,影響數據庫性能

第四條:禁止使用小數存儲國幣

解讀:曾經踩過這樣的坑,100元分3天攤銷,每天攤銷(100/3)元,結果得到3個33.33。後來實施對賬系統,始終有幾分錢對不齊,郁悶了很久(不是幾分錢的事,是業務方質疑的眼神讓研發很不爽),最後發現是除法惹的禍 解決方案:使用“分”作為單位,這樣數據庫裏就是整數了

第五條:必須使用varchar(20)存儲手機號

解讀: a) 涉及到區號或者國家代號,可能出現+-() b) 手機號會去做數學運算麽? c) varchar可以支持模糊查詢,例如:like“138%”

第六條:禁止使用ENUM,可使用TINYINT代替

解讀: a) 增加新的ENUM值要做DDL操作 b) ENUM的內部實際存儲就是整數,你以為自己定義的是字符串?

第七條:表必須有主鍵,例如自增主鍵

解讀: a) 主鍵遞增,數據行寫入可以提高插入性能,可以避免page分裂,減少表碎片提升空間和內存的使用 b) 主鍵要選擇較短的數據類型, Innodb引擎普通索引都會保存主鍵的值,較短的數據類型可以有效的減少索引的磁盤空間,提高索引的緩存效率 c) 無主鍵的表刪除,在row模式的主從架構,會導致備庫夯住

四、索引設計規範

第一條:單表索引建議控制在5個以內

解讀:一個好的索引設計,可以讓你的效率提高幾十甚至幾百倍,但過多反而適得其反

第二條:單索引字段數不允許超過5個

解讀:字段超過5個時,實際已經起不到有效過濾數據的作用了

第三條:禁止在更新十分頻繁、區分度不高的屬性上建立索引

解讀: a) 更新會變更B+樹,更新頻繁的字段建立索引會大大降低數據庫性能 b) "性別"這種區分度不大的屬性,建立索引是沒有什麽意義的,不能有效過濾數據,性能與全表掃描類似

第四條:建立組合索引,必須把區分度高的字段放在前面

解讀:能夠更加有效的過濾數據

五、SQL使用規範

第一條:禁止使用SELECT *,只獲取必要的字段,需要顯示說明列屬性

解讀: a) 讀取不需要的列會增加CPU、IO、NET消耗 b) 不能有效的利用覆蓋索引 c) 使用SELECT *容易在增加或者刪除字段後出現程序BUG

第二條:禁止使用INSERT INTO t_xxx VALUES(xxx),必須顯示指定插入的列屬性

解讀:容易在增加或者刪除字段後出現程序BUG

第三條:禁止使用屬性隱式轉換

解讀:SELECT uid FROM t_user WHERE phone=13812345678 會導致全表掃描,而不能命中phone索引,猜猜為什麽? int數據類型優先級高於archer, 該查詢會把phone轉換為inth5魚蝦蟹源碼搭建 ,因此需要把表中所有數據改成int,所以必須全盤掃描 phone是varchar類型,SQL語句帶入的是整形,故不會命中索引,加個引號就好了: SELECT uid FROM t_user WHERE phone=‘13812345678‘

第四條:禁止在WHERE條件的屬性上使用函數或者表達式

解讀:SELECT uid FROM t_user WHERE from_unixtime(day)>=‘2017-02-15‘ 會導致全表掃描 正確的寫法是:SELECT uid FROM t_user WHERE day>= unix_timestamp(‘2017-02-15 00:00:00‘)

第五條:禁止大表使用JOIN查詢,禁止大表使用子查詢

解讀:會產生臨時表,消耗較多內存與CPU,極大影響數據庫性能,大表指的是數據量在1000萬以上的表

第六條:禁止使用OR條件,必須改為IN查詢

解讀:舊版本Mysql的OR查詢是不能命中索引的,即使能命中索引,為何要讓數據庫耗費更多的CPU幫助實施查詢優化呢?

第七條:禁止使用負向查詢,以及%開頭的模糊查詢

解讀: a) 負向查詢條件:NOT、!=、<>、!<、!>、NOT IN、NOT LIKE等,會導致全表掃描 b) %開頭的模糊查詢,會導致全表掃描 一般來說,WHERE過濾條件不會只帶這麽一個“負向查詢條件”,還會有其他過濾條件,舉個例子:查詢沈劍已完成訂單之外的訂單(好拗口): SELECT oid FROM t_order WHERE uid=123 AND status != 1; 訂單表5000w數據,但uid=123就會迅速的將數據量過濾到很少的級別(uid建立了索引),此時再接上一個負向的查詢條件就無所謂了,掃描的行數本身就會很少 但如果要查詢所有已完成訂單之外的訂單: SELECT oid FROM t_order WHERE status != 1; 這就掛了,立馬CPU100%,status索引會失效,負向查詢導致全表掃描

第八條:應用程序必須捕獲SQL異常,並有相應處理

h5魚蝦蟹平臺搭建和MySQL數據庫規範及解讀