技術標籤：mysql踩坑mysql

業務場景：任務命中記錄列表需要顯示每個任務的最新命中時間
命中記錄表

CREATE TABLE `t_alarm_notice_all` (
  `id` varchar(32) NOT NULL,
  `taskId` varchar(125) ,
  `alarmType` smallint(4) DEFAULT NULL ,
  `objectId` varchar(125) DEFAULT NULL ,
  `idCard` varchar(18) DEFAULT NULL ,
  `name` varchar(125) DEFAULT NULL
 
 ,
  `hitType` varchar(20) NOT NULL ,
  `hitValue` varchar(200) NOT NULL,
  `model` smallint(4) DEFAULT NULL ,
  `sml` decimal(10,10) DEFAULT NULL,
  `ceid` varchar(125) DEFAULT NULL ,
  `cead` varchar(250) DEFAULT NULL ,
  `lon` varchar(20) DEFAULT NULL ,
  `lat` varchar(20) DEFAULT NULL ,
  `latm` datetime
 
 DEFAULT NULL ,
  `imtm` datetime NOT NULL COMMENT ,
  `rowkey` text,
  `gathers` text ,
  `childId` text ,
  `taskName` varchar(255) DEFAULT NULL ,
  `faceImgPath` varchar(200) DEFAULT NULL,
  `bgImgPath` varchar(200) DEFAULT NULL,
  `engineMatchInfos` varchar(1000) DEFAULT NULL,
  `groupId` varchar(255) DEFAULT
 
 NULL ,
  `snapshotId` varchar(255) DEFAULT NULL ,
  `engineMatchList` text,
  `originHitValue` varchar(200) NOT NULL,
  PRIMARY KEY (`id`) USING BTREE,
  KEY `idx_hitType` (`hitType`) USING BTREE,
  KEY `idx_ceid` (`ceid`) USING BTREE,
  KEY `idx_taskId` (`taskId`) USING BTREE,
  KEY `idx_latm` (`latm`,`taskId`) USING BTREE,
  KEY `idx_hitvalue` (`hitValue`) USING BTREE,
  KEY `idx_object` (`alarmType`,`objectId`) USING BTREE,
  KEY `idx_union` (`hitValue`,`objectId`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=DYNAMIC ;

SET FOREIGN_KEY_CHECKS = 1;

sql語句

select
t.taskId,
max(t.latm) as latm
from
t_alarm_notice_all t
group by
t.taskId

sql語句很簡單，就是根據任務id進行分組然後取出同組中命中時間最大的一條記錄。
在單表70w的記錄下，這條語句執行的時間達到了15秒

使用 optimizer_trace 分析大法，用法詳情參考 mysql優化之為什麼我limit10也會全表掃描.
分析發現掃描的行數高達 1千1百萬條。
explain 命令分析語句發現使用的索引是 taskId
流程分析

1. mysql 遍歷 taskid索引，taskid大概有10條，總數差不多為70萬條。
2. 獲得每個taskid索引下面的主鍵id去主鍵索引中拿到latm的值存入sort_buffer中。
3. 重複12操作，或得到不同taskid對應的一個數據列表。
4. 將sort_buffer中的資料進行排序，取出最大資料。 這裡不確定是不是把所有輸出存入sort_buffer中。因為最大值直接可以再掃描的時候就對於同一個taskid取資料的時候判斷最大或最小值

耗時的操作主要集中在 1 2之間。如果能在taskid索引下面就能直接獲得已經排序好的latm，就不需要234的操作。
建立聯合索引 idx_task_latm

ALTER TABLE `t_alarm_notice_all` ADD INDEX idx_taskid_latm(taskId,latm ); 

添加了索引之後的查詢邏輯變為

1 . 遍歷 idx_taskid_latm 索引，找到一個taskid，取出該id下的最後一條資料，直接放入結果集中。
2 . 遍歷下一條索引，結束
查詢結果為 0.25秒。

總結

group by 的欄位需要新增索引，而且必須是開頭，因為其他業務的需要，這張表本身有 latm_taskid的索引，但是對於 group by taskid 的操作，latm_taskid 的索引並沒有起作用.