大資料實戰（十）：電商數倉（三）之使用者行為資料採集（三）資料生成模組（一）

阿新 • • 發佈：2020-08-14

1 埋點資料基本格式

l公共欄位：基本所有安卓手機都包含的欄位

l業務欄位：埋點上報的欄位，有具體的業務型別

下面就是一個示例，表示業務欄位的上傳。

{
"ap":"xxxxx",//專案資料來源 app pc
"cm": {  //公共欄位
        "mid": "",  // (String) 裝置唯一標識
        "uid": "",  // (String) 使用者標識
        "vc": "1",  // (String) versionCode，程式版本號
        "vn": "1.0",  // (String) versionName，程式版本名
        "l": "zh",  // 
 (String) language系統語言
        "sr": "",  // (String) 渠道號，應用從哪個渠道來的。
        "os": "7.1.1",  // (String) Android系統版本
        "ar": "CN",  // (String) area區域
        "md": "BBB100-1",  // (String) model手機型號
        "ba": "blackberry",  // (String) brand手機品牌
        "sv": "V2.2.1",  // (String) sdkVersion
        "g": "",  // 
 (String) gmail
        "hw": "1620x1080",  // (String) heightXwidth，螢幕寬高
        "t": "1506047606608",  // (String) 客戶端日誌產生時的時間
        "nw": "WIFI",  // (String) 網路模式
        "ln": 0,  // (double) lng經度
        "la": 0  // (double) lat 緯度
    },
"et":  [  //事件
            {
                "ett": "1506047605364",  //客戶端事件產生時間 

                "en": "display",  //事件名稱
                "kv": {  //事件結果，以key-value形式自行定義
                    "goodsid": "236",
                    "action": "1",
                    "extend1": "1",
"place": "2",
"category": "75"
                }
            }
        ]
}

View Code

示例日誌（伺服器時間戳|日誌）：

1540934156385|{
    "ap": "gmall", 
    "cm": {
        "uid": "1234", 
        "vc": "2", 
        "vn": "1.0", 
        "la": "EN", 
        "sr": "", 
        "os": "7.1.1", 
        "ar": "CN", 
        "md": "BBB100-1", 
        "ba": "blackberry", 
        "sv": "V2.2.1", 
        "g": "[email protected]", 
        "hw": "1620x1080", 
        "t": "1506047606608", 
        "nw": "WIFI", 
        "ln": 0
    }, 
        "et": [
            {
                "ett": "1506047605364",  //客戶端事件產生時間
                "en": "display",  //事件名稱
                "kv": {  //事件結果，以key-value形式自行定義
                    "goodsid": "236",
                    "action": "1",
                    "extend1": "1",
"place": "2",
"category": "75"
                }
            },{
                "ett": "1552352626835",
                "en": "active_background",
                "kv": {
                     "active_source": "1"
                }
            }
        ]
    }
}

View Code

下面是各個埋點日誌格式。其中商品點選屬於資訊流的範疇

2事件日誌資料

2.1商品列表頁(loading)

事件名稱：loading

標籤	含義
action	動作：開始載入=1，載入成功=2，載入失敗=3
loading_time	載入時長：計算下拉開始到介面返回資料的時間，（開始載入報0，載入成功或載入失敗才上報時間）
loading_way	載入型別：1-讀取快取，2-從介面拉新資料（載入成功才上報載入型別）
extend1	擴充套件欄位 Extend1
extend2	擴充套件欄位 Extend2
type	載入型別：自動載入=1，使用者下拽載入=2，底部載入=3（底部條觸發點選底部提示條/點選返回頂部載入）
type1	載入失敗碼：把載入失敗狀態碼報回來（報空為載入成功，沒有失敗）

2.2商品點選(display)

事件標籤：display

標籤		含義
action	動作：曝光商品=1，點選商品=2，
goodsid	商品ID（服務端下發的ID）
place	順序（第幾條商品，第一條為0，第二條為1，如此類推）
extend1	曝光型別：1 - 首次曝光 2-重複曝光
category	分類ID（服務端定義的分類ID）

2.3 商品詳情頁(newsdetail)

事件標籤：newsdetail

標籤		含義
entry	頁面入口來源：應用首頁=1、push=2、詳情頁相關推薦=3
action	動作：開始載入=1，載入成功=2（pv），載入失敗=3, 退出頁面=4
goodsid	商品ID（服務端下發的ID）
show_style	商品樣式：0、無圖、1、一張大圖、2、兩張圖、3、三張小圖、4、一張小圖、5、一張大圖兩張小圖
news_staytime	頁面停留時長：從商品開始載入時開始計算，到使用者關閉頁面所用的時間。若中途用跳轉到其它頁面了，則暫停計時，待回到詳情頁時恢復計時。或中途劃出的時間超過10分鐘，則本次計時作廢，不上報本次資料。如未載入成功退出，則報空。
loading_time	載入時長：計算頁面開始載入到介面返回資料的時間（開始載入報0，載入成功或載入失敗才上報時間）
type1	載入失敗碼：把載入失敗狀態碼報回來（報空為載入成功，沒有失敗）
category	分類ID（服務端定義的分類ID）

2.4廣告(ad)

事件名稱：ad

標籤	含義
entry	入口：商品列表頁=1 應用首頁=2商品詳情頁=3
action	動作：請求廣告=1 取快取廣告=2 廣告位展示=3 廣告展示=4 廣告點選=5
content	狀態：成功=1 失敗=2
detail	失敗碼（沒有則上報空）
source	廣告來源:admob=1 facebook=2 ADX（百度）=3 VK（俄羅斯）=4
behavior	使用者行為：主動獲取廣告=1 被動獲取廣告=2
newstype	Type: 1- 圖文 2-圖集 3-段子 4-GIF 5-視訊 6-調查 7-純文 8-視訊+圖文 9-GIF+圖文 0-其他
show_style	內容樣式：無圖(純文字)=6 一張大圖=1 三站小圖+文=4 一張小圖=2 一張大圖兩張小圖+文=3 圖集+文 = 5 一張大圖+文=11 GIF大圖+文=12 視訊(大圖)+文 = 13 來源於詳情頁相關推薦的商品，上報樣式都為0（因為都是左文右圖）

2.5訊息通知(notification)

事件標籤：notification

標籤	含義
action	動作：通知產生=1，通知彈出=2，通知點選=3，常駐通知展示（不重複上報，一天之內只報一次）=4
type	通知id：預警通知=1，天氣預報（早=2，晚=3），常駐=4
ap_time	客戶端彈出時間
content	備用欄位

2.6使用者前臺活躍(active_foreground)

事件標籤: active_foreground

標籤	含義
push_id	推送的訊息的id，如果不是從推送訊息開啟，傳空
access	1.push 2.icon 3.其他

2.7使用者後臺活躍(active_background)

事件標籤: active_background

標籤	含義
active_source	1=upgrade,2=download(下載),3=plugin_upgrade

2.8評論（comment）

描述：評論表

序號	欄位名稱	欄位描述	欄位型別	長度	允許空	預設值
1	comment_id	評論表	int	10,0
2	userid	使用者id	int	10,0	√	0
3	p_comment_id	父級評論id(為0則是一級評論,不為0則是回覆)	int	10,0	√
4	content	評論內容	string	1000	√
5	addtime	建立時間	string		√
6	other_id	評論的相關id	int	10,0	√
7	praise_count	點贊數量	int	10,0	√	0
8	reply_count	回覆數量	int	10,0	√	0

2.9收藏（favorites）

描述：收藏

序號	欄位名稱	欄位描述	欄位型別	長度	允許空	預設值
1	id	主鍵	int	10,0
2	course_id	商品id	int	10,0	√	0
3	userid	使用者ID	int	10,0	√	0
4	add_time	建立時間	string		√

2.10 點贊（praise）

描述：所有的點贊表

序號	欄位名稱	欄位描述	欄位型別	長度	允許空	預設值
1	id	主鍵id	int	10,0
2	userid	使用者id	int	10,0	√
3	target_id	點讚的物件id	int	10,0	√
4	type	點贊型別1問答點贊 2問答評論點贊 3 文章點贊數4 評論點贊	int	10,0	√
5	add_time	新增時間	string		√

2.11錯誤日誌

errorBrief	錯誤摘要
errorDetail	錯誤詳情

3啟動日誌資料

事件標籤: start

標籤	含義
entry	入口： push=1，widget=2，icon=3，notification=4, lockscreen_widget =5
open_ad_type	開屏廣告型別: 開屏原生廣告=1, 開屏插屏廣告=2
action	狀態：成功=1 失敗=2
loading_time	載入時長：計算下拉開始到介面返回資料的時間，（開始載入報0，載入成功或載入失敗才上報時間）
detail	失敗碼（沒有則上報空）
extend1	失敗的message（沒有則上報空）
en	日誌型別start

{
"action":"1",
"ar":"MX",
"ba":"HTC",
"detail":"",
"en":"start",
"entry":"2",
"extend1":"",
"g":"[email protected]",
"hw":"640*960",
"l":"en",
"la":"20.4",
"ln":"-99.3",
"loading_time":"2",
"md":"HTC-2",
"mid":"995",
"nw":"4G",
"open_ad_type":"2",
"os":"8.1.2",
"sr":"B",
"sv":"V2.0.6",
"t":"1561472502444",
"uid":"995",
"vc":"10",
"vn":"1.3.4"
}