2. 程式人生 > 實用技巧 >專案實戰從0到1之hive（41）大資料專案之電商數倉（使用者行為資料）（九）

專案實戰從0到1之hive（41）大資料專案之電商數倉（使用者行為資料）（九）

阿新 • • 發佈：2021-01-20

第11章 需求一：使用者活躍主題

11.1 DWS層

目標：統計當日(dau)、當週、當月活動的每個裝置明細

11.1.1 每日活躍裝置明細

1）建表語句 

drop table if exists dws_uv_detail_day;
create external table dws_uv_detail_day
(
   `mid_id` string COMMENT '裝置唯一標識',
   `user_id` string COMMENT '使用者標識', 
   `version_code` string COMMENT '程式版本號', 
   `version_name` string COMMENT '程式版本名', 
   `lang` string COMMENT '系統語言', 
   `source` string COMMENT '渠道號', 
   `os` string COMMENT '安卓系統版本', 
   `area` string COMMENT '區域', 
   `model` string COMMENT '手機型號', 
   `brand` string COMMENT '手機品牌', 
   `sdk_version` string COMMENT 'sdkVersion', 
   `gmail` string COMMENT 'gmail', 
   `height_width` string COMMENT '螢幕寬高',
   `app_time` string COMMENT '客戶端日誌產生時的時間',
   `network` string COMMENT '網路模式',
   `lng` string COMMENT '經度',
   `lat` string COMMENT '緯度'
)
partitioned by(dt string)
stored as parquet
location '/warehouse/gmall/dws/dws_uv_detail_day';

2）資料匯入

以使用者單日訪問為key進行聚合，如果某個使用者在一天中使用了兩種作業系統、兩個系統版本、多個地區，登入不同賬號，只取其中之一 

set hive.exec.dynamic.partition.mode=nonstrict;
​
insert overwrite table dws_uv_detail_day 
partition(dt='2020-10-14')
select 
   mid_id,
   concat_ws('|', collect_set(user_id)) user_id,
   concat_ws('|', collect_set(version_code)) version_code,
   concat_ws('|', collect_set(version_name)) version_name,
   concat_ws('|', collect_set(lang))lang,
   concat_ws('|', collect_set(source)) source,
   concat_ws('|', collect_set(os)) os,
   concat_ws('|', collect_set(area)) area, 
   concat_ws('|', collect_set(model)) model,
   concat_ws('|', collect_set(brand)) brand,
   concat_ws('|', collect_set(sdk_version)) sdk_version,
   concat_ws('|', collect_set(gmail)) gmail,
   concat_ws('|', collect_set(height_width)) height_width,
   concat_ws('|', collect_set(app_time)) app_time,
   concat_ws('|', collect_set(network)) network,
   concat_ws('|', collect_set(lng)) lng,
   concat_ws('|', collect_set(lat)) lat
from dwd_start_log
where dt='2020-10-14'
group by mid_id;

3）查詢匯入結果 

select * from dws_uv_detail_day limit 1;
 select count(*) from dws_uv_detail_day;

4）思考

不同渠道來源的每日活躍數統計怎麼計算？

11.1.2 每週活躍裝置明細

根據日使用者訪問明細，獲得周使用者訪問明細。

1）建表語句 

drop table if exists dws_uv_detail_wk;
create external table dws_uv_detail_wk( 
   `mid_id` string COMMENT '裝置唯一標識',
   `user_id` string COMMENT '使用者標識', 
   `version_code` string COMMENT '程式版本號', 
   `version_name` string COMMENT '程式版本名', 
   `lang` string COMMENT '系統語言', 
   `source` string COMMENT '渠道號', 
   `os` string COMMENT '安卓系統版本', 
   `area` string COMMENT '區域', 
   `model` string COMMENT '手機型號', 
   `brand` string COMMENT '手機品牌', 
   `sdk_version` string COMMENT 'sdkVersion', 
   `gmail` string COMMENT 'gmail', 
   `height_width` string COMMENT '螢幕寬高',
   `app_time` string COMMENT '客戶端日誌產生時的時間',
   `network` string COMMENT '網路模式',
   `lng` string COMMENT '經度',
   `lat` string COMMENT '緯度',
   `monday_date` string COMMENT '週一日期',
   `sunday_date` string COMMENT '週日日期' 
) COMMENT '活躍使用者按周明細'
PARTITIONED BY (`wk_dt` string)
stored as parquet
location '/warehouse/gmall/dws/dws_uv_detail_wk/';

2）資料匯入 

set hive.exec.dynamic.partition.mode=nonstrict;
​
insert overwrite table dws_uv_detail_wk partition(wk_dt)
select 
   mid_id,
   concat_ws('|', collect_set(user_id)) user_id,
   concat_ws('|', collect_set(version_code)) version_code,
   concat_ws('|', collect_set(version_name)) version_name,
   concat_ws('|', collect_set(lang)) lang,
   concat_ws('|', collect_set(source)) source,
   concat_ws('|', collect_set(os)) os,
   concat_ws('|', collect_set(area)) area, 
   concat_ws('|', collect_set(model)) model,
   concat_ws('|', collect_set(brand)) brand,
   concat_ws('|', collect_set(sdk_version)) sdk_version,
   concat_ws('|', collect_set(gmail)) gmail,
   concat_ws('|', collect_set(height_width)) height_width,
   concat_ws('|', collect_set(app_time)) app_time,
   concat_ws('|', collect_set(network)) network,
   concat_ws('|', collect_set(lng)) lng,
   concat_ws('|', collect_set(lat)) lat,
   date_add(next_day('2020-10-14','MO'),-7),
   date_add(next_day('2020-10-14','MO'),-1),
   concat(date_add( next_day('2020-10-14','MO'),-7), '_' , date_add(next_day('2020-10-14','MO'),-1) 
)
from dws_uv_detail_day 
where dt>=date_add(next_day('2020-10-14','MO'),-7) and dt<=date_add(next_day('2020-10-14','MO'),-1) 
group by mid_id;

3）查詢匯入結果 

select * from dws_uv_detail_wk limit 1;
select count(*) from dws_uv_detail_wk;

11.1.3 每月活躍裝置明細

1）建表語句 

drop table if exists dws_uv_detail_mn;
​
create external table dws_uv_detail_mn( 
   `mid_id` string COMMENT '裝置唯一標識',
   `user_id` string COMMENT '使用者標識', 
   `version_code` string COMMENT '程式版本號', 
   `version_name` string COMMENT '程式版本名', 
   `lang` string COMMENT '系統語言', 
   `source` string COMMENT '渠道號', 
   `os` string COMMENT '安卓系統版本', 
   `area` string COMMENT '區域', 
   `model` string COMMENT '手機型號', 
   `brand` string COMMENT '手機品牌', 
   `sdk_version` string COMMENT 'sdkVersion', 
   `gmail` string COMMENT 'gmail', 
   `height_width` string COMMENT '螢幕寬高',
   `app_time` string COMMENT '客戶端日誌產生時的時間',
   `network` string COMMENT '網路模式',
   `lng` string COMMENT '經度',
   `lat` string COMMENT '緯度'
) COMMENT '活躍使用者按月明細'
PARTITIONED BY (`mn` string)
stored as parquet
location '/warehouse/gmall/dws/dws_uv_detail_mn/';

2）資料匯入 

set hive.exec.dynamic.partition.mode=nonstrict;
​
insert overwrite table dws_uv_detail_mn partition(mn)
select 
   mid_id,
   concat_ws('|', collect_set(user_id)) user_id,
   concat_ws('|', collect_set(version_code)) version_code,
   concat_ws('|', collect_set(version_name)) version_name,
   concat_ws('|', collect_set(lang)) lang,
   concat_ws('|', collect_set(source)) source,
   concat_ws('|', collect_set(os)) os,
   concat_ws('|', collect_set(area)) area, 
   concat_ws('|', collect_set(model)) model,
   concat_ws('|', collect_set(brand)) brand,
   concat_ws('|', collect_set(sdk_version)) sdk_version,
   concat_ws('|', collect_set(gmail)) gmail,
   concat_ws('|', collect_set(height_width)) height_width,
   concat_ws('|', collect_set(app_time)) app_time,
   concat_ws('|', collect_set(network)) network,
   concat_ws('|', collect_set(lng)) lng,
   concat_ws('|', collect_set(lat)) lat,
   date_format('2020-10-14','yyyy-MM')
from dws_uv_detail_day
where date_format(dt,'yyyy-MM') = date_format('2020-10-14','yyyy-MM')
group by mid_id;

3）查詢匯入結果 

select * from dws_uv_detail_mn limit 1;
select count(*) from dws_uv_detail_mn ;

11.1.4 DWS層載入資料指令碼

1）建立指令碼

[kgg@hadoop102 bin]$ vim dws_uv_log.sh
   在指令碼中編寫如下內容
#!/bin/bash
​
# 定義變數方便修改
APP=gmall
hive=/opt/module/hive/bin/hive
​
# 如果是輸入的日期按照取輸入日期；如果沒輸入日期取當前時間的前一天
if [ -n "$1" ] ;then
  do_date=$1
else 
  do_date=`date -d "-1 day" +%F` 
fi 
echo "===日誌日期為 $do_date==="
sql="
 set hive.exec.dynamic.partition.mode=nonstrict;
​
  insert overwrite table "$APP".dws_uv_detail_day partition(dt='$do_date')
  select 
   mid_id,
   concat_ws('|', collect_set(user_id)) user_id,
   concat_ws('|', collect_set(version_code)) version_code,
   concat_ws('|', collect_set(version_name)) version_name,
   concat_ws('|', collect_set(lang)) lang,
   concat_ws('|', collect_set(source)) source,
   concat_ws('|', collect_set(os)) os,
   concat_ws('|', collect_set(area)) area, 
   concat_ws('|', collect_set(model)) model,
   concat_ws('|', collect_set(brand)) brand,
   concat_ws('|', collect_set(sdk_version)) sdk_version,
   concat_ws('|', collect_set(gmail)) gmail,
   concat_ws('|', collect_set(height_width)) height_width,
   concat_ws('|', collect_set(app_time)) app_time,
   concat_ws('|', collect_set(network)) network,
   concat_ws('|', collect_set(lng)) lng,
   concat_ws('|', collect_set(lat)) lat
  from "$APP".dwd_start_log
  where dt='$do_date' 
  group by mid_id;
​
​
  insert overwrite table "$APP".dws_uv_detail_wk partition(wk_dt)
  select 
   mid_id,
   concat_ws('|', collect_set(user_id)) user_id,
   concat_ws('|', collect_set(version_code)) version_code,
   concat_ws('|', collect_set(version_name)) version_name,
   concat_ws('|', collect_set(lang)) lang,
   concat_ws('|', collect_set(source)) source,
   concat_ws('|', collect_set(os)) os,
   concat_ws('|', collect_set(area)) area, 
   concat_ws('|', collect_set(model)) model,
   concat_ws('|', collect_set(brand)) brand,
   concat_ws('|', collect_set(sdk_version)) sdk_version,
   concat_ws('|', collect_set(gmail)) gmail,
   concat_ws('|', collect_set(height_width)) height_width,
   concat_ws('|', collect_set(app_time)) app_time,
   concat_ws('|', collect_set(network)) network,
   concat_ws('|', collect_set(lng)) lng,
   concat_ws('|', collect_set(lat)) lat,
   date_add(next_day('$do_date','MO'),-7),
   date_add(next_day('$do_date','MO'),-1),
   concat(date_add( next_day('$do_date','MO'),-7), '_' , date_add(next_day('$do_date','MO'),-1) 
  )
  from "$APP".dws_uv_detail_day
  where dt>=date_add(next_day('$do_date','MO'),-7) and dt<=date_add(next_day('$do_date','MO'),-1) 
  group by mid_id; 
​
​
  insert overwrite table "$APP".dws_uv_detail_mn partition(mn)
  select
   mid_id,
   concat_ws('|', collect_set(user_id)) user_id,
   concat_ws('|', collect_set(version_code)) version_code,
   concat_ws('|', collect_set(version_name)) version_name,
   concat_ws('|', collect_set(lang))lang,
   concat_ws('|', collect_set(source)) source,
   concat_ws('|', collect_set(os)) os,
   concat_ws('|', collect_set(area)) area, 
   concat_ws('|', collect_set(model)) model,
   concat_ws('|', collect_set(brand)) brand,
   concat_ws('|', collect_set(sdk_version)) sdk_version,
   concat_ws('|', collect_set(gmail)) gmail,
   concat_ws('|', collect_set(height_width)) height_width,
   concat_ws('|', collect_set(app_time)) app_time,
   concat_ws('|', collect_set(network)) network,
   concat_ws('|', collect_set(lng)) lng,
   concat_ws('|', collect_set(lat)) lat,
   date_format('$do_date','yyyy-MM')
  from "$APP".dws_uv_detail_day
  where date_format(dt,'yyyy-MM') = date_format('$do_date','yyyy-MM')  
  group by mid_id;
"
​
$hive -e "$sql"

2）增加指令碼執行許可權 

chmod 777 dws_uv_log.sh

3）指令碼使用 

dws_uv_log.sh 2019-02-11

4）查詢結果 

select count(*) from dws_uv_detail_day where dt='2019-02-11';
select count(*) from dws_uv_detail_wk;
 select count(*) from dws_uv_detail_mn ;

5）指令碼執行時間

企業開發中一般在每日凌晨30分~1點

11.2 ADS層

目標：當日、當週、當月活躍裝置數

11.2.1 活躍裝置數

1）建表語句 

drop table if exists ads_uv_count;
create external table ads_uv_count( 
   `dt` string COMMENT '統計日期',
   `day_count` bigint COMMENT '當日使用者數量',
   `wk_count` bigint COMMENT '當週使用者數量',
   `mn_count` bigint COMMENT '當月使用者數量',
   `is_weekend` string COMMENT 'Y,N是否是週末,用於得到本週最終結果',
   `is_monthend` string COMMENT 'Y,N是否是月末,用於得到本月最終結果' 
) COMMENT '活躍裝置數'
row format delimited fields terminated by '\t'
location '/warehouse/gmall/ads/ads_uv_count/';

2）匯入資料 

insert into table ads_uv_count 
select 
 '2020-10-14' dt,
  daycount.ct,
  wkcount.ct,
  mncount.ct,
if(date_add(next_day('2020-10-14','MO'),-1)='2020-10-14','Y','N') ,
  if(last_day('2020-10-14')='2020-10-14','Y','N') 
from 
(
  select 
   '2020-10-14' dt,
    count(*) ct
  from dws_uv_detail_day
  where dt='2020-10-14' 
)daycount join 
( 
  select 
   '2020-10-14' dt,
   count (*) ct
  from dws_uv_detail_wk
  where wk_dt=concat(date_add(next_day('2020-10-14','MO'),-7),'_' ,date_add(next_day('2020-10-14','MO'),-1) )
) wkcount on daycount.dt=wkcount.dt
join 
( 
  select 
   '2020-10-14' dt,
   count (*) ct
  from dws_uv_detail_mn
  where mn=date_format('2020-10-14','yyyy-MM') 
)mncount on daycount.dt=mncount.dt;

3）查詢匯入結果 

select * from ads_uv_count ;

11.2.2 ADS層載入資料指令碼

1）建立指令碼 

[kgg@hadoop102 bin]$ vim ads_uv_log.sh
   在指令碼中編寫如下內容
#!/bin/bash
​
# 定義變數方便修改
APP=gmall
hive=/opt/module/hive/bin/hive
​
# 如果是輸入的日期按照取輸入日期；如果沒輸入日期取當前時間的前一天
if [ -n "$1" ] ;then
  do_date=$1
else 
  do_date=`date -d "-1 day" +%F` 
fi 
echo "===日誌日期為 $do_date==="
sql="
 set hive.exec.dynamic.partition.mode=nonstrict;
​
insert into table "$APP".ads_uv_count 
select 
 '$do_date' dt,
  daycount.ct,
  wkcount.ct,
  mncount.ct,
  if(date_add(next_day('$do_date','MO'),-1)='$do_date','Y','N') ,
  if(last_day('$do_date')='$do_date','Y','N') 
from 
(
  select 
   '$do_date' dt,
    count(*) ct
  from "$APP".dws_uv_detail_day
  where dt='$do_date' 
)daycount  join 
( 
  select 
   '$do_date' dt,
   count (*) ct
  from "$APP".dws_uv_detail_wk
  where wk_dt=concat(date_add(next_day('$do_date','MO'),-7),'_' ,date_add(next_day('$do_date','MO'),-1) )
)  wkcount  on daycount.dt=wkcount.dt
join 
( 
  select 
   '$do_date' dt,
   count (*) ct
  from "$APP".dws_uv_detail_mn
  where mn=date_format('$do_date','yyyy-MM') 
)mncount on daycount.dt=mncount.dt;
"
​
$hive -e "$sql"

2）增加指令碼執行許可權 

chmod 777 ads_uv_log.sh

3）指令碼使用 

 ads_uv_log.sh 2019-02-11

4）指令碼執行時間

企業開發中一般在每日凌晨30分~1點

5）查詢匯入結果 

 select * from ads_uv_count;

相關推薦

專案實戰從0到1之hive（41）大資料專案之電商數倉（使用者行為資料）（九）

第11章 需求一：使用者活躍主題 11.1 DWS層 目標：統計當日(dau)、當週、當月活動的每個裝置明細

Spark專案實戰從0到1之（3）spark讀取hive資料

1.首先將叢集的這3個檔案hive-site.xml，core-size.xml,hdfs-site.xml放到資原始檔裡(必須，否則報錯)

Spark專案實戰從0到1之（10）Spark讀取HDFS寫入Hive

package com.xxxx.report.service; import com.google.common.collect.Lists; import com.xx.report.config.Constants;

Spark專案實戰從0到1之（12）hive內建函式大全

Hive常用函式大全一覽 文章目錄 1關係運算 1.11、等值比較: = 1.22、不等值比較: 1.33、小於比較: <

Spark專案實戰從0到1之（13）hive經典50題

一.建表和載入資料 1.student表 create table if not exists student(s_id int,s_name string,s_birth string,s_sex string)

Spark專案實戰從0到1之（14）關於hive統計連續的案例

一:例題1 ​ 統計使用者連續交易的總額、連續登陸天數、連續登陸開始和結束時間、間隔天數

Spark專案實戰從0到1之（15）hive實現連續三個月學生成績都為A的記錄

1.資料 s1,201801,A s1,201802,A s1,201803,C s1,201804,A s1,201805,A s1,201806,A s2,201801,A s2,201802,B s2,201803,C

Spark專案實戰從0到1之（16）hive求出場率，環比以及共同通話時長

一、求出場率與出廠次數 1、有如下資料：（建表語句+sql查詢） id names 1 aa,bb,cc,dd,ee

專案實戰從0到1之hive（39）大資料專案之電商數倉（使用者行為資料）（七）

第9章 數倉搭建之DWD層 對ODS層資料進行清洗（去除空值，髒資料，超過極限範圍的資料，行式儲存改為列儲存，改壓縮格式）。

專案實戰從0到1之hive（40）大資料專案之電商數倉（使用者行為資料）（八）

第10章 業務知識準備 10.1 業務術語 使用者 使用者以裝置為判斷標準，在移動統計中，每個獨立裝置認為是一個獨立使用者。Android系統根據IMEI號，IOS系統根據OpenUDID來標識一個獨立使用者，每部手機一個使用者。

專案實戰從0到1之hive（42）大資料專案之電商數倉（使用者行為資料）（十）

第12章 需求二：使用者新增主題 首次聯網使用應用的使用者。如果一個使用者首次開啟某APP，那這個使用者定義為新增使用者；解除安裝再安裝的裝置，不會被算作一次新增。新增使用者包括日新增使用者、周新增使用者、

專案實戰從0到1之hive（43）大資料專案之電商數倉（使用者行為資料）（十一）

第14章 新資料準備 為了分析沉默使用者、本週迴流使用者數、流失使用者、最近連續3周活躍使用者、最近七天內連續三天活躍使用者數，需要準備2019-02-12、2019-02-20日的資料。

專案實戰從0到1之hive（44）大資料專案之電商數倉（使用者行為資料）（十二）

第17章 需求六：流失使用者數 流失使用者：最近7天未登入我們稱之為流失使用者

專案實戰從0到1之hive（45）大資料專案之電商數倉（用三）

第20章 需求九：每個使用者累計訪問次數 結果如下 使用者日期小計總計mid12019-12-141010mid12019-02-111222mid22019-12-141515mid22019-02-111227

專案實戰從0到1之hive（47）大資料專案之電商數倉（十五）

第26章 總結 26.1 使用者行為數倉業務總結 26.1.1 數倉分幾層？每層做什麼的？ 1）ODS層（原始資料層）

Spark專案實戰從0到1之（1）Spark讀取和儲存HDFS上的資料

本篇來介紹一下通過Spark來讀取和HDFS上的資料，主要包含四方面的內容：將RDD寫入HDFS、讀取HDFS上的檔案、將HDFS上的檔案新增到Driver、判斷HDFS上檔案路徑是否存在。

SparkStreaming專案實戰 從 0 到 1 學習之（1）使用 Kafka + Spark Streaming + Cassandra 構建資料實時處理引擎

Apache Kafka 是一個可擴充套件，高效能，低延遲的平臺，允許我們像訊息系統一樣讀取和寫入資料。我們可以很容易地在 Java 中使用 Kafka。

Spark專案實戰從0到1之（6）Spark 讀取mysql中的資料

Spark（直接讀取mysql中的資料） 兩種方法的目的：進行mysql資料的資料清洗 方法一：

Spark專案實戰從0到1之（11）實現手機號碼脫敏的udf函式執行過程

Hive UDFHive UDF 函式1 POM 檔案2.UDF 函式3 利用idea打包4 新增hive udf函式4.1 上傳jar包到叢集4.2 修改叢集hdfs檔案許可權4.3 註冊UDF4.4 使用UDF

Spark專案實戰從0到1之（20）企業級資料倉庫構建（三）：資料採集模組環境搭建（1）

一、資料採集模組 Linux基本配置 【1】Linux環境搭建 1).修改MAC地址 方法1：vim /etc/udev/rules.d/70-persistent-net.rules