【原創】大數據基礎之Benchmark（4）TPC-DS測試結果（hive spark impala）
1 測試集群
內存：256G
CPU：32Core （Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz）
Disk（系統盤）：300G
Disk（數據盤）：1.5T*1
2 測試數據
tpcds parquet 10g
3 測試對象
hive-2.3.4 【set mapreduce.map.memory.mb=4096; set mapreduce.map.java.opts=-Xmx3072m;】【yarn 200g*3】
hive-2.3.4 on spark-2.4.0 【--master yarn --num-executors 10 --executor-memory 4g】
impala-2.12 【MEM_LIMIT=20gb * 3】
4 測試結果
ps：0 means 執行失敗
【原創】大數據基礎之Benchmark（4）TPC-DS測試結果（hive spark impala）
相關推薦
【原創】大數據基礎之Benchmark（4）TPC-DS測試結果（hive spark impala）
內存 1.5 測試數據 大數據基礎 .com cpu mas exe apr 1 測試集群 內存：256GCPU：32Core （Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz）Disk（系統盤）：300GDisk（數據盤）：1.5T*
【原創】大數據基礎之Spark（4）RDD原理及代碼解析
sso 數據 queue running upd parallel input gettime side 一 簡介 spark核心是RDD，官方文檔地址：https://spark.apache.org/docs/latest/rdd-programming-guide.h
【原創】大數據基礎之Spark（7）spark讀取文件split過程（即RDD分區數量）
ali ces ORC row mapreduce 獲取 sse repo 大致 spark 2.1.1 spark初始化rdd的時候，需要讀取文件，通常是hdfs文件，在讀文件的時候可以指定最小partition數量，這裏只是建議的數量，實際可能比這個要大（比如文件特別多
【原創】大數據基礎之Kudu（1）簡介、安裝
變化 決策 leader 通用 修改 amp use case 容錯性 stream kudu 1.7 官方：https://kudu.apache.org/ 一 簡介 kudu有很多概念，有分布式文件系統（HDFS），有一致性算法（Zookeeper），有Table
【原創】大數據基礎之Mesos（1）簡介、安裝、使用
物理 variable 服務器集群 ast 過程 ould task pos 編譯 Mesos 1.7.1 官方：http://mesos.apache.org/ 一 簡介 Program against your datacenter like it’s a sin
【原創】大數據基礎之集群搭建
centos7 ini redis ril ystemd use ive ges env Cluster Platform redhat/centos7, docker, mesos, cloudera manager(cdh) Checklist 1 check u
【原創】大數據基礎之Spark（9）spark部署方式yarn/mesos
cli 原創 container 大數據 per containe ber exe 調整 1 下載 https://spark.apache.org/downloads.html $ wget http://mirrors.shu.edu.cn/apache/spar
【原創】大數據基礎之Presto（1）簡介、安裝、使用
epo embedded mach img ans 公司 mkdir redis running presto 0.217 官方：http://prestodb.github.io/ 一 簡介 Presto is an open source distrib
【原創】大數據基礎之ElasticSearch（5）重要配置及調優
acc del refresh part closed efault end read_only bsp Index Settings 重要索引配置 Index level settings can be set per-index. Settings may be:
【原創】大數據基礎之Logstash（4）高可用
htm 無法 sep fsync sage tin www cert upd logstash高可用體現為不丟數據（前提為服務器短時間內不可用後可恢復比如重啟服務器或重啟進程），具體有兩個方面： 進程重啟（服務器重啟） 事件消息處理失敗 在logstash中對
【原創】大資料基礎之Spark（4）RDD原理及程式碼解析
一 簡介 spark核心是RDD，官方文件地址：https://spark.apache.org/docs/latest/rdd-programming-guide.html#resilient-distributed-datasets-rdds官方描述如下：重點是可容錯，可並行處理 Spark r
【原創】大資料基礎之Spark（5）Shuffle實現原理及程式碼解析
一 簡介 Shuffle，簡而言之，就是對資料進行重新分割槽，其中會涉及大量的網路io和磁碟io，為什麼需要shuffle，以詞頻統計reduceByKey過程為例， serverA：partition1: (hello, 1), (word, 1)serverB：partition2: (hell
【原創】大資料基礎之Hive（1）Hive SQL執行過程
hive 2.1 hive執行sql有兩種方式： 執行hive命令，又細分為hive -e，hive -f，hive互動式； 執行beeline命令，beeline會連線遠端thrift server； 下面分別看這些場景下sql是怎樣被執行的： 1 hive命令 啟動
【原創】大資料基礎之Spark（6）rdd sort實現原理
spark 2.1.1 spark中可以通過RDD.sortBy來對分散式資料進行排序，具體是如何實現的？來看程式碼： org.apache.spark.rdd.RDD /** * Return this RDD sorted by the given key function.
【原創】大資料基礎之Spark（7）spark讀取檔案split過程（即RDD分割槽數量）
spark 2.1.1 spark初始化rdd的時候，需要讀取檔案，通常是hdfs檔案，在讀檔案的時候可以指定最小partition數量，這裡只是建議的數量，實際可能比這個要大（比如檔案特別多或者特別大時），也可能比這個要小（比如檔案只有一個而且很小時），如果沒有指定最小partition數量，初始化完成的
【原創】運維基礎之Ansible（1）簡介、安裝和使用
ets 安裝 yum ant gem get 結構 ges describe 官方：https://www.ansible.com/ 一 簡介 Ansible is a radically simple IT automation engine that automate
【原創】運維基礎之Nginx（1）簡介、安裝、使用
官方：http://nginx.org nginx [engine x] is an HTTP and reverse proxy server, a mail proxy server, and a generic TCP/UDP proxy server, originally written by
【原創】算法基礎之Anaconda（1）簡介、安裝、使用
https orf ati 2.7 容易 ice range gcc x86_64 Anaconda 2 官方：https://www.anaconda.com/ 一 簡介 The Most Popular Python Data Science Platform A
【原創】運維基礎之Redis（1）簡介、安裝、使用
lists 腳本 分享 ngs 參考 ports eos 運維基礎 lru redis 5.0.3 官方：https://redis.io/ 一 簡介 Redis is an open source (BSD licensed), in-memory data str
【原創】運維基礎之Nginx（3）location
大小 uri 規則 ati 第一個 基礎 匹配規則 最大 cati nginx location =：精確匹配（必須全部相等） ~：大小寫敏感，正則匹配 ~*：忽略大小寫，正則匹配 ^~：只需匹配uri部分，精確匹配 @：內部服務跳轉，精確匹配 規則