2. 程式人生 > >5.大資料學習之旅——hadoop-簡介及偽分散式安裝

5.大資料學習之旅——hadoop-簡介及偽分散式安裝

阿新 • • 發佈：2019-01-12

Hadoop簡介

是Apache的頂級專案，是一個可靠的、可擴充套件的、支援分散式計算的開源
專案。

起源

創始人：Doug Cutting 和Mike
2004 Doug和Mike建立了Nutch - 利用通用爬蟲爬取了網際網路上的所有數
據，獲取了10億個網頁資料 - 10億個網頁資料是非結構化資料，就意味
著這些資料是無法儲存到資料庫中
在這裡插入圖片描述
Doug發現了Google在2003年發表的一篇論文:《Google File System》,設計
了NDFS - Nutch Distributed File System解決了Nutch的儲存問題
Doug發現了Google在2003年發表的另一篇論文：《Google MapReduce》，
這篇論文講述了Google分散式系統的中的計算問題，Doug根據這篇論文設
計了MapReduce
後來，從Nutch0.8版本開始，就將NDFS和MapReduce模組獨立出來成為了
Hadoop，並且將NDFS更名為HDFS
Doug帶著Hadoop去了Yahoo，在Yahoo期間，設計了Pig, Hive, HBase等框架
Yahoo將Hadoop等框架貢獻給了Apache
Hadoop：Doug在命名的時候希望用一些無意義的單詞，就是為了防止重
名

Hadoop的版本

  1. Hadoop1.0：HDFS和MapReduce
  2. Hadoop2.0：完全重構的一套系統，不相容1.0。包含了
    HDFS、MapReduce和Yarn
  3. Hadoop3.0：包含了HDFS、MapReduce、Yarn以及Ozone

Hadoop的模組

  1. Hadoop Common：基本模組
  2. Hadoop Distributed File System：HDFS。進行資料的分散式儲存
  3. Hadoop YARN：進行任務排程和節點資源管理
  4. Hadoop MapReduce：基於Yarn對海量資料進行並行處理
  5. Hadoop Ozone：基於HDFS進行物件的儲存

Hadoop的偽分散式安裝

Hadoop的安裝方式

  1. 單機安裝。除了MapReduce模組以外，其他的都不能使用
  2. 偽分散式安裝。利用一臺主機模擬Hadoop的執行環境，可以使用
    Hadoop的所有模組
  3. 全分散式安裝。在真正的叢集上去安裝Hadoop。

偽分散式的安裝

  1. 關閉防火牆 service iptables stop
    vim /etc/sysnconfig/network
    更改HOSTNAME，例如
    HOSTNAME=hadoop01
    source /etc/sysconfig/network
  2. 修改主機名。在Hadoop叢集中，主機名中不允許出現_以及-，如果出現
    會導致找不到這臺主機。
    vim /etc/hosts
    新增 ip 主機名 ，例如
    192.168.60.132 hadoop01
  3. 更改hosts檔案
  4. 配置免密互通
    ssh-keygen
    ssh-copy-id 使用者名稱@主機地址，例如
    ssh-copy-id [email protected]
  5. 重啟計算機 reboot
  6. 安裝jdk
  7. 解壓Hadoop的安裝包 tar -xvf hadoop-2.7.1_64bit.tar.gz
  8. 進入安裝目錄下的子目錄etc下的子目錄hadoop cd
    hadoop-2.7.1/etc/hadoop
  9. 編輯hadoop-env.sh vim hadoop-env.sh
  10. 將JAVA_HOME替換為具體的jdk安裝目錄， 例如
    export JAVA_HOME=/home/preSoftware/jdk1.8
  11. 將HADOOP_CONF_DIR替換為具體的Hadoop的配置目錄。例如
    export HADOOP_CONF_DIR=/home/software/hadoop-2.7.1/etc/hadoop
  12. 重新生效 source hadoop-env.sh
  13. 編輯core-site.xml vim core-site.xml
  14. 新增內容
<!-- 指定HDFS中的管理節點 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<!-- 指定儲存位置 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/software/hadoop-2.7.1/tmp</value>
</property>
  1. 編輯hdfs-site.xml vim hdfs-site.xml
  2. 新增內容
<!-- hdfs中的複本數量 -->
<!-- 在偽分散式中，複本數量必須為1 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
  1. 將mapred-site.xml.template複製為mapred-site.xml cp mapred-
    site.xml.template mapred-site.xml
  2. 編輯mapred-site.xml vim mapred-site.xml
  3. 新增內容：
<!-- 在Hadoop的2.0版本中，MapReduce是基於Yarn執行 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
  1. 配置yarn-site.xml vim yarn-site.xml
  2. 新增內容
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
  1. Hadoop本身是主從結構，配置slaves指定從節點
    vim slaves
    新增從節點的地址
  2. 配置環境變數
    vim /etc/profile
    新增：
    export HADOOP_HOME=/home/software/hadoop-2.7.1
    export PATH= P A T H : PATH: HADOOP_HOME/bin:$HADOOP_HOME/sbin
    重新生效
    source /etc/profile
  3. 格式化資料目錄 hadoop namenode -format
    在這裡插入圖片描述
  4. 啟動hadoop start-all.sh
    在這裡插入圖片描述
  5. 如果啟動成功，可以在瀏覽器中輸入地址:50070訪問hadoop的頁面

HDFS

本身是用於儲存資料的
在這裡插入圖片描述

  1. 儲存資料的節點 - datanode, 管理資料的節點 - namenode
  2. HDFS儲存資料的時候會將檔案進行切塊，並且給每一個檔案塊分配
    一個遞增的編號
  3. HDFS儲存資料的時候會對資料進行備份，每一個備份稱之為是一個
    複本。在偽分散式下，複本設定為1，但是在全分散式下，複本預設
    是3個
  4. 3個複本是放到不同的datanode中。複本的放置策略 - 機架感知策
    略：
    1. 第一個複本：客戶端連線的是哪一個datanode，複本就放到哪一
      個datanode上
    2. 第二個複本：要放到另一個機架的datanode上
    3. 第三個複本：放到和第二個複本同機架的另一個datanode上
    4. 如果有更多的複本數量，其他的複本隨機放到其他的datanode
  5. 如果某一個datanode宕機，那麼這個時候namenode就會將這個
    datanode上所存放的複本進行復制，保證整個hdfs中有指定的複本數量
  6. namenode需要管理datanode，namenode中儲存管理資訊 — 元資料 -
    metadata — FileName replicas block-Ids id2host：
    1. 記錄檔案儲存位置 /node01/a.txt
    2. 記錄檔案切的塊數
    3. 檔案塊儲存的datanode的地址
      /test/a.log,3,{b1,b2},[{b1:[h0,h1,h3]},{b2:[h0,h2,h4]}] — 儲存的檔案
      時a.log檔案，儲存在/test路徑下，複本數量為3，切了2塊，編號
      為b1,b2，b1存放在h0,h1,h3節點下，b2存放在h0,h2,h4節點下
  7. datanode主動向namenode傳送心跳，保持namenode對datanode的管
    理。心跳資訊包含：1.節點狀態 2.節點儲存的資料
  8. 如果超過10min中，namenode沒有收到datanode的心跳，那麼就認
    為這個datanode已經lost，那麼namenode就會將這個lost的datanode
    中的資料進行備份

優點

  1. 支援超大檔案：將檔案進行切塊分別放到不同的節點上
  2. 檢測和快速應對硬體故障：心跳機制
  3. 流式資料訪問
  4. 簡化的一致性模型：只要一個檔案塊寫好，那麼這個檔案塊就不允許
    在進行改動，只能讀取
  5. 高容錯性：多複本。
  6. 可構建在廉價機器上：HDFS具有較好的擴充套件性。

缺點

  1. 高延遲資料訪問：不適合於互動式，也就意味著Hadoop不適合做實
    時分析，而是做的離線分析
  2. 大量的小檔案：檔案的儲存要經過namenode，namenode中要記錄元
    資料，元資料是儲存在記憶體中。大量的小檔案會產生大量的元資料，導
    致記憶體被大量佔用，降低namenode的處理效率
  3. 多使用者寫入檔案、修改檔案：在hadoop2.0版本中，不支援修改，但
    是支援追加
  4. 不支援超強的事務

技術細節

Block

HDFS在儲存資料的時候是將資料進行切塊，分別儲存到不同的節點上。
在Hadoop1.0版本中，每一個block預設是64M大小，在Hadoop2.0版本
中，每一個block預設是128M大小
400M - 4 - 其中前3塊，每一塊是128M，第4塊是16M
100M - 1 - 檔案塊按照實際大小100M儲存
好處：

  1. 利於大檔案的儲存
  2. 方便傳輸
  3. 便於計算

NameNode

負責datanode的管理以及儲存元資料。
元資料存在記憶體（快速查詢）和磁碟(崩潰恢復)中
HDFS的結構中，namenode存在單點問題
fsimage - 儲存元資料。但是注意fsimage中的元資料和記憶體中並不一致，
也就意味著fsimage中的資料並不是實時資料
edits - 儲存HDFS的操作
fstime - 記錄上一次的更新時間
在這裡插入圖片描述

觸發更新的條件：

  1. 檔案大小 — 根據配置檔案設定的edits log大小 fs.checkpoint.size 預設
    64MB
  2. 定時更新 — 根據配置檔案設定的時間間隔：fs.checkpoint.period 默
    認3600秒
  3. 重啟hdfs的時候也會觸發更新 — 在合併過程中，HDFS不對外提供
    寫服務，只提供讀服務 — 重啟hdfs的時候進行的更新階段 — 安
    全模式

安全模式：

  1. 只能讀不能寫
  2. 檢查複本數量以及總量 — 導致偽分散式環境下，複本數量必須設
    置為1
    安全模式：
    如果重啟hdfs，處於安全模式，等待一會兒，檢查完資料都沒有問題，
    自動退出安全模式
    在學習期間，重啟hdfs之後如果長期處於安全模式中，說明資料有損
    壞：
  3. 強制退出安全模式 hadoop dfsadmin -safemode leave
  4. 關閉HDFS
  5. 刪除dfs、nm-local-dir、logs
  6. 重新格式化 hadoop namenode -format
    SecondaryNameNode
    不是namenode的熱備份，而是進行fsimage和edits的合併的

hdfs體系結構

在這裡插入圖片描述

hdfs讀取資料

在這裡插入圖片描述

#hdfs寫入資料
在這裡插入圖片描述

mr原理

在這裡插入圖片描述

ssn合併流程

在這裡插入圖片描述

上一篇 4.大資料學習之旅——Avro

相關推薦

5.大資料學習之旅——hadoop-簡介及偽分散式安裝

Hadoop簡介 是Apache的頂級專案，是一個可靠的、可擴充套件的、支援分散式計算的開源 專案。 起源 創始人：Doug Cutting 和Mike 2004 Doug和Mike建立了Nutch - 利用通用爬蟲爬取了網際網路上的所有數 據，獲取了10億個網頁資料 - 1

5.大資料學習之旅——hadoop-HDFS

NameNode 檢視edits檔案： hdfs oev -i edits_0000000000000000022-0000000000000000023 -o edits.xml 檢視fsimage檔案： hdfs oiv -i fsimage_000000000000000002

8.大資料學習之旅——hadoop-Hadoop完全分散式配置

Hadoop完全分散式配置 關閉防火牆 修改主機名 配置hosts檔案。將需要搭建叢集的主機全部配置到hosts檔案中 192.168.32.138 hadoop01 192.168.32.139 hadoop02 192.168.32.14

7.大資料學習之旅——hadoop-MapReduce

序列化/反序列化機制 當自定義一個類之後，如果想要產生的物件在hadoop中進行傳輸，那麼需要 這個類實現Writable的介面進行序列化/反序列化 案例：統計每一個人產生的總流量 import java.io.DataInput; import java.io.DataOutp

大資料學習之旅2——從零開始搭hadoop完全分散式叢集

前言        本文從零開始搭hadoop完全分散式叢集，大概花費了一天的時間邊搭邊寫部落格，一步一步完成完成叢集配置，相信大家按照本文一步一步來完全可以搭建成功。需要注意的是本文限於篇幅和時間的限制，也是為了突出重點，一些很基礎的操作就不再詳細

記錄我的大資料學習之旅 ---01.使用VMware安裝CentOs7

前言 從2017年初開始接觸大資料，從一無所知，到慢慢探索，到最後能夠獨立開發大資料專案。為此，趁著專案空閒的時間，分享與記錄一下我的大資料學習之旅。 一.準備資料，下載CentOs 二.新建虛擬機器

13.大資料學習之旅——HBase第三天

LSM-TREE 概述 眾所周知傳統磁碟I/O是比較耗效能的，優化系統性能往往需要和磁碟I/O打交道,而磁碟I/O產 生的時延主要由下面3個因素決定: 1）尋道時間（將磁碟臂移動到適當的柱面上所需要的時間，尋道時移動到相鄰柱面移動所需 時間1ms，而隨機移動所需時間位5~1

12.大資料學習之旅——HBase第二天

HBASE完全分散式安裝 實現步驟 準備三臺虛擬機器，01作為主節點，02、03作為從節點。（把每臺虛擬機器防火牆都關掉，配 置免密碼登入，配置每臺的主機名和hosts檔案。） 01節點上安裝和配置：Hadoop+Hbase+JDK+Zookeeper

11.大資料學習之旅——HBase

一、HBASE概述 官方網址：http://hbase.apache.org/ HBase是一個分散式的、面向列的開源資料庫，該技術來源於Fay Chang 所撰寫的Google論文《Bigtable》一個結構 化資料的分散式儲存系統"。就像Bigtable利用了Google

10.大資料學習之旅——hive2

Hive解決資料傾斜問題 概述 什麼是資料傾斜以及資料傾斜是怎麼產生的？ 簡單來說資料傾斜就是資料的key 的分化嚴重不均，造成一部分資料很多，一部分資料很少的局面。 舉個 word count 的入門例子，它的map 階段就是形成 （“aaa”,1）的形式，然後在redu

9.大資料學習之旅——hive

Hive介紹 Hadoop開發存在的問題 只能用java語言開發，如果是c語言或其他語言的程式設計師用Hadoop，存 在語言門檻。 需要對Hadoop底層原理，api比較瞭解才能做開發。 Hive概述 Hive是基於Hadoop的一個數據倉庫工具。可以將結構

4.大資料學習之旅——Avro

一、概述 Avro是一種遠端過程呼叫和資料序列化框架，是在Apache的Hadoop專案之內開發的。它使用JSON來定義資料類 型和通訊協議，使用壓縮二進位制格式來序列化資料。它主要用於Hadoop，它可以為持久化資料提供一種序列化格 式，併為Hadoop節點間及從客戶端程式到

3.大資料學習之旅——Zookeeper

Zookeeper Zookeeper是開源的分散式的協調服務框架，是Apache Hadoop的子件，適用 於絕大部分分散式叢集的管理 分散式引發問題： 死鎖：至少有一個執行緒佔用了資源，但是不佔用CPU 活鎖：所有執行緒都沒有把持資源，但是執行緒卻是在不斷地

2.大資料學習之旅——紅黑樹

紅黑樹 自平衡二叉查詢樹 — 時間複雜度O(logn) 特徵： 每一個節點非紅即黑 根節點一定是黑色 所有的葉子節點一定是黑色的nil節點 紅節點的子節點一定是黑節點 任意一條路徑中的黑色節點個數一致 插入的節點一定是紅色 修復

1.大資料學習之旅——NIO

Concurrent包 jdk1.5所提供的一個針對高併發進行程式設計的包。 阻塞式佇列 - BlockingQueue 遵循先進先出(FIFO)的原則。阻塞式佇列本身使用的時候是需要指定界限。 ArrayBlockingQueue - 阻塞式順序佇列 - 底層是基於陣列來進

14.大資料學習之旅——HBASE表設計&HBase優化

HBASE表設計 Rowkey設計 Rowkey是不可分割的位元組數，按字典排序由低到高儲存在表中。 在設計HBase表時，Rowkey設計是最重要的事情，應該基於預期的訪問模式來為Rowkey建 模。Rowkey決定了訪問HBase表時可以得到的效能，原因有兩個： 1）R

16.大資料學習之旅——Storm叢集配置&Strom叢集中各角色說明&Storm併發機制*

實現步驟： 安裝和配置jdk 安裝和配置zookeeper 上傳和解壓storm 配置storm安裝目錄conf目錄下的storm.yaml檔案 storm.yaml配置示例： 注意配置項開頭需要有空格，：後面需要跟空格，否則啟動會報錯 5.

19.大資料學習之旅——flume介紹

flume介紹 概述 Flume最早是Cloudera提供的日誌收集系統，後貢獻給Apache。所以目前是Apache下的專案，Flume支援在日誌 系統中定製各類資料傳送方，用於收集資料。 Flume是一個高可用的，高可靠的魯棒性（robust 健壯性），分散式的海量日誌採集、聚合

大資料學習之路91-Hadoop的高可用

我們之前一直沒有配置過hadoop的高可用，今天我們就來配置一下 之前我們的namenode只要一掛，則整個hdfs叢集就完蛋。雖然我們可以通過重啟的方式來恢復，可是我們重啟好之前，我們的hdfs叢集就不能提供服務了。所以它存在單點故障問題。 我們可以設定兩臺namenode ,一臺為a

大資料學習之路93-kafka簡介

kafka是實時計算中用來做資料收集的，它是一個訊息佇列。它使用scala開發的。 那麼我們就會想我們這裡能不能用hdfs做資料儲存呢？它是分散式的，高可用的。 但是它還缺少一些重要的功能：比如說我們往hdfs中寫資料，之後我們需要實時的讀取。當我們讀到某一行的時候斷掉了，假如說這個讀取