【圖文詳細 】HDFS面試題:hadoop的守護執行緒以及Namenode的職責是什麼
五個守護程序:
SecondaryNameNode
ResourceManager
NodeManager
NameNode
DataNode
Namenode:主節點,儲存檔案的元資料(檔名,檔案目錄結構,檔案屬性——生成時間,副本數,檔案許可權),以及每個檔案的塊列表和塊所在的DataNode等。週期性的接受心跳和塊的狀態報告資訊(包含該DataNode上所有資料塊的列表)
若接受到心跳資訊,NN認為DN工作正常,如果在10分鐘後還接受到不到DN的心跳,那麼NN認為DN已經宕機
這時候NN準備要把DN上的資料塊進行重新的複製。
塊的狀態報告包含了一個DN上所有資料塊的列表,blocks report 每個1小時傳送一次
相關推薦
【圖文詳細 】HDFS面試題:hadoop的守護執行緒以及Namenode的職責是什麼
五個守護程序: SecondaryNameNode ResourceManager NodeManager NameNode DataNode Namenode:主節點,儲存檔案的元資料(檔名,檔案目錄結構,檔案屬性——生成時間,副本數,檔案許可權),以及每個檔案的塊列表
【圖文詳細 】HDFS面試題:hadoop1.x和2.x架構上的區別
(1)Hadoop 1.0 Hadoop 1.0即第一代Hadoop,由分散式儲存系統HDFS和分散式計算框架MapReduce組成,其中,HDFS由一個NameNode和多個DataNode組成,MapReduce由一個JobTracker和多個TaskTracker組成,對應Hadoop
【圖文詳細 】HDFS面試題:介紹Hadoop中RPC協議,以及底層用什麼框架封裝的
用於將使用者請求中的引數或者應答轉換成位元組流以便跨機傳輸。 函式呼叫層:函式呼叫層主要功能是:定位要呼叫的函式,並執行該函式,Hadoop採用了java的反射機制和動態代理實現了函式的呼叫。 網路傳輸層:網路傳輸層描述了Client和Server之間訊息的傳輸方式,Hadoop採用了基
【圖文詳細 】HDFS面試題:hdfs裡的 edits和 fsimage作用
1)、fsimage檔案其實是Hadoop檔案系統元資料的一個永久性的檢查點,其中包含Hadoop檔案系統中的所有目錄和檔案idnode的序列化資訊; 2)、edits檔案存放的是Hadoop檔案系統的所有更新操作的路徑,檔案系統客戶端執行的所以寫操作首先會被記錄到edits檔案中。
【圖文詳細 】HDFS面試題:hdfs 的資料壓縮演算法?
(1) Gzip 壓縮 優點:壓縮率比較高,而且壓縮/解壓速度也比較快; hadoop 本身支援,在應用中處理gzip 格式的檔案就和直接處理文字一樣;大部分 linux 系統都自帶 gzip 命令,使用方便. 缺點:不支援 split。 應用場景: 當每個檔案壓縮之後在 130M
【圖文詳細 】HDFS面試題:hdfs的回收站(防止誤刪)
預設是關閉的,需要手動開啟,修改配置 core-site.xml 新增:
Java面試題:Servlet是執行緒安全的嗎?
轉自: http://www.cnblogs.com/chanshuyi/p/5052426.html Servlet不是執行緒安全的。 要解釋為什麼Servlet為什麼不是執行緒安全的,需要了解Servlet容器(即Tomcat)使如何響應HTTP請求的。
java多執行緒面試題:三個執行緒順序列印ABC,重複10次
這個面試題,比較經典。有不同的解決思路。有的博文是用Join去實現。我面試的時候也是第一個想到的是用join叫A執行緒等待B執行緒執行完再執行。這樣的思路能實現,但是不好。雖然當時湊合著說服了面試官。先把程式碼貼出來 private Thread aThread,bThr
10042---Java面試題:Servlet是執行緒安全的嗎?
servlet不是執行緒安全的。 要解釋為什麼Servlet為什麼不是執行緒安全的,需要了解Servlet容器(即Tomcat)使如何響應HTTP請求的。 當Tomcat接收到Client的HTTP請求時,Tomcat從執行緒池中取出一個執行緒,之後找到該請求對應的Serv
一道非常棘手的 Java 面試題:i++ 是執行緒安全的嗎
i++ 是執行緒安全的嗎? 相信很多中高階的 Java 面試者都遇到過這個問題,很多對這個不是很清楚的肯定是一臉蒙逼。內心肯定還在質疑,i++ 居然還有執行緒安全問題?只能說自己瞭解的不夠多,自己的水平有限。 先來看下面的示例來驗證下 i++ 到底是不是執行緒安全的。
【資料結構】(面試題)使用兩個棧實現一個佇列(詳細介紹)
使用兩個棧實現一個佇列思路一:我們設定s1是入棧的,s2是出棧的。入佇列,直接壓到s1即可出佇列,先把s1中的元素倒入到s2中,彈出s2中的棧頂元素;再把s2的剩餘元素全部倒回s1中。缺點:每次只要出棧一個元素就要將元素倒來倒去,麻煩!!!思路2:入佇列時:如果s1為空,把s
【圖文詳細 】什麼是Hive,深入淺出!
第一部分:Hive原理 為什麼要學習Hive的原理 •一條Hive HQL將轉換為多少道MR作業 •怎麼樣加快Hive的執行速度 •編寫Hive HQL的時候我們可以做什麼 •Hive 怎麼將HQL轉換為MR作業 •Hive會採用什麼樣的優化方式 Hive架構&執
【圖文詳細 】HBase 資料庫——產生背景
自 1970 年以來,關係資料庫用於資料儲存和維護有關問題的解決方案。大資料的出現後, 好多公司實現處理大資料並從中受益,並開始選擇像 Hadoop 的解決方案。Hadoop 使用分 布式檔案系統,用於儲存大資料,並使用 MapReduce 來處理。Hadoop 擅長於儲存各種格式 的龐大的資料
【圖文詳細 】Hive 優化常用手段
1、好的模型設計事半功倍 2、解決資料傾斜問題 3、減少 job 數 4、設定合理的 MapReduce 的 task 數,能有效提升效能。(比如,10w+級別的計算,用 160個 reduce,那是相當的浪費,1 個足夠) 5、瞭解資料分佈,自己動手解決資料傾斜問題
HTTP協議【詳解】——經典面試題(轉載)
http請求由三部分組成,分別是:請求行、訊息報頭、請求正文 HTTP(超文字傳輸協議)是一個基於請求與響應模式的、無狀態的、應用層的協議,常基於TCP的連線方式,HTTP1.1版本中給出一種持續連線的機制,絕大多數的Web開發,都是構建在HTTP協議之上的Web應用。
【JAVA面試】java面試題整理(1)
java面試題整理(1) JAVA常考點總結1 目錄
【JAVA面試】java面試題整理(2)
java面試題整理(2) JAVA常考點總結2 目錄 1、
【JAVA面試】java面試題整理(3)
java面試題整理(3) JAVA常考點3 目錄 1. 講下JAVA的執行時區域 回答:執行時資料區整體分為兩類 執行緒私有和執行
【JAVA面試】java面試題整理(4)
java面試題整理(4) JAVA常考點4 目錄 Set集合如何保證不重複 弄清怎麼個邏輯達到元素不重複的,原始碼先上
【圖文詳細 】Kafka訊息佇列——Kafka 的各種 Shell 操作
1、啟動叢集每個節點的程序: 2、建立 topic 3、檢視已經建立的所有 kafka topic 4、檢視某個指定的 kafka topic 的詳細資訊: 4、開啟生產者模擬生成資料: