hadoop的幾個常用命令

阿新 • • 發佈：2017-07-11

hadoop

官方文檔：http://hadoop.apache.org/docs/r1.2.1/file_system_shell.html

1、登錄主節點，切換到hdfs用戶

[[email protected]~]#su - hdfs

[[email protected] ~]$hadoop fs  -ls  /
Found 2 items
drwxrwxrwt   - hdfs supergroup      0 2017-05-23 16:39 /tmp
drwxr-xr-x   - hdfs supergroup        02017-05-24 15:45 /user

3、在Hadoop文件系統當中，創建一個test目錄

[[email protected] ~]$hadoop fs  -mkdir /user/hdfs/test

[[email protected] ~]$hadoop fs  -ls /user/hdfs/
Found 4 items
drwx------  - hdfs supergroup0 2017-05-26 08:00 /user/hdfs/.Trash
drwxr-xr-x   - hdfs supergroup          0 2017-06-05 15:19/user/hdfs/.sparkStaging
drwx------   - hdfs supergroup          0 2017-05-24 15:46/user/hdfs/.staging
drwxr-xr-x   - hdfs supergroup          0 2017-07-03 10:19 /user/hdfs/test

4、刪除test目錄

 [[email protected] ~]$ hadoop fs -rmr /user/hdfs/test
17/07/03 10:46:06INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval =1440 minutes, Emptier interval = 0 minutes.
Moved:‘hdfs://cdhm1:8020/user/hdfs/test‘ to trash at:hdfs://cdhm1:8020/user/hdfs/.Trash/Current

再次查看test目錄已經沒有了

[[email protected]

/* */ ~]$hadoop fs -ls /user/hdfs/ Found 3 items drwx------ - hdfs supergroup 0 2017-07-03 10:46 /user/hdfs/.Trash drwxr-xr-x - hdfs supergroup 0 2017-06-05 15:19/user/hdfs/.sparkStaging drwx------ - hdfs supergroup 0 2017-05-24 15:46/user/hdfs/.staging

5、把Hadoop文件系統當中的文件下載到本地

[[email protected] ~]$hadoop fs  -get /user/hdfs/test2

查看本地test2下載成功

[[email protected] ~]$ ls
test2  test.txt

把本地文件上傳到Hadoop文件系統當中

[[email protected] ~]$hadoop  fs  -put test.txt /user/hdfs/

查看hadoop中test.txt已成功上傳

[[email protected] ~]$hadoop fs -ls /user/hdfs/
Found 5 items
drwx------   - hdfs supergroup          0 2017-07-03 10:46 /user/hdfs/.Trash
drwxr-xr-x   - hdfs supergroup          0 2017-06-05 15:19/user/hdfs/.sparkStaging
drwx------   - hdfs supergroup          0 2017-05-24 15:46/user/hdfs/.staging
-rw-r--r--   3 hdfs supergroup          0 2017-07-03 11:13 /user/hdfs/test.txt
drwxr-xr-x   - hdfs supergroup          0 2017-07-03 11:04 /user/hdfs/test2

本文出自 “運維筆記” 博客，請務必保留此出處http://quliren.blog.51cto.com/9849266/1946134

hadoop的幾個常用命令

hadoop官方文檔：http://hadoop.apache.org/docs/r1.2.1/file_system_shell.html1、登錄主節點，切換到hdfs用戶[[email protected]/* */~]#su - hdfs2、列出當前目錄有哪些子目錄，有哪些文件[[email

Linux先知和幾個常用命令細講

ubun bubuko 選擇用戶庫文件重命名 options 共享手冊 Linux先知：　　Linux歷史：　　　　關於這個我就不再多說了，其實是一個很有意思的故事串，網上找下一大堆。　　類Unix系統目錄結構：　　　　ubuntu沒有盤符這個概念，只有一個

vi 插入模式下的幾個常用命令

作為初學者，我一直以為vi的主要命令都在命令模式下。但實際上在插入模式也有很多非常有用的命令： Ctrl+w 刪除剛剛輸入的單詞 Ctrl+u 從此處刪除到行首的第一個非空字元 Ctrl+o 進入命令模式並在執行一個命令後自動返回插入模式。很常用吧 Ctr

第二節matlab的變數命名、資料型別和幾個常用命令

一、命名 matlab中命名與其他語言類似，支援字母、數字和下劃線的變數命名，變數必須以字母開頭。不過在matlab中變數不需要定義，而且區分字母大小寫。二、資料型別包括數值型、字元型、陣列型、結構型。其中又可以細分為整型、浮點型等等。三、幾個命令 clc 清屏

MongoDB ver 4 幾個常用命令

create eat user pic dbo 常用 role 常用命令 pwd 1. 為某個數據庫創建用戶： use db_test1; db.createUser({ user:"test_user_1", pwd:"test_user_1_pwd",

PHP執行系統命令的有幾個常用的函數

exe 自動文件操作 nal 外部命令中間 ring 打開 lcm PHP執行系統命令的有幾個常用的函數,如有:system函數、exec函數、popen函數,passthru,shell_exec函數他們都可以執行系統命令,不過前提時必須系統給了權限了哦。 syste

wget命令的幾個常用選項和示例

一個上下由於 cnblogs 覆蓋 tmp pos ica 文件名 wget命令用來從指定的URL下載文件。wget非常穩定，它在帶寬很窄的情況下和不穩定網絡中有很強的適應性，如果是由於網絡的原因下載失敗，wget會不斷的嘗試，直到整個文件下載完畢。如果是服務器打斷下載

常用的幾個vagrant命令

lis sta vagrant mce remove ssh 管理虛擬機 destroy $ vagrant init # 初始化 $ vagrant up # 啟動虛擬機$ vagrant halt # 關閉虛擬機$ vagrant

【Linux】linux常用幾個基本命令小白專區簡單易懂

ls -l 17. 命令補全 linu 刪除目錄 poweroff 環境密碼 family 顯示日期的命令 date顯示日歷的命令 cal -s, --hctosys以硬件時鐘為準，校正系統時鐘hwclock，clock:顯示硬件時鐘 -w, --sy

Android 常用幾個adb命令

(1)安裝apk進手機 1.adb push D:****\KeyboardManMan.apk system/vital-app

列舉幾個常用的linux命令以及說明？

在這裡，為大家整理了一些經常用到的Linux命令，及常用引數，希望大家有用！如有偏頗，請指正！ LS命令－作用：顯示目錄內容，類似DOS下的DIR －格式：LS【options】【filename】－常用引數： >-a:all，不隱藏任何以"."字元開始的檔案

弱電工程中常用的幾個網路命令

前言：現在的弱電工程可以成為網路工程了，基本上全是數字化、網路化了，所以我們需要掌握一定的網路知識，今天就分享一些常用的網路命令，裝置除錯、維護的時候用的到正文： ping命令 ping是個使用頻率極高的實用程式，主要用於確定網路的連通性。這對確定網路是否正確連

幾個常用的 Git 高階命令

Git 是一款開源優秀的版本管理工具，它最初由 Linus Torvalds 等人開發，用於管理 Linux Kernel 的版本研發。相關的書籍和教程網上琳琅滿目，它們多數都詳細的介紹其基本的使用和命令。本人根據自己的經驗，整理出幾個較為高階而常用的命令。推

關於 git reset 命令幾個常用引數的理解

我們在使用git進行版本管理的時候，如果遇到需要回退程式碼的情況，一般會用 git reset 命令，不過這個命令還有幾個引數，這篇文章就來詳解一下。先來了解一下 git 大致的工作流程，配合這張圖會比較容易講清楚首先，想象一下，我正在寫著我的程式碼

GDB 除錯幾個常用的命令

gdb -c core.14103 -- 檢視那個程式產生的core檔案 gdb 程式名 core core.14103

hadoop-streaming幾個常用的錯誤編碼。

換了個工作，這邊還是用streaming，不過不知道平臺的原因，或者其他各種錯誤層出不窮。這裡做一個記錄。經常遇到的exception是：PipeMapRed.waitOutputThreads(): subprocess failed with code N "O

Git學習筆記（幾個常用的命令及版本回退）

關鍵詞 git status \ git diff \ git log \ git reset \ git reflog git status/檢視版本庫狀態修改了本地檔案但未新增至暫存區時已新增至暫存區時提交至版本庫之後 git di

mac終端下幾個常用的命令列指令

1.Lion下顯示資源庫方法一：顯示在“終端”中輸入下面的命令： chflags nohidden ~/Library/ 隱藏在“終端”中輸入下面的命令： chflags hidden ~/Library/ 方法二：開啟Finder，選單中選擇前往按住option鍵就會顯示資源庫項(每次開啟都需要

我最常用的幾個VIM命令

1.C+] ctags中，查函式的實現處 C+T返回前一個地方 2.]] [] ][ [[ 來回找程式碼 3. * # 向後，向前找游標所在的關鍵詞 4.gd 找游標所在的變數的定義處（區域性變數） 5.cw 在搜尋後 cw直接去處關鍵詞然後修改 6.'n 開啟最近的第n個檔案 7.C+v 列模式 8.V 行

測試工作中經常用到的幾個Linux命令（第一彈）

ppi 問題過程哪些工作存在隱藏文件日誌清空自己平時測試工作中經常要在Linux下搭建測試環境，有涉及到啟動/終止服務器，修改tomcat配置文件，偶爾碰到端口被占用。。。這時就不得不需要一些基本的Linux命令來處理遇到的這些問題（順便邁向裝B之旅） 1

hadoop的幾個常用命令

相關推薦