intellij IDEA下遠端除錯hadoop

阿新 • • 發佈：2019-01-17

test:
     [exec] deploy jar
     [exec] deploy run.sh
     [exec] change authority
     [exec] start run.sh
     [exec] add jar to classpath
     [exec] run hadoop task
     [exec] 13/05/23 11:36:28 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
     [exec] 13/05/23 11:36:28 INFO input.FileInputFormat: Total input paths to process : 2
     [exec] 13/05/23 11:36:28 INFO util.NativeCodeLoader: Loaded the native-hadoop library
     [exec] 13/05/23 11:36:28 WARN snappy.LoadSnappy: Snappy native library not loaded
     [exec] 13/05/23 11:36:29 INFO mapred.JobClient: Running job: job_201305032210_0003
     [exec] 13/05/23 11:36:30 INFO mapred.JobClient:  map 0% reduce 0%
     [exec] 13/05/23 11:36:46 INFO mapred.JobClient:  map 100% reduce 0%
     [exec] 13/05/23 11:37:04 INFO mapred.JobClient:  map 100% reduce 100%
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient: Job complete: job_201305032210_0003
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient: Counters: 29
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:   Job Counters 
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     Launched reduce tasks=1
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=19771
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     Launched map tasks=2
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     Data-local map tasks=2
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=13494
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:   File Output Format Counters 
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     Bytes Written=8
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:   FileSystemCounters
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     FILE_BYTES_READ=131296
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     HDFS_BYTES_READ=1777394
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=327106
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=8
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:   File Input Format Counters 
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     Bytes Read=1777168
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:   Map-Reduce Framework
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     Map output materialized bytes=131302
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     Map input records=13130
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     Reduce shuffle bytes=65656
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     Spilled Records=26258
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     Map output bytes=105032
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     CPU time spent (ms)=6030
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     Total committed heap usage (bytes)=379518976
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     Combine input records=0
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     SPLIT_RAW_BYTES=226
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     Reduce input records=13129
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     Reduce input groups=1
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     Combine output records=0
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     Physical memory (bytes) snapshot=469196800
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     Reduce output records=1
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=1723944960
     [exec] 13/05/23 11:37:09 INFO mapred.JobClient:     Map output records=13129

intellij IDEA下遠端除錯hadoop

test: [exec] deploy jar [exec] deploy run.sh [exec] change authority [exec] start run.sh [exec] add jar to classpath [exec] r

idea下遠端除錯springboot專案

最近因為專案原因，需要用到遠端除錯專案，下面是在idea上的除錯過程， 1.新增remote，Host是需要遠端除錯的ip地址，port是自己定義的一個埠號， JDK根據自己使用的jdk版本自行選擇， -agentlib:jdwp=transport=dt_socket

IntelliJ IDEA 遠端除錯Hadoop

開發環境 IntelliJ IDEA 2017.1.3 JDK VERSION jdk 1.8 Hadoop 版本 hadoop1.0.0 虛擬機器完全分散式 node1172.16.20.101 master node2172.16.20.102 sl

12--配置IDEA遠端除錯Hadoop程式（Hadoop HA下）

public class MyUtils { public static void deleteDir(Configuration conf, String dirPath) throws IOException{ FileSystem fs=FileSystem.get(conf)

通過Idea遠端除錯Hadoop叢集

早期的開發中經常用eclipse遠端除錯Hadoop叢集，近期Idea的市場佔有率逐漸增加，本文介紹如何在通過Idea遠端除錯Hadoop叢集。一、工程截圖二、操作流程 Idea中新建專案將h

元資料與資料治理｜Intellij IDEA提交遠端Hadoop MapReduce任務（第八篇）

1.新建IntelliJ下空的的maven專案直接next即可。 2.配置依賴編輯pom.xml檔案，新增apache源和hadoop依賴基礎依賴hadoop-core和hadoop-common；讀寫HDFS，需要依賴hadoop-hdfs和hadoop-client

IntelliJ IDEA 下的svn配置及使用的非常詳細的圖文總結

產生而且 details 系統 jsp 有變 pom art hang 首先，使用的時候，自己得先在電腦上安裝個小烏龜。也就是svn啦。第一步安裝小烏龜。如下：具體安裝好像沒什麽具體要求，一路next，就好。如上圖箭頭所示，在安裝 TortoiseSVN 的時候，默認 c

Intellij IDEA下的第一個Hibernate項目

popu 目錄 tran 事務 rac ocl bar 應該出生日期轉自：http://blog.csdn.net/qq_15096707/article/details/51419304 ，如需轉載，請聯系原博主。參考：intellij配置hibernate自動

IntelliJ IDEA下Maven控制臺出現中文亂碼問題解決

image 中文 int idea 亂碼出現 src intellij pos Setting->maven->runner： VMoptions: -Dfile.encoding=GB2312 不一定有效，要不斷的嘗試。IntelliJ IDEA下M

IntelliJ IDEA 下的SVN使用（傻瓜式教學）（轉）

version 方便 tle 相關 mave tell 上傳 ews 烏龜第一步:下載svn的客戶端，通俗一點來說就是小烏龜啦！去電腦管理的軟件管理裏面可以直接下載，方便迅速下載之後直接安裝就好了，但是要註意這裏的這個文

在Intellij IDEA下用X-debug調試PHP

lec out com dll PE org 註意 2.6.0 輸入用Intellij IDEA使用X-debug來調試PHP，主要需要配置的部分有三個地方,分別為php.ini的配置，IDEA的配置和瀏覽器的配置，主要如下: php.ini(wamp修改的是phpFo

IntelliJ IDEA下Cannot resolve symbol XXX的解決方法

pan validate 通過 ngs style epo invalid 自己 16px Idea導入maven項目後，運行能通過，但是打開一些類後，會出現Cannot resolve symbol XXX的錯誤提示。考慮幾種可能： 1、JDK版本，設置JDK和Mave

IntelliJ IDEA 下利用springboot框架進行jsp+web前端開發

大家好，通常進行服務端開發，首選工具Myeclipse/eclipse,最近看到IntelliJ IDEA受到高度關注和廣大程式設計師的喜愛，好奇心驅使我一探究竟，使用後被它強大的功能所震撼，因此寫這篇文章，簡單介紹一下Spring boot + jsp 的搭建流程，希望給跟我一樣嘗試用IDE

IntelliJ IDEA 下的svn配置及使用

首先，使用的時候，自己得先在電腦上安裝個小烏龜。也就是svn啦。第一步安裝小烏龜。如下：具體安裝好像沒什麼具體要求，一路next，就好。如上圖箭頭所示，在安裝 TortoiseSVN 的時候，預設 command line client tools，是不安裝的，這裡建議勾選上。這個

Windows下本地除錯 hadoop 的 mapreduce

1、準備工作本地模式下除錯hadoop：下載winutils.exe和hadoop.dll hadoop.lib等windows的hadoop依賴檔案放在D:\proc\hadoop\bin目錄下並設定環境變數：HADOOP_HOME=D:\proc\hadoop 新增PATH=%

IntelliJ IDEA實現遠端連線linux，並上傳檔案到linux伺服器（SSH會話功能和SFTP功能）

注意: eclipse的SSH會話功能和SFTP功能這裡不會說點選以下連結可檢視 eclipse的SSH會話功能和SFTP功能而IntelliJ IDEA（以下簡稱為IDEA）這麼強大的開發工具自然也有該功能，這篇部落格就介紹一下IDEA的SSH會話功能

【轉載】IntelliJ IDEA 下的svn配置及使用的非常詳細的圖文總結

轉自：https://www.baidu.com/link?url=sMilQzswi_8PbkrkbsKdO3n0PeQd2WCuzPFXMtB4ui1hoEJRr10I8DOWtL2ifdKdEsKZucTidvi_-Oz2Qg-RLDkBDwLR7ENNBJcNMfVPeau&wd=&

intellij IDEA 下解決 IDEA 下Could not autowire. No beans of 'ICpuBidOpenService' type found（後面內容是我轉載的）

1.問題描述　　在Idea的spring工程裡，經常會遇到Could not autowire. No beans of 'xxxx' type found的錯誤提示。但程式的編譯和執行都是沒有問題的，這個錯誤提示並不會產生影響。但紅色的錯誤提示在有些有強迫症的程式設計師眼裡，多多少少有

springboot專案使用idea開啟遠端除錯

遠端除錯是除錯伺服器的有效手段，遠端伺服器執行的應用可以在原生代碼中打斷點除錯，能讓開發人員準確定位伺服器上的問題。一、開啟遠端除錯前提：原生代碼與伺服器程式碼一致，二、開啟遠端除錯步驟　　1.開發工具配置　　idea端開啟Edit configurations，　　　　增加Remot

IntelliJ IDEA下 Maven 建立 Scala 專案，執行hello world

建立Maven Scala專案 https://blog.csdn.net/qq_1290259791/article/details/79052584 IntelliJ IDEA 中右鍵新建（new）時，選項沒有scala(java) class的解決方法和具體解釋 https://

intellij IDEA下遠端除錯hadoop

相關推薦