flume例項（一）：監控目錄
1.實現功能：
監控目錄，一旦目錄內增加資料，即傳遞到hdfs上。
2.配置檔案dir-sink-hdfs.properties
#a1表示代理名稱 a1.sources=s1 a1.sinks=k1 a1.channels=c1 #配置source1 監控目錄是否有檔案資料生成 a1.sources.s1.type=spooldir a1.sources.s1.spoolDir=/opt/datas/flume/TestDir a1.sources.s1.channels=c1 a1.sources.s1.fileHeader = false a1.sources.s1.interceptors = i1 a1.sources.s1.interceptors.i1.type = timestamp #配置sink1 將檢測到的資料sink到hdfs上 a1.sinks.k1.type=hdfs a1.sinks.k1.hdfs.path=hdfs://bigdata.ibeifeng.com:8020/flume a1.sinks.k1.hdfs.fileType=DataStream a1.sinks.k1.hdfs.writeFormat=TEXT #600s後hdfs上檔案才沒有tmp，否則有，有tmp則不能看 a1.sinks.k1.hdfs.rollInterval=60 a1.sinks.k1.channel=c1 a1.sinks.k1.hdfs.filePrefix=%Y-%m-%d #通道是以記憶體方式儲存 #配置channel1 a1.channels.c1.type=memory a1.channels.c1.capacity=10000 a1.channels.c1.transactionCapacity=100
3.啟動flume
bin/flume-ng agent --name a1 --conf conf --conf-file conf/dir-sink-hdfs.properties 相關推薦
flume例項（一）：監控目錄
1.實現功能： 監控目錄，一旦目錄內增加資料，即傳遞到hdfs上。 2.配置檔案dir-sink-hdfs.properties #a1表示代理名稱 a1.sources=s1 a1.sinks=k1 a1.channels=c1 #配置source1 監控
flume例項（二）：監控伺服器日誌
1.實現功能： 監控日誌增加，並且將日誌資訊儲存到hdfs上 2.flume和hdfs整合 將hadoop對應jar包放到flume的lib目錄下 htrace-core-3.1.0-incubating.jar hadoop-hdfs-2.7.3.jar hadoo
keras執行例項（一）：regression迴歸
小編在自學機器學習過程中，參考莫煩大佬的python教程進行了keras的例項執行，在此記錄一下，以免忘記。 keras在Linux的安裝很簡單，直接 pip install keras 一行命令就可以啦，結果如下： 因為呢我已經安裝過了，所以會提示alrea
全面介紹Windows記憶體管理機制及C++記憶體分配例項（一）：程序空間
本文背景： 在程式設計中，很多Windows或C++的記憶體函式不知道有什麼區別，更別談有效使用；根本的原因是，沒有清楚的理解作業系統的記憶體管理機制，本文企圖通過簡單的總結描述，結合例項來闡明這個機制。 本文目的： 對Windows記憶體管理機制瞭解清楚，有效的利用C++
activiti自定義流程之Spring整合activiti-modeler5.16例項（一）：環境搭建
專案中需要整合activiti-modeler自定義流程，找了很多資料後，終於成功的跳轉到activiti-modeler流程設計介面，以下是記錄： 一、整合基礎：eclipse4.4.1、tomcat7、jdk1.7、mysql5.6.25、maven3.2.5、acti
UML例項（一）：線上購物系統問題描述
一、問題描述 近年來，隨著Internet的迅速崛起，電子商務逐漸流行起來，越來越多的商家在
Docker系列（一）：容器監控工具Weave Scope安裝
管理功能 http ges 支持 mage www -i 自己 redis。 項目進行容器化之後，配套的基礎設施包括監控、編排、管理等都需要進行一並完善。這裏也是自己一邊學習一邊進行記錄。 Weave Scope 的最大特點是會自動生成一張 Docker 容器地圖，讓我們能
Zabbix監控系統（一）：初識Zabbix
一、Zabbix簡介 Zabbix 是由 Alexei Vladishev 開發的一種網路監視、管理系統，基於 Server-Client 架構。可用於監視各種網路服務、伺服器和網路機器等狀態。 使用各種 Database-end 如 MySQL, PostgreSQL, SQLite, O
Vue學習（一）：Vue例項
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>vue例項建立</title> </head> &l
周志華《機器學習》課後習題解答系列（一）：目錄
對機器學習一直很感興趣，也曾閱讀過李航老師的《統計學習導論》和Springer的《統計學習導論-基於R應用》等相關書籍，但總感覺自己缺乏深入的理解和系統的實踐。最近從實驗室角落覓得南京大學周志華老師《機器學習》一書，隨意翻看之間便被本書內容文筆深深吸引，如獲至寶
Unity實戰篇：移植遊戲到安卓平臺的注意事項及其例項（一）
這篇部落格以Unity官方案例Space Shooter Tutorial為例。較為全面的講解了遊戲移植到安卓所需要的注意事項。 1.安卓和Java環境配置 2.解析度設定 我們知道，當今手機螢幕的尺寸和解析度可謂數不勝數，那麼我們要如何做好解析度的適配呢。 不用
dbus例項講解（一）：初次見面
http://blog.csdn.net/fmddlmyy/archive/2008/12/23/3585730.aspx 網上有不少介紹dbus的文章。本文的目標是補充一些簡單的例子。 1、dbus是什麼東西？ 網上有一篇叫“D-Bus Tutorial”的文章，流傳較廣。不少介紹dbus的資料，都引用
Linux\Unix IPC程序通訊例項分析（一）：共享記憶體通訊---系統V
前些天看到有個博主寫部落格採用問答式的敘述方法：把很多知識點通過一問一答的形式把文章串起來，我覺得這種形式不錯，便於突出重點。後面我也做下嘗試，一邊寫寫部落格，一邊回顧一下自己對IPC程序通訊的認識。 Q：這些例子來自哪？ Q：IBM原文都寫過了，為什麼還要在這裡再寫一
Flume學習進階（一）：source、channel、sink、processor、interceptor等元件列表說明及包含的型別介紹
最近在做flume日誌收集系統相關專案，收集flume相關的知識，以便查閱、分享。 轉載出處：http://www.cnblogs.com/tq03/p/5151954.html 一、flume的基本架構圖： 下面這個圖基本說明了flume的作用，以及flume中的基本元件
工作流引擎Oozie（一）：workflow
觸發 line last ssa pig oozie apt cnblogs 定時任務 1. Oozie簡介 Yahoo開發工作流引擎Oozie（馭象者），用於管理Hadoop任務（支持MapReduce、Spark、Pig、Hive），把這些任務以DAG（有向無環圖）方式
Spring 事務配置實戰（一）：過濾無需事務處理的查詢之類操作
log pla ssi pan spl tail gif aop img <tx:advice id="txAdvice" transaction-manager="transactionManager"> <tx:attributes
【SSH之旅】一步步學習Hibernate框架（一）：關於持久化
stc localhost 對象 schema hbm.xml java let pass [] 在不引用不論什麽框架下，我們會通過平庸的代碼不停的對數據庫進行操作，產生了非常多冗余的可是又有規律的底層代碼，這樣頻繁的操作數據庫和大量的底層代碼的反復
CS231n（一）：基礎知識
深度學習 highlight 自己 元組 .py [0 upper bsp python 給自己新挖個坑：開始刷cs231n深度學習。 看了一下導言的pdf，差缺補漏。 s = "hello" print s.capitalize() # 首字母大寫; prints "
Javascript基礎簡單匯總（一）：元素獲取
問題 元素節點 all push 傳說 length [] nbsp 文檔 在頁面腳本中，如果要對頁面元素進行操作，那麽我們就要獲取到這個元素 那麽在獲取元素之前首先得要了解什麽是DOM（document object model） 在DOM，元素是以節點的形式表示的，每
elastic-job詳解（一）：數據分片
count 任務 不同的 應該 center shc 偶數 int ext 數據分片的目的在於把一個任務分散到不同的機器上運行，既可以解決單機計算能力上限的問題，也能降低部分任務失敗對整體系統的影響。elastic-job並不直接提供數據處理的功能，框架只會將分片項分配至各