海信HDp2902G行管故障維修(海信hdp2902h電路圖)

前沿拓展：

《大數據和人工智能交流》號向廣大初學者新增C 、Java 、Python 、Scala、javascript 等目前流行的計算機、大數據編程語言，希望大家以后關注本號更多的內容。《大數據和人工智能》號方便有基礎讀者的同時照顧廣大沒入門的初學者。

和大數據相關文章的鏈接：

1、Linux操作系統課程詳細整理（命令、shell編程、軟件安裝等）

2、大數據的采集與預處理（Sqoop/Flume/Kafka）詳細總結

3、hadoop分布式計算MapReduce詳細總結

4、大數據內存計算Spark框架原理詳細整理

5、大數據內存計算框架SparkSQL詳細整理

6、大數據框架Spark的流處理SparkStreaming詳細總結

（一）大數據采集與預處理概述

21世紀是數據信息大發展的時代，移動互聯、社交網絡、電子商務等極大拓展了互聯網的邊界和應用范圍，各種數據正在迅速膨脹并變大。杰姆·格雷（Jim Gray）提出著名的&34;新摩爾定律&34;，即人類有史以來的數據總量，每過18個月就會翻一番。

大數據的數據量究竟有多大？

互聯網每天產生的全部內容可以刻滿6.4億張DVD；全球每秒發送290萬封電子郵件，一分鐘讀一篇的話，足夠一個人晝夜不停地讀5.5年；Google每天需要處理24PB的數據；每天會有2.88萬個小時的視頻上傳到YouTube，足夠一個人晝夜不停地觀看3.3年；網民每天在Facebook上要花費234億分鐘，被移動互聯網使用者發送和接收的數據高達44PB；Twitter上每天發布5000萬條消息，假設10秒就瀏覽一條消息，足夠一個人晝夜不停地瀏覽16年。隨著人類活動的進一步擴展，數據規模會急劇膨脹，包括金融、汽車、零售、餐飲、電信、能源、政務、醫療、體育、娛樂等在內的各行業累積的數據量越來越大，數據類型也越來越多、越來越復雜。

那么對于這么龐大復雜的數據，來源在哪里呢？現列舉如下：

1、按產生數據的主體劃分

（1）少量企業應用產生的數據

如關系型數據庫中的數據和數據倉庫中的數據等。

（2）大量人產生的數據

如推特、微博、通信軟件、移動通信數據、電子商務在線交易日志數據、企業應用的相關評論數據等。

（3）巨量機器產生的數據

如應用服務器日志、各類傳感器數據、圖像和視頻監控數據、二維碼和條形碼（條碼）掃描數據等。

2、按數據來源的行業劃分

（1）以BAT為代表的互聯網公司

百度公司數據總量超過了千PB級別，阿里巴巴公司保存的數據量超過了百PB級別，擁有90%以上的電商數據，騰訊公司總存儲數據量經壓縮處理以后仍然超過了百PB級別，數據量月增加達到10%。

（2）電信、金融、保險、電力、石化系統

電信行業數據年度用戶數據增長超過10%，金融每年產生的數據超過數十PB，保險系統的數據量也超過了PB級別，電力與石化方面，僅國家電網采集獲得的數據總量就達到了數十PB，石油化工領域每年產生和保存下來的數據量也將近百PB級別。

（3）公共安全、醫療、交通領域

一個中、大型城市，一個月的交通卡口記錄數可以達到3億條；整個醫療衛生行業一年能夠保存下來的數據就可達到數百PB級別；航班往返一次產生的數據就達到TB級別；列車、水陸路運輸產生的各種視頻、文本類數據，每年保存下來的也達到數十PB。

（4）氣象、地理、政務等領域

中國氣象局保存的數據將近10PB，每年約增數百TB；各種地圖和地理位置信息每年約數十PB；政務數據則涵蓋了旅游、教育、交通、醫療等多個門類，且多為結構化數據。

（5）制造業和其他傳統行業

制造業的大數據類型以產品設計數據、企業生產環節的業務數據和生產監控數據為主。其中產品設計數據以文件為主，非結構化，共享要求較高，保存時間較長；企業生產環節的業務數據主要是數據庫結構化數據，而生產監控數據則數據量非常大。在其他傳統行業，雖然線下商業銷售、農林牧漁業、線下餐飲、食品、科研、物流運輸等行業數據量劇增，但是數據量還處于積累期，整體體量都不算大，多則達到PB級別，少則數十TB或數百TB級別。

3、按數據存儲的形式劃分

大數據不僅僅體現在數據量大，還體現在數據類型多。如此海量的數據中，僅有20%左右屬于結構化的數據，80%的數據屬于廣泛存在于社交網絡、物聯網、電子商務等領域的非結構化數據。

對于上述龐大的數據來源，大數據的處理流程的第一步就是大數據的采集與預處理。大數據采集是指通過RFID射頻數據、傳感器數據、社交網絡數據、移動互聯網數據等方式獲得各種類型的結構化、半結構化及非結構化的海量數據。大數據的采集通常采用多個數據庫、云端、hadoop的HDFS存儲等大數據存儲體來接收終端數據，包括智能硬件端、多種傳感器端、網頁端、移動APP應用端等，并且可以使用數據庫進行簡單的處理工作。

下面列舉下大數據采集的途徑：

（1）系統日志采集

可以使用海量數據采集工具，用于系統日志采集，如Hadoop的Chukwa、Cloudera的Flume、Facebook的Scribe等，這些工具均采用分布式架構，能滿足大數據的日志數據采集和傳輸需求。

（2）互聯網數據采集

通過網絡爬蟲或網站公開API等方式從網站上獲取數據信息，該方法可以數據從網頁中抽取出來，將其存儲為統一的本地數據文件，它支持圖片、音頻、視頻等文件或附件的采集，附件與正文可以自動關聯。除了網站中包含的內容之外，還可以使用DPI或DFI等帶寬管理技術實現對網絡流量的采集。

（3）APP移動端數據采集

APP是獲取用戶移動端數據的一種有效方法，APP中的SDK插件可以將用戶使用APP的信息匯總給指定服務器，即便用戶在沒有訪問時，也能獲知用戶終端的相關信息，包括安裝應用的數量和類型等。單個APP用戶規模有限，數據量有限；但數十萬APP用戶，獲取的用戶終端數據和部分行為數據也會達到數億的量級。

（4）與數據服務機構進行合作

數據服務機構通常具備規范的數據共享和交易渠道，人們可以在平臺上快速、明確地獲取自己所需要的數據。而對于企業生產經營數據或學科研究數據等保密性要求較高的數據，也可以通過與企業或研究機構合作，使用特定系統接口等相關方式采集數據。

（5）大企業基礎支撐平臺

提供大數據服務平臺所需的虛擬服務器，結構化、半結構化及非結構化數據的數據庫及物聯網絡資源等基礎支撐環境。重點要解決分布式虛擬存儲技術，大數據獲取、存儲、組織、分析和決策操作的可視化接口技術，大數據的網絡傳輸與壓縮技術，大數據隱私保護技術等。

（6）智能感知設備

包括數據傳感體系、網絡通信體系、傳感適配體系、智能識別體系及軟硬件資源接入系統，實現對結構化、半結構化、非結構化的海量數據的智能化識別、定位、跟蹤、接入、傳輸、信號轉換、監控、初步處理和管理等。涉及有針對大數據源的智能識別、感知、適配、傳輸、接入等技術。隨著物聯網技術、智能設備的發展，這種基于傳感器的數據采集會越來越多，相應對于這類的研究和應用也會越來越重要。

大數據正帶來一場信息社會的變革。大量的結構化數據和非結構化數據的廣泛應用，致使人們需要重新思考已有的IT模式。與此同時，大數據將推動進行又一次基于信息革命的業務轉型，使社會能夠借助大數據獲取更多的社會效益和發展機會。龐大的數據需要我們進行剝離、整理、歸類、建模、分析等操作，通過這些動作后，我們開始建立數據分析的維度，通過對不同的維度數據進行分析，最終才能得到想到的數據和信息。

雖然采集端本身有很多數據庫，但是如果要對這些海量數據進行有效的分析，還是應該將這些數據導入到一個集中的大型分布式數據庫或者分布式存儲集群當中，同時，在導入的基礎上完成數據清洗和預處理工作。也有一些用戶會在導入時使用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。

現實世界中數據大體上都是不完整、不一致的&34;臟&34;數據，無法直接進行數據挖掘，或挖掘結果差強人意，為了提高數據挖掘的質量，產生了數據預處理技術。

大數據的預處理過程列舉如下：

（1）對殘缺數據進行預處理

這一類數據主要是因為部分信息缺失，如公司的名稱、客戶的區域信息、業務系統中主表與明細表不能匹配等數據。將這一類數據過濾出來，按照缺失的內容分別填入對應的文檔信息，并提交給客戶，在規定時間內補全，才可寫入數據倉庫。

（2）對錯誤數據進行預處理

這一類錯誤產生的原因往往是業務系統不夠健全，在接收輸入信息后沒有進行判斷直接將數據寫入后臺數據庫導致的，比如數值數據輸成全角數字字符、字符串數據后面有一個回車操作、日期格式不正確等。這類數據也需要分類，對于類似于全角字符、數據前后有不可見字符問題的只能寫SQL語句查找出來，讓客戶在修正之后抽取。日期格式的錯誤會導致ETL運行失敗，需要去業務系統數據庫用SQL的方式挑出來，修正之后再抽取。

（3）對重復的數據進行預處理

這一類數據多出現在維護表中，是將重復數據記錄的所有字段導出來，讓客戶確認并整理。數據清理的方法是通過填寫無效和缺失的值、光滑噪聲的數據、識別或刪除離群點并解決不一致性來&34;清理&34;數據。主要是達到格式標準化、異常數據消除、錯誤糾正、重復數據的清除等目的。數據清理是將數據庫中所存數據精細化，去除重復無用數據，并使剩余部分的數據轉化成標準可接受格式的過程。

（4）對數據的不一致性進行預處理

從多數據源集成的數據語義會不一樣，可供定義完整性約束用于檢查不一致性，也可通過對數據進行分析來發現他們之間的聯系，從而保持數據的一致性。

（5）數據特征的選取

將不重要的或不相關的特征從原有特征中刪除，或者通過對特征進行重組和比較來減少個數。其原則是在保留、甚至提高原有判斷能力的同時減少特征向量的維度。

在大數據項目實戰中，常用的大數據采集框架如下：

（1）流數據采集kafka框架

Kafka是由Apache軟件基金會開發的一個開源流處理平臺，由Scala和Java編寫。Kafka十分適合采集互聯網用戶行為數據。

（2）數據遷移Sqoop框架

Sqoop是一款開源的工具，主要用于在Hadoop(Hive)與傳統的數據庫(如mysql)間進行數據的傳遞，可以將一個關系型數據庫（例如 ：MySQL ）中的數據導進入到Hadoop的HDFS中，也可以將HDFS的數據導入到關系型數據庫中。

（3）日志采集Flume框架

Flume最早是Cloudera提供的日志采集系統，目前是Apache下的一個孵化項目，Flume主要在日志系統采集各類數據

（二）大數據遷移框架Sqoop

1、Sqoop 概述

基于Hadoop之上的數據傳輸工具Sqoop是Apache的頂級項目，主要用于在Hadoop和關系數據庫、數據倉庫、NoSQL系統間傳遞數據。通過Sqoop我們可以方便地將數據從關系數據庫導入到HDFS、HBase、Hive, 或者將數據從HDFS導出到關系數據庫。

Sqoop是連接傳統關系型數據庫和Hadoop的橋梁，它不需要開發人員編寫相應的MapReduce代碼，只需要編寫簡單的配置腳本即可，大大提升了開發效率。

通過Sqoop我們可以方便的將數據從關系數據庫導入到HDFS、HBase、Hive，或者將數據從HDFS導出到關系數據庫

2、Sqoop的應用場景

在工作中，我們經常會遇到下面這樣的場景：

場景一:將關系型數據庫中某張表的數據抽取到Hadoop( HDFS/Hive/HBase)上;

場景二:將Hadoop上的數據導出到關系型數據庫中。

那么如何解決這兩類問題呢?通常情況下是通過開發MapReduce來實現。

導入: MapReduce 輸入為DBInputFormat類型，輸出為TextOutputFormat.

導出: MapReduce 輸入為TextInputFormat類型，輸出為DBOutputFormat.

使用MapReduce處理以上兩個場景時存在如下問題:每次都需要編寫MapReduce程序，非常麻煩。在沒有出現Sqoop之前，實際生產中有很多類似的需求，需要通過編寫MapReduce去實現，然后形成一個工具，后來慢慢就將該工具代碼整理出一個框架并逐步完善，最終就有了Sqoop的誕生。Sqoop的導入導出處理流程如下所示：

Sqoop就是將導入或導出命令翻譯成 MapReduce 程序來實現 在翻譯出的 MapReduce 中主要是對 InputFormat 和 OutputFormat 進行定制

3、Sqoop的安裝

下載Sqoop

進入http://sqoop.apache.org/

進入&34;&34;

絕大部分企業所使用的sqoop的版本都是sqoop1，sqoop1.4.6 或者 sqoop1.4.7 是sqoop1，sqoop1.99.7是 sqoop2，此處使用版本sqoop1.4.6.bin__hadoop2.0.4alpha.tar.gz。

（1）解壓縮

[hadoop@ sqoop]$ tar zxvf sqoop1.4.6.bin__hadoop2.0.4alpha.tar.gz

（2）進入到 conf 文件夾，找到 sqoopenvtemplate.sh，修改其名稱為 sqoopenv.sh

[hadoop@sqoop ~]$ cd apps/

[hadoop@sqoop apps]$ ls

apachehive2.3.3bin hadoop2.7.5 hbase1.2.6 sqoop1.4.6.bin__hadoop2.0.4alpha zookeeper3.4.10

[hadoop@sqoop apps]$ mv sqoop1.4.6.bin__hadoop2.0.4alpha/ sqoop1.4.6

[hadoop@sqoop apps]$ cd sqoop1.4.6/conf/

[hadoop@sqoop conf]$ ls

oraoopsitetemplate.xml sqoopenvtemplate.sh sqoopsite.xml

sqoopenvtemplate.cmd sqoopsitetemplate.xml

[hadoop@sqoop conf]$ mv sqoopenvtemplate.sh sqoopenv.sh

（3）修改 sqoopenv.sh

export HADOOP_COMMON_HOME=/home/hadoop/apps/hadoop2.7.5

Set path to where hadoopcore.jar is available

export HADOOP_MAPRED_HOME=/home/hadoop/apps/hadoop2.7.5

（4）加入 mysql 驅動包到 sqoop1.4.6/lib 目錄下

[hadoop@sqoop ]$ cp mysqlconnectorjava5.1.40bin.jar apps/sqoop1.4.6/lib/

（5）配置系統環境變量

export SQOOP_HOME=/home/sqoop/apps/sqoop1.4.6

export PATH=$PATH:$SQOOP_HOME/bin

（6）驗證安裝是否成功

sqoopversion

4、Sqoop的基本命令

首先，我們可以使用 sqoop help 來查看，sqoop 支持哪些命令

[hadoop@sqoop ~]$ sqoop help

Warning: /home/hadoop/apps/sqoop1.4.6/../hcatalog does not exist! HCatalog jobs will fail.

Please set $HCAT_HOME to the root of your HCatalog installation.

Warning: /home/hadoop/apps/sqoop1.4.6/../accumulo does not exist! Accumulo imports will fail.

Please set $ACCUMULO_HOME to the root of your Accumulo installation.

18/04/12 13:37:19 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6

usage: sqoop COMMAND [ARGS]

Available commands:

codegen Generate code to interact with database records

createhivetable Import a table definition into Hive

eval Evaluate a SQL statement and display the results

export Export an HDFS directory to a database table

help List available commands

import Import a table from a database to HDFS

importalltables Import tables from a database to HDFS

importmainframe Import datasets from a mainframe server to HDFS

job Work with saved jobs

listdatabases List available databases on a server

listtables List available tables in a database

merge Merge results of incremental imports

metastore Run a standalone Sqoop metastore

version Display version information

See &39;sqoop help COMMAND&39; for information on a specific command.

（1）列出MySQL數據有哪些數據庫

[hadoop@sqoop ~]$ sqoop listdatabases \

> connect jdbc:mysql://hadoop1:3306/ \

> username root \

> password root

Warning: /home/hadoop/apps/sqoop1.4.6/../hcatalog does not exist! HCatalog jobs will fail.

Please set $HCAT_HOME to the root of your HCatalog installation.

Warning: /home/hadoop/apps/sqoop1.4.6/../accumulo does not exist! Accumulo imports will fail.

Please set $ACCUMULO_HOME to the root of your Accumulo installation.

18/04/12 13:43:51 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6

18/04/12 13:43:51 WARN tool.BaseSqoopTool: Setting your password on the commandline is insecure. Consider using P instead.

18/04/12 13:43:51 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.

information_schema

mysql

performance_schema

test

（2）列出MySQL中的某個數據庫有哪些數據表：

[hadoop@hadoop3 ~]$ sqoop listtables \

> connect jdbc:mysql://hadoop1:3306/mysql \

> username root \

> password root

（3）創建一張跟mysql中的help_keyword表一樣的hive表goods：

sqoop createhivetable \

connect jdbc:mysql://192.168.10.100:3306/mysql \

username root \

password root \

table help_keyword \

hivetable goods

5、從RDBMS導入到HDFS中

語法格式：

sqoop import (genericargs) (importargs)

常用參數

connect <jdbcuri> jdbc 連接地址

connectionmanager <classname> 連接管理者

driver <classname> 驅動類

hadoopmapredhome <dir> $HADOOP_MAPRED_HOME

help help 信息

P 從命令行輸入密碼

password <password> 密碼

username <username> 賬號

verbose 打印流程信息

connectionparamfile <filename> 可選參數

示例1：導入mysql庫中的goods的數據到HDFS上。導入的默認路徑：/goods

sqoop import \

connect jdbc:mysql://hadoop1:3306/mysql \

username root \

password root \

table good \

m 1

示例2： 導入時指定分隔符和導入路徑

sqoop import \

connect jdbc:mysql://192.168.10.100:3306/mysql \

username root \

password root \

table goods \

targetdir /goods_bak \

fieldsterminatedby &39;\t&39; \

m 2

示例3：導入表數據到HDFS

下面的命令用于從MySQL數據庫服務器中的emp表導入HDFS：

bin/sqoop import \

connect jdbc:mysql://hdpnode01:3306/test \

username root \

password root \

table emp \

m 1

6、將數據從HDFS文件導出到RDBMS數據庫

導出前，目標表必須存在于目標數據庫中。默認操作是將文件中的數據使用INSERT語句插入到表中。更新模式下，是生成UPDATE語句更新表數據。以下是export命令語法:

sqoop export (genericargs) (exportargs)

示例1：數據是在HDFS 中&34;EMP/&34;目錄的emp_data文件中。所述emp_data如下：

1201, gopal, manager, 50000, TP

1202, manisha, preader, 50000, TP

1203, kalil, php dev, 30000, AC

1204, prasanth, php dev, 30000, AC

1205, kranthi, admin, 20000, TP

1206, satish p, grp des, 20000, GR

（1）首先需要手動創建mysql中的目標表

$ mysql

mysql> USE db;

mysql> CREATE TABLE employee (

id INT NOT NULL PRIMARY KEY,

name VARCHAR(20),

deg VARCHAR(20),

salary INT,

dept VARCHAR(10));

（2）然后執行導出命令

bin/sqoop export \

connect jdbc:mysql://hdpnode01:3306/test \

username root \

password root \

table employee \

exportdir /user/hadoop/emp/

（3）驗證表mysql命令行。

mysql>select from employee;

（三）基于流數據采集框架kafka

Kafka是由Apache軟件基金會開發的一個開源流處理平臺，由Scala和Java編寫。Kafka是一種高吞吐量的分布式發布訂閱消息系統，它可以處理消費者在網站中的所有動作流數據。

1、Kafka的組成結構如下：

2、Kafka的集群組成結構如下：

（1）、Broker

Kafka集群包含一個或多個服務器，這種服務器被稱為broker

（2）、Topic

每條發布到Kafka集群的消息都有一個類別，這個類別被稱為Topic

（3）、Producer

負責發布消息到Kafka broker

（4）、Consumer

消息消費者，向Kafka broker讀取消息的客戶端

（5）、ZooKeeper

ZooKeeper是一個分布式的，開放源碼的分布式應用程序協調服務，是Google的Chubby一個開源的實現，是Hadoop和Hbase的重要組件。它是一個為分布式應用提供一致性服務的軟件，提供的功能包括：配置維護、域名服務、分布式同步、組服務等

3、使用kafka采集和消費數據

（1）創建topic

步驟1：創建名為goods的topic

kafkatopics.sh create zookeeper localhost:2181 replicationfactor 1 partitions 1 topic goods

步驟2：查看topic列表

查看kafka中topic的列表，命令如下：

kafkatopics.sh list zookeeper 127.0.0.1:2181

（2）生產者生產數據

步驟1： 啟動生產者，并向已經創建的名為test的topic中發送數據

kafkaconsoleproducer.sh brokerlist localhost:9092 topic goods

步驟2：向goods的topic發送下列數據

U001 lily kafka browse_action

（3）消費者消費數據

步驟1：啟動消費者，并消費名為test的topic中的數據

kafkaconsoleconsumer.sh bootstrapserver localhost:9092 topic goods frombeginning

步驟2：消費者消費數據

U001 lily kafka browse_action

（四）日志采集工具Flume

Flume是Cloudera提供的一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸的系統，Flume支持在日志系統中定制各類數據發送方，用于收集數據；同時，Flume提供對數據進行簡單處理，并寫到各種數據接受方（可定制）的能力。

當前Flume有兩個版本Flume 0.9X版本的統稱Flumeog，Flume1.X版本的統稱Flumeng。由于Flumeng經過重大重構，與Flumeog有很大不同，使用時請注意區分。

Flume提供對數據進行簡單處理，并寫到各種數據接受方（可定制）的能力 。Flume提供了從console（控制臺）、RPC（ThriftRPC）、text（文件）、tail（UNIX tail）、syslog（syslog日志系統），支持TCP和UDP等2種模式，exec（命令執行）等數據源上收集數據的能力。

Flume的特點：

（1）Flume可以高效率的將多個服務器采集的日志信息存入HDFS/HBase中

（2）使用Flume可以將從多個服務器中獲取的數據迅速的移交給Hadoop中

（3）Flume也可以采集規模龐大的社交數據，比如Facebook,Twitter,電商網站 如亞馬遜等

（4）支持多種不同的數據源

Flume的優勢：

（1）Flume可以將應用產生的數據存儲到任何集中存儲器中，比如DFS,HBase

（2）當收集數據的速度超過將寫入數據的時候，Flume會在數據生產者和數據收集器間做出調整，保證其能夠在兩者之間提供一共平穩的數據

（3）Flume的管道是基于事務，保證了數據在傳送和接收時的一致性

（4）Flume是可靠的，容錯性高的，可升級的，易管理的,并且可定制的

Flume是以agent為最小獨立運行單位。單agent由Source、Sink和Channel三大組件構成，如下圖：

（1）Source

從數據發生器接收數據,并將接收的數據以Flume的event格式傳遞給一個或者多個通道channel,Flume提供多種數據接收的方式,比如Avro,Thrift,twitter1%等

（2）Channel:

channel是一種短暫的存儲容器,它將從source處接收到的event格式的數據緩存起來,直到它們被sinks消費掉,它在source和sink間起著橋梁的作用,channel是一個完整的事務,這一點保證了數據在收發的時候的一致性. 并且它可以和任意數量的source和sink鏈接. 支持的類型有: JDBC channel , File System channel , Memort channel等.

（3）sink:

sink將數據存儲到集中存儲器比如Hbase和HDFS,它從channals消費數據(events)并將其傳遞給目標地. 目標地可能是另一個sink,也可能HDFS,HBase.

示例：

監控一個文件實時采集新的數據輸出到控制臺，數據日志格式如下：

商品編號,商品名稱,用戶編號,用戶評價(單位：星)

日志的樣本數據如下：

g001,hadoop,u001,3

g002,spark,u002,4

g003 ,Machine Learning,u003,5

（1）編輯flume配置文件flume.conf

Flume agent config

a1.sources = r1

a1.sinks = k1

a1.channels = c1

Describe/configure the source

a1.sources.r1.type = exec

a1.sources.r1.port = 6666

a1.sources.r1.host = 10.42.135.101

a1.sources.r1.channels = c1

a1.sources.r1.command=tail F /home/logger.txt

Describe the sink

a1.sinks.k1.type = logger

Use a channel which buffers events in memory

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

Bind the source and sink to the channel

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

（2）啟動flume agent

利用前面的配置文件啟動flume agent，啟動命令如下：

flumeng agent conf /home/logger.txt conffile /home/flume.conf name a1 Dflume.root.logger=INFO,console

（3）向logger.txt寫入數據測試agent

用echo命令追加到/home/logger.txt內容，向exec.txt 追加內容echo &34;hello world&34; >>/home/exec.txt。

《大數據和人工智能交流》的宗旨

1、將大數據和人工智能的專業數學：概率數理統計、線性代數、決策論、優化論、博弈論等數學模型變得通俗易懂。

2、將大數據和人工智能的專業涉及到的數據結構和算法：分類、聚類 、回歸算法、概率等算法變得通俗易懂。

3、最新的高科技動態：數據采集方面的智能傳感器技術；醫療大數據智能決策分析；物聯網智慧城市等等。

根據初學者需要會有C語言、Java語言、Python語言、Scala函數式等目前主流計算機語言。

根據讀者的需要有和人工智能相關的計算機科學與技術、電子技術、芯片技術等基礎學科通俗易懂的文章。

拓展知識：