大數(shù)據(jù)分析是現(xiàn)在的流行趨勢，大數(shù)據(jù)分析是通過研究大量的數(shù)據(jù)，尋找模式、相關(guān)性和其他有用信息，讓企業(yè)和公司可以知道更多的相關(guān)知識，適應(yīng)變化，做出更有利于公司的決策。大數(shù)據(jù)的分析肯定不可能是通過人腦，更多的是需要借助分析處理工具。所以今天我們就來說說大數(shù)據(jù)分析處理常用工具吧！
一、HPCC
HPCC是美國實施信息高速公路而上實施的計劃，該計劃的實施將耗資百億美元，其主要目標(biāo)要達到：開發(fā)可擴展的計算系統(tǒng)及相關(guān)軟件，以支持太位級網(wǎng)絡(luò)傳輸性能，開發(fā)千兆 比特網(wǎng)絡(luò)技術(shù)，擴展研究和教育機構(gòu)及網(wǎng)絡(luò)連接能力。這個項目包括五個部分：高性能計算機系統(tǒng)、國家科研與教育網(wǎng)格、信息基礎(chǔ)結(jié)構(gòu)和應(yīng)用、先進軟件技術(shù)與算法、基本研究與人類資源。
二、Hadoop
Hadoop 是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設(shè)計算元素和存儲會失敗，因此它維護多個工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點重新分布處理。Hadoop 是高效的，因為它以并行的方式工作，通過并行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數(shù)據(jù)。此外，Hadoop 依賴于社區(qū)服務(wù)器，因此它的成本比較低，任何人都可以使用。Hadoop是一個能夠讓用戶輕松架構(gòu)和使用的分布式計算平臺。用戶可以輕松地在Hadoop上開發(fā)和運行處理海量數(shù)據(jù)的應(yīng)用程序。Hadoop帶有用 Java 語言編寫的框架，因此運行在 Linux 生產(chǎn)平臺上是非常理想的。Hadoop 上的應(yīng)用程序也可以使用其他語言編寫，比如 C++。
優(yōu)點主要有：高可靠性、高效性、高擴展性、高容錯性。
三、Storm
Storm是自由的開源軟件，一個分布式的、容錯的實時計算系統(tǒng)。Storm可以非�？煽康奶幚睚嫶蟮臄�(shù)據(jù)流，用于處理Hadoop的批量數(shù)據(jù)。Storm很簡單，支持許多種編程語言，使用起來非常有趣。Storm由Twitter開源而來，其它知名的應(yīng)用企業(yè)包括Groupon、淘寶、支付寶、阿里巴巴、樂元素、 Admaster等等。
Storm有許多應(yīng)用領(lǐng)域：實時分析、在線機器學(xué)習(xí)、不停頓的計算、分布式、RPCETL(即數(shù)據(jù)抽取、轉(zhuǎn)換和加載)等等。Storm的處理速度驚人，Storm是可擴展、容錯，很容易設(shè)置和操作。
四、RapidMiner
RapidMiner是世界領(lǐng)先的數(shù)據(jù)挖掘解決方案，在一個非常大的程度上有著先進技術(shù)。它數(shù)據(jù)挖掘任務(wù)涉及范圍廣泛，包括各種數(shù)據(jù)藝術(shù)，能簡化數(shù)據(jù)挖掘過程的設(shè)計和評價�？梢员粦�(yīng)用在許多不同的應(yīng)用領(lǐng)域，包括文本挖掘，多媒體挖掘，功能設(shè)計，數(shù)據(jù)流挖掘，集成開發(fā)的方法和分布式數(shù)據(jù)挖掘。
主要功能和優(yōu)點：免費提供數(shù)據(jù)挖掘技術(shù)和庫；100%用Java代碼(可運行在操作系統(tǒng))；數(shù)據(jù)挖掘過程簡單，強大和直觀；內(nèi)部XML保證了標(biāo)準(zhǔn)化的格式來表示交換數(shù)據(jù)挖掘過程；可以用簡單腳本語言自動進行大規(guī)模進程；多層次的數(shù)據(jù)視圖，確保有效和透明的數(shù)據(jù)；圖形用戶界面的互動原型；命令行(批處理模式)自動大規(guī)模應(yīng)用； Java API(應(yīng)用編程接口)； 簡單的插件和推廣機制；強大的可視化引擎，許多尖端的高維數(shù)據(jù)的可視化建模；400多個數(shù)據(jù)挖掘運營商支持。
五、Pentaho BI
Pentaho BI 平臺是一個以流程為中心的，面向解決方案的框架。其目的在于將一系列企業(yè)級BI產(chǎn)品、開源軟件、API等等組件集成起來，方便商務(wù)智能應(yīng)用的開發(fā)。它的出現(xiàn)，使得一系列的面向商務(wù)智能的獨立產(chǎn)品如Jfree、Quartz等等，能夠集成在一起，構(gòu)成一項項復(fù)雜的、完整的商務(wù)智能解決方案。
Pentaho BI 平臺，Pentaho Open BI 套件的核心架構(gòu)和基礎(chǔ)，是以流程為中心的，因為其中樞控制器是一個工作流引擎。工作流引擎使用流程定義來定義在BI 平臺上執(zhí)行的商業(yè)智能流程。流程可以很容易的被定制，也可以添加新的流程。BI 平臺包含組件和報表，用以分析這些流程的性能。目前，Pentaho的主要組成元素包括報表生成、分析、數(shù)據(jù)挖掘和工作流管理等等。這些組件通過 J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技術(shù)集成到Pentaho平臺中來。 Pentaho的發(fā)行，主要以Pentaho SDK的形式進行。
