大數(shù)據是指用現(xiàn)有的計算機軟硬件設施難以采集、存儲、管理、分析和使用的超大規(guī)模的數(shù)據集。大數(shù)據具有規(guī)模大、種類雜、快速化、價值密度低等特點(4V特性)。大數(shù)據的“大”是一個相對概念,沒有具體標準,如果一定要給一個標準,那么10-100TB通常稱為大數(shù)據的門檻。
數(shù)據分析是一個大的概念,理論上任何對數(shù)據進行計算、處理從而得出一些有意義的結論的過程,都叫數(shù)據分析。從數(shù)據本身的復雜程度、以及對數(shù)據進行處理的復雜度和深度來看,可以把數(shù)據分析分為以下4個層次:數(shù)據統(tǒng)計,OLAP,數(shù)據挖掘,大數(shù)據。
大數(shù)據分析和數(shù)據分析是有區(qū)別和聯(lián)系的。這里重點關注兩者的是技術要求、使用場景、業(yè)務范圍等方面的區(qū)別和聯(lián)系。重點要區(qū)分理論研究和實際應用兩方面區(qū)別和聯(lián)系。
第一:在分析方法上兩者并沒有本質不同
數(shù)據分析的核心工作是人對數(shù)據指標的分析、思考和解讀,人腦所能承載的數(shù)據量是極其有限的。所以,無論是“傳統(tǒng)數(shù)據分析”,還是“大數(shù)據分析”,均需要將原始數(shù)據按照分析思路進行統(tǒng)計處理,得到概要性的統(tǒng)計結果供人分析。兩者在這個過程中是類似的,區(qū)別只是原始數(shù)據量大小所導致處理方式的不同。
第二:在對統(tǒng)計學知識的使用重心上兩者存在較大的不同
傳統(tǒng)數(shù)據分析”使用的知識主要圍繞“能否通過少量的抽樣數(shù)據來推測真實世界”的主題展開?!按髷?shù)據分析”主要是利用各種類型的全量數(shù)據(不是抽樣數(shù)據),設計統(tǒng)計方案,得到兼具細致和置信的統(tǒng)計結論。
第三:與機器學習模型的關系上,兩者有著本質差別
“傳統(tǒng)數(shù)據分析”在大部分時候,知識將機器學習模型當黑盒工具來輔助分析數(shù)據。而“大數(shù)據分析”,更多時候是兩者的緊密結合,大數(shù)據分析產出的不僅是一份分析效果測評,后續(xù)基于此來升級產品。在大數(shù)據分析的場景中,數(shù)據分析往往是數(shù)據加墨的前奏,數(shù)據建模是數(shù)據分析的成果。
- 
                                數(shù)據分析
                                +關注
關注
2文章
1495瀏覽量
35834 - 
                                大數(shù)據
                                +關注
關注
64文章
9001瀏覽量
142743 
發(fā)布評論請先 登錄
電磁兼容與電磁干擾在電磁兼容性大數(shù)據分析中的智能管理系統(tǒng)
AI數(shù)據分析儀設計原理圖:RapidIO信號接入 平板AI數(shù)據分析儀
    
數(shù)據中心和通信網絡有什么區(qū)別
    
          
        
        
大數(shù)據和數(shù)據分析區(qū)別
                
 
    
    
           
            
            
                
            
評論