當(dāng)前位置： 經(jīng)濟學(xué)人 ? 行業(yè)問答
人人都在說“大數(shù)據(jù)殺熟”，請問“大數(shù)據(jù)殺熟”背后的技術(shù)原理是怎樣的？
-
邀請演講您好，感謝您的關(guān)注和支持。大數(shù)據(jù)"殺熟"的實質(zhì)是平臺方利用所掌握的海量數(shù)據(jù)對用戶需求做出精準分析，以達到"不同用戶不同定價"的目的，從而使自己的利益最大化。這個過程中，從數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)處理到數(shù)據(jù)分析，都涉及到方方面面的前沿技術(shù)。數(shù)據(jù)采集與預(yù)處理由于數(shù)據(jù)經(jīng)常有著不同的來源，需要對數(shù)據(jù)做進一步集成處理或整合處理，將來自不同數(shù)據(jù)集的數(shù)據(jù)收集、整理、清洗、轉(zhuǎn)換后，生成到一個新的數(shù)據(jù)集，為后續(xù)查詢和分析處理提供統(tǒng)一的數(shù)據(jù)視圖。所用工具有Data Flux、Data Stage及Informatica Power Center等。數(shù)據(jù)存儲與管理傳統(tǒng)的數(shù)據(jù)存儲和管理以結(jié)構(gòu)化數(shù)據(jù)為主，而大數(shù)據(jù)往往是半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)為主、結(jié)構(gòu)化數(shù)據(jù)為輔，需要對不同類型的數(shù)據(jù)內(nèi)容檢索、交叉比對、深度挖掘與綜合分析。MPP(Massive Parallel Processing)分布式計算模式可以管理大規(guī)模結(jié)構(gòu)化數(shù)據(jù)，Hadoop則可以實現(xiàn)對半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理。大數(shù)據(jù)計算大數(shù)據(jù)計算模式，即根據(jù)大數(shù)據(jù)的不同數(shù)據(jù)特征和計算特征，從多樣性的大數(shù)據(jù)計算問題和需求中提煉并建立的各種高層抽象(abstraction)或模型(model)。典型的大數(shù)據(jù)計算模式包括迭代計算、批處理計算、內(nèi)存計算、流式計算(Spark Streaming)、數(shù)據(jù)查詢分析計算(Shark)以及圖計算(GraphX)等。大數(shù)據(jù)分析對大數(shù)據(jù)的深度分析主要基于大規(guī)模的機器學(xué)習(xí)技術(shù)，由于基于機器學(xué)習(xí)的大數(shù)據(jù)分析具有迭代性、容錯性、參數(shù)收斂的非均勻性等特點，直接應(yīng)用傳統(tǒng)的分布式計算系統(tǒng)應(yīng)用于大數(shù)據(jù)分析，很大比例的資源都浪費在通信、等待、協(xié)調(diào)等非有效的計算上。研究人員開發(fā)了一系列接口簡單容錯性強的分布式計算框架服務(wù)于大數(shù)據(jù)分析算法，以MapReduce、Spark和參數(shù)服務(wù)器ParameterServer等為代表。大數(shù)據(jù)可視化可視化通過交互式視覺表現(xiàn)的方式來幫助人們探索和理解復(fù)雜的數(shù)據(jù)。大規(guī)模數(shù)據(jù)的可視化主要是基于并行算法設(shè)計的技術(shù)，結(jié)合多分辨率表示等方法，主要涉及數(shù)據(jù)流線化、任務(wù)并行化、管道并行化和數(shù)據(jù)并行化4 種基本技術(shù)。微軟的大規(guī)模機器學(xué)習(xí)可視化平臺(Azure Machine Learning)、阿里巴巴旗下的大數(shù)據(jù)分析平臺御膳房都是互動式大數(shù)據(jù)分析平臺的案例。
-
易鑫集團2023年年報：新能源車融資交易量同比增長206%至11.6萬臺
2月29日，易鑫集團（HK.2858，以下簡稱“易鑫”）披露年報，展現(xiàn)了其在新能源車業(yè)務(wù)上的高速成長。公告數(shù)據(jù)顯示，2023年易鑫新能源車融資交易量同比增長206%，至11.6萬臺，融資交易金額達到124億元，同比增長200%。 新能源車已是汽車產(chǎn)業(yè)發(fā)展重點。根據(jù)乘用車市場信息聯(lián)席會數(shù)據(jù)，2023年國內(nèi)新能源汽車零售銷量為774萬輛，同比增長36%。作為一家專業(yè)的汽車金融交易平臺，易鑫數(shù)年前即開始前瞻性布局新能源車這一高潛力業(yè)務(wù)。從去年數(shù)據(jù)來看，不僅在相關(guān)交易量和交易額上取得高速增長，新能源車融資額在其新車業(yè)務(wù)中的占比亦持續(xù)上升，2023年下半年達到33%。
掃一掃
下載《前瞻經(jīng)濟學(xué)人APP》進行提問
與資深行業(yè)研究員/經(jīng)濟學(xué)家互動交流讓您成為更懂行業(yè)的人
