數(shù)據(jù)庫開發(fā)轉(zhuǎn)行大數(shù)據(jù)開發(fā)工程師怎么樣?

數(shù)據(jù)庫開發(fā)轉(zhuǎn)行大數(shù)據(jù)開發(fā)工程師怎么樣?大數(shù)據(jù)的方向的工作有大數(shù)據(jù)運(yùn)維工程師、大數(shù)據(jù)開發(fā)工程師、數(shù)據(jù)分析、數(shù)據(jù)挖掘、架構(gòu)師等。有工作經(jīng)驗(yàn)想轉(zhuǎn)行大數(shù)據(jù)開發(fā)主要考察基礎(chǔ)、學(xué)習(xí)能力、解決問題的能力。想轉(zhuǎn)轉(zhuǎn)行大數(shù)據(jù)開發(fā)工程師先了解一下大數(shù)據(jù)工程師的學(xué)習(xí)路線：

1、分布式計(jì)算框架

掌握hadoop和spark分布式計(jì)算框架，了解文件系統(tǒng)、消息隊(duì)列和Nosql數(shù)據(jù)庫，學(xué)習(xí)相關(guān)組件如hadoop、MR、spark、hive、hbase、redies、kafka等

2、算法和工具

學(xué)習(xí)了解各種數(shù)據(jù)挖掘算法，如分類、聚類、關(guān)聯(lián)規(guī)則、回歸、決策樹、神經(jīng)網(wǎng)絡(luò)等，熟練掌握一門數(shù)據(jù)挖掘編程工具：Python或者Scala。目前主流平臺和框架已經(jīng)提供了算法庫，如hadoop上的Mahout和spark上的Mllib，你也可以從學(xué)習(xí)這些接口和腳本語言開始學(xué)習(xí)這些算法。

3、數(shù)學(xué)

補(bǔ)充數(shù)學(xué)知識：高數(shù)、概率論和線代

4、項(xiàng)目實(shí)踐

開源項(xiàng)目：tensorflow：Google的開源庫，已經(jīng)有40000多個(gè)star，非常驚人，支持移動設(shè)備

基礎(chǔ)知識加強(qiáng)通過企業(yè)實(shí)習(xí)獲取項(xiàng)目經(jīng)驗(yàn)

如果你僅僅是做大數(shù)據(jù)開發(fā)和運(yùn)維，則可以跳過第二步和第三步，如果你是側(cè)重于應(yīng)用已有算法進(jìn)行數(shù)據(jù)挖掘，那么第三步也可以先跳過。
數(shù)據(jù)庫開發(fā)工程師轉(zhuǎn)行大數(shù)據(jù)的方向的工作有 大數(shù)據(jù)運(yùn)維工程師、大數(shù)據(jù)開發(fā)工程師、數(shù)據(jù)分析、數(shù)據(jù)挖掘、架構(gòu)師等。

數(shù)據(jù)工程師的角色愈發(fā)地重要。數(shù)據(jù)工程師一般被定義成“深刻理解統(tǒng)計(jì)學(xué)科的明星軟件工程師”。數(shù)據(jù)工程師是系統(tǒng)的構(gòu)建者與優(yōu)化者，所有公司正常運(yùn)營的基礎(chǔ)之一，數(shù)據(jù)工程師的職責(zé)就是保證數(shù)據(jù)在接收、轉(zhuǎn)移的準(zhǔn)確性，并且保證其它用戶對數(shù)據(jù)的可訪問性。

和數(shù)據(jù)分析師不同，他們不太關(guān)注統(tǒng)計(jì)、分析技能、建模等。他們的工作重點(diǎn)在于數(shù)據(jù)架構(gòu)、計(jì)算、數(shù)據(jù)存儲、數(shù)據(jù)流等。因此，數(shù)據(jù)工程師必須具備相當(dāng)強(qiáng)的編程能力—包括編寫數(shù)據(jù)查詢程序的能力。也就是說，他們的能力必須達(dá)到開發(fā)運(yùn)營高手的級別。

數(shù)據(jù)工程師還負(fù)責(zé)數(shù)據(jù)庫設(shè)計(jì)、倉儲數(shù)據(jù)庫、建立數(shù)據(jù)庫等。這就意味著，他們必須十分熟悉現(xiàn)有的數(shù)據(jù)庫技術(shù)和數(shù)據(jù)管理系統(tǒng)，比如和大數(shù)據(jù)有關(guān)的Hadoop與Hbase 等。此外，非功能性的基礎(chǔ)設(shè)施問題，如數(shù)據(jù)的可擴(kuò)展性、可靠性、韌性、有效性，備份等也由數(shù)據(jù)工程師來負(fù)責(zé)。

數(shù)據(jù)工程師所需技能：數(shù)學(xué)和統(tǒng)計(jì)學(xué)，程序設(shè)計(jì)和計(jì)算機(jī)科學(xué)，分析技能，商業(yè)戰(zhàn)略

對有工作經(jīng)驗(yàn)想轉(zhuǎn)行大數(shù)據(jù)開發(fā)主要考察三個(gè)方面，一是基礎(chǔ)，二是學(xué)習(xí)能力，三是解決問題的能力。

基礎(chǔ)很好考察，給幾道筆試題做完基本上就知道什么水平了。學(xué)習(xí)能力還是非常重要的，畢竟寫Javaweb和寫mapreduce還是不一樣的。大數(shù)據(jù)處理技術(shù)目前都有好多種，而且企業(yè)用的時(shí)候也不單單使用一種，再一個(gè)行業(yè)發(fā)展比較快，要時(shí)刻學(xué)習(xí)新的東西并用到實(shí)踐中。

解決問題的能力在什么時(shí)候都比較重要，數(shù)據(jù)開發(fā)中尤為重要，我們同常會遇到很多數(shù)據(jù)問題，比如說最后產(chǎn)生的報(bào)表數(shù)據(jù)對不上，一般來說一份最終的數(shù)據(jù)往往來源于很多原始數(shù)據(jù)，中間又經(jīng)過了n多處理。要求你對數(shù)據(jù)敏感，并能把握問題的本質(zhì)，追根溯源，在盡可能短的時(shí)間里解決問題。

985大學(xué) 211大學(xué) 全國院校對比 專升本