作者：紅掌網絡 訪問量：433 發(fā)布時(shí)間：2020-05-25 07:22
想要成(chéng)爲一名合格的大數據研發(fā)工程師（Bigdataresearchanddevelopmentengineers），首先就(jiù)要了解大數據軟件開(kāi)發(fā)這(zhè)個職業，大數據非傳統型的互聯網數據信息，大數據也包含了很多新的特征。互聯網時(shí)代的發(fā)展，每天都(dōu)産生各種(zhǒng)各樣(yàng)的數據信息，數據來源很廣，每天都(dōu)有從各方面(miàn)來臨的數據信息，大數據格式多種(zhǒng)多樣(yàng)，非結構化數據（Unstructureddata）、結構化數據（structureddata）、excel文件等等，而且大數據數量很大，至少要是TB級别的，甚至會(huì)達到PB級别的。既然數據總量如此之多，又各種(zhǒng)類型的都(dōu)有，增長(cháng)數據也很快，那數據該如何彙總并且轉化運用成(chéng)自己所需要的數據信息呢?這(zhè)就(jiù)誕生了大數據研發(fā)工程師，大數據研發(fā)工程師在充分了解行情的基礎之上，發(fā)揮其自身所具備的專業技能(néng)。
先扯一下大數據的4V特征：
1：數據量大，TB->PB
2：數據類型繁多，結構化、非結構化文本、日志、視頻、圖片、地理位置等；
（datatypeisvarious,structuredandunstructuredtext,logs,video,images,thegeographicalposition,etc.;）
3：商業價值高，但是這(zhè)種(zhǒng)價值需要在海量數據之上，通過(guò)數據分析與機器學(xué)習更快速的挖掘出來；
（highcommercialvalue,butthisvaluetakeonhugeamountsofdata,throughdataanalysisandmachinelearningmorerapidexcavation;）
4：處理時(shí)效性高，海量數據的處理需求不再局限在離線計算當中。
（processingtimelinessishigh,therequirementofthehugeamountsofdataprocessingisnolongerlimitedinoff-linecalculation.）
大數據軟件開(kāi)發(fā)工程師需要學(xué)什麼(me)呢？
我們從全國(guó)幾個大城市招聘信息來了解，大數據軟件開(kāi)發(fā)工程師到底需要學(xué)什麼(me)及相應的月薪。
大數據開(kāi)發(fā)工程師杭州（20000-40000元/月)
1、熟悉java或scala開(kāi)發(fā)語言，了解python或go等語言，有3年以上開(kāi)發(fā)經(jīng)驗2、了解hadoop生态，Hadoop，hive，HBase，Spark等，了解實時(shí)計算技術，包括storm,kafka，flume，druid等3、熟悉linux各項基本操作4、熟悉數據結構，對(duì)常用算法有所了解，有良好(hǎo)的數據思維5、有大規模數據分析、推薦、廣告相關研發(fā)經(jīng)驗的優先6、有BI數據平台、數據倉庫、日志采集，多維實時(shí)分析平台設計、開(kāi)發(fā)、架構經(jīng)驗優先。
崗位職責(responsibility)：
1、負責大數據平台基礎組件功能(néng)設計、研發(fā)及維護工作；2、負責大數據采集、清洗、整合等工作；3、負責大數據平台文本挖掘分析等工作；4、負責相關功能(néng)設計文檔撰寫；5、負責BI及報表開(kāi)發(fā)。任職要求：1、深厚的Java功底，多年的并發(fā)編程經(jīng)驗；2、參與過(guò)分布式高性能(néng)服務的設計開(kāi)發(fā)過(guò)程，有大規模分布式系統的實踐經(jīng)驗；3、熟悉HDFS/HBase/Hive/MapReduce/Storm/Spark等相關技術,有 MapReduce 程序的實戰開(kāi)發(fā)經(jīng)驗；4、熟悉Hadoop運行監控及調優技術；5、熟悉常見存儲技術（Sqlserver ,Oracle, Mysql, NosqlDB、Redis、ElasticSearch），WebService/WebAPI（SOAP/json）；6、熟悉Scala語言優先；7、計算機、軟件工程及相關專業本科或以上學(xué)曆，3年以上相關項目開(kāi)發(fā)經(jīng)驗；
大數據開(kāi)發(fā)工程師安徽合肥(5000-10000元/月)
崗位職責(responsibility)：
1、大數據平台的産品及解決方案設計、開(kāi)發(fā)，實現大數據存儲、查詢、分析、挖掘的目标；
3、對(duì)大數據（雲計算）的主流技術、産品跟蹤研究，設計适合公司業務的、有競争力的方案和産品；
3、具體工作包括技術預研、方案設計、構件選型、開(kāi)發(fā)、集成(chéng)、優化等；
4、能(néng)根據公司産品和業務特征不斷提出改進(jìn)建議，持續創新、開(kāi)發(fā)新産品及方案。
任職資格(responsibility)：
1.計算機或者相關專業本科以上學(xué)曆，1年實際工作經(jīng)驗
2.精通java。熟悉shell/perl/python任意一門腳本語言，有紮實的編程功底。
3.熟悉Hadoop+spark+hbase生态和常見的開(kāi)源分布式計算/存儲相關技術
4.精通SQL，有較好(hǎo)的SQL性能(néng)調優經(jīng)驗，理解Hive/Mysql基本原理和調優策略；有開(kāi)源貢獻者優先
5.有文檔編制基礎，能(néng)夠流暢編寫技術方案及實施方案
大數據開(kāi)發(fā)工程師北京(15001-20000元/月)
崗位職責:
1、負責公司級的通用數據平台和分析型産品，服務于全公司各個用戶産品線；
2、面(miàn)向(xiàng)PB級超大規模數據問題，每天處理千億增量的用戶行爲數據；
3、爲大數據的全生命周期提供服務，覆蓋數據産生，傳輸，計算，建模，統計分析，實驗評估，可視化的全流程；
4、構建設計良好(hǎo)的數據流、數據倉庫、調度系統、kv存儲，查詢引擎，數據服務、分析系統、流程規範，數據工具/産品，降低數據的使用門檻，保證系統穩定高效運行，以實現數據的最大價值。
任職資格:
1、熟悉linux編程環境，有較強的開(kāi)發(fā)能(néng)力（java/scala/c++/python等);
2、強悍的編碼能(néng)力，對(duì)新技術有強烈的學(xué)習熱情；
3、加分，熟悉一項或多項大數據處理/分析相關的工具/框架，e、g、azkaban,hadoop,Hive,Spark,kylin,druid,flume,kafka,hbase,mesos,kubernets,redisetc。
4.對(duì)數據建模有一定了解。
