更新時間：2024-07-22
崔先生
男|
30歲|
本科|
二年以上工作經(jīng)驗
現(xiàn)居?。罕Ｃ?/div>
形象好
氣質(zhì)佳
能出差
技術(shù)精悍
有親和力
求職意向
期望職位：計算機應(yīng)用,互聯(lián)網(wǎng)/網(wǎng)絡(luò),計算機軟硬件,IT管理,IT品質(zhì)/技術(shù)支持
期望行業(yè)：計算機軟件/硬件,計算機系統(tǒng)/維修,通信(設(shè)備/運營/服務(wù))
期望薪資：5K~10K/月|想在鄄城縣,魯西新區(qū),菏澤牡丹區(qū)工作
求職狀態(tài)：我目前已離職，可快速到崗
期望行業(yè)：計算機軟件/硬件,計算機系統(tǒng)/維修,通信(設(shè)備/運營/服務(wù))
期望薪資：5K~10K/月|想在鄄城縣,魯西新區(qū),菏澤牡丹區(qū)工作
求職狀態(tài)：我目前已離職，可快速到崗
獲取聯(lián)系方式
自我描述
? 語言：Java、Scala、shell、Sql/noSql
? 計算框架：MapReduce、Spark(on Standaloneon Yarn)
? 資源調(diào)度：Yarn
? 數(shù)據(jù)采集工具：Flume、Sqoop、DataX(阿里)、Logstash
? 消息中間件：Kafka
? 數(shù)據(jù)存儲：HDFS、MongoDB、MySQL、Oracle、HBase、ElasticSearch、Redi
教育經(jīng)歷
2017-2 至 2021-7
[4年5個月]
[4年5個月]
本科|四川農(nóng)業(yè)大學(xué)|計算機科學(xué)與技術(shù)
工作經(jīng)歷(TA工作了2年2個月，共做了2份工作)
2018-2 至 2019-3
[1年1個月]
[1年1個月]
大數(shù)據(jù)研發(fā)工程師|北京修齊治平科技有限公司
工作職責(zé)：大數(shù)據(jù)開發(fā)相關(guān)工作
2019-3 至 2020-4
[1年1個月]
[1年1個月]
大數(shù)據(jù)研發(fā)經(jīng)理|北京群智合信息科技股份有限公司
工作職責(zé)：對接項目客戶，完成大數(shù)據(jù)相關(guān)工作架構(gòu)設(shè)計
項目經(jīng)歷
2018-2 至 2019-3
[1年1個月]
[1年1個月]
可視化數(shù)據(jù)平臺(boss平臺)設(shè)計搭建與數(shù)據(jù)支持|項目技術(shù)經(jīng)理
項目描述：開發(fā)工具：IDEA + ZOC
工具架構(gòu)：Spark2.1.3+Hadoop2.6+hive1.2.0+mongoDB+Elasticsearch
項目背景：
隨著公司大數(shù)據(jù)平臺各種組件日漸成熟，數(shù)據(jù)量的日益增多，需要在數(shù)據(jù)的基礎(chǔ)上做清洗、加工、挖掘等，但公司決策和公司數(shù)據(jù)可視化的層面卻是個空缺，所以啟動了可視化數(shù)據(jù)平臺項目。
負責(zé)模塊：
1) 數(shù)據(jù)倉庫分層建模的設(shè)計；
2) 調(diào)研對接數(shù)據(jù)平臺后端的數(shù)據(jù)庫使用什么數(shù)據(jù)庫比較好；
3) 使用sparksql編寫通用的工具包，用于執(zhí)行sql語句，遵循任務(wù)可定時、任務(wù)可配置，工具好遷移，功能可更新的原則；
4) 提供給數(shù)據(jù)分析組需要的DWS層的寬表數(shù)據(jù)；
5) 編寫中間層接口，對接可視化數(shù)據(jù)平臺前端；
6) 維護數(shù)據(jù)倉庫中所有數(shù)據(jù)的正常更新和正常存儲；
項目簡述：
1) 由項目經(jīng)理和web開發(fā)架構(gòu)師設(shè)計整體的平臺架構(gòu)，數(shù)據(jù)倉庫組設(shè)計數(shù)倉分層，分為ODS層（貼源層）、DWB層（基礎(chǔ)數(shù)據(jù)層）、DWD層（細節(jié)數(shù)據(jù)層）、DWS層（服務(wù)數(shù)據(jù)層）；
2) 前端、后端和中間層同時推進編寫代碼；
3) 編寫dw_engine項目工具包，用于執(zhí)行sql語句，生成提供給接口的DWS層的寬表數(shù)據(jù)；
4) 根據(jù)各項業(yè)務(wù)邏輯，編寫sql語句，并配置到dw_engine的配置表中，完成每日更新；
5) 更新維護數(shù)據(jù)平臺中所有數(shù)據(jù)。
2019-4 至 2020-3
[11個月]
[11個月]
分布式異構(gòu)數(shù)據(jù)源數(shù)據(jù)導(dǎo)入工具項目（SneakerX）|項目技術(shù)經(jīng)理
項目描述：開發(fā)工具：IDEA + ZOC
工具架構(gòu)：Zookeeper3.4.10 + Curator4.0.1+ DataX3.0
項目背景：
應(yīng)業(yè)務(wù)和異構(gòu)數(shù)據(jù)源同步需求，經(jīng)項目組調(diào)研選定使用DataX3.0作為中間組件，對異構(gòu)數(shù)據(jù)源進行分布式離線同步。
負責(zé)模塊：
1) 參與生產(chǎn)者消費者架構(gòu)設(shè)計；
2) ZooKeeper技術(shù)調(diào)研以及Curator技術(shù)調(diào)研；
3) ZooKeeper內(nèi)部分布式節(jié)點設(shè)計；
4) 消費者架構(gòu)設(shè)計以及代碼編寫；
5) 修改DataX MongoDBReader源碼；
6) 定制的DataX MongoDBReader代碼編寫。
項目簡述：
1) 異構(gòu)數(shù)據(jù)源現(xiàn)階段指的是：MongoDB、ElasticSearch、Hive、HBase等。
2) SneakerX是一個處理定時任務(wù)以完成多個異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)導(dǎo)入的項目；
3) 各個定時任務(wù)運行的時間間隔不一致，有的幾分鐘運行一次，有的一小時甚至一天運行一次；
4) SneakerX的主要組件為：生產(chǎn)者-消費者隊列和數(shù)據(jù)同步工具；
5) 生產(chǎn)者-消費者隊列的實現(xiàn)依賴于ZooKeeper的節(jié)點事件監(jiān)聽機制；
6) 數(shù)據(jù)同步工具為阿里開源的框架DataX。
