日韩一区二区三区在线免费观看-开心久久婷婷综合中文字幕-欧美激情91-久久国产福利-欧美日韩日本国产亚洲在线-国产精品极品国产中出

首頁 > 互聯網 > 正文

當前熱門:數禾科技X瓴羊:通過Dataphin進行數據資產體系建設

2023-04-10 17:46:44來源:Bianews鞭牛士  

在與瓴羊建立合作后,數禾科技通過Dataphin在數據架構、數據建模、數據治理等維度,進行了增強管控,同時結合行業最佳實踐,沉淀出了一整套獨具特色的數據資產建設方法論。在引入了新工具、新范式后,數禾科技的數據處理能力提升了8倍,做到了數據生產鏈路0事故。

普惠金融服務的落地,離不開數字技術的快速發展。

作為專注于普惠民生的金融科技公司,數禾科技多年來秉承著“讓人人享有金融服務最優解”的使命,憑借先進的大數據、人工智能等技術,將金融的普惠價值通過數字科技的力量,落地到更多的場景與客群當中。


(資料圖)

以數禾科技旗下的還唄小微貸產品為例,這是一款為資金周轉困難的小微企業主提供的專屬信貸產品,讓小微業主借的省心,借的輕松,借的方便。目前還唄小微貸面向40萬小微企業主提供金融服務近140億元,實現這樣一個業務服務規模,背后需要一套完善的智能化金融服務平臺來做支撐。

圖1. 數禾科技主題域模型

“雖然各家的業務不一樣,但需要的數字化能力可以是一樣的。”

當被問到作為數禾科技的CDO,如何來規劃數禾科技的數字化能力建設方案,王冠軍的回應非常簡單直接,那就是「向最優秀者看齊」。無論是各行各業的最佳實踐,還是在數據處理、分析領域有著搶眼表現的阿里,都是數禾科技對標的對象。

“Dataphin代表了阿里先進的數據生產力,我們懷著開放的心態,把先進的工具引入進來,并踐行方法論和最佳實踐,數禾要站在巨人的肩膀上,對自身業務場景進行全方位賦能?!?/p>

數字化能力建設離不開頂層設計,數禾科技逐漸發展沉淀出了「一環四化」規劃藍圖,即業務數據化、數據資產化、資產服務化、服務價值化,以及貫穿事前、事中、事后的數據治理閉環。

圖2. 數字化頂層規劃

曾經,數禾科技也因缺乏科學的數據體系建設和治理的指導,面臨了“數據湖”變成“數據沼澤”的尷尬處境。在與瓴羊建立合作后,數禾科技通過Dataphin在數據架構、數據建模、數據治理等維度,進行了增強管控,內外兼修,積極擁抱阿里生態,迅速拉齊到業內領先水平。

與此同時,基于瓴羊過去在阿里內部實踐沉淀下的方法論,數禾科技結合行業最佳實踐,根據自身業務場景進行二次創新,沉淀出了一整套獨具特色的數據資產建設方法論,下面通過三個實例進行說明。

一、設計DBus機制,讓數據有序流轉

「數據資產化」是數禾科技四化環節的重中之重,即通過對業務過程進行建模、提煉指標、萃取標簽、特征工程等等,進行數據資產的沉淀。

其中,以數據團隊為主導構建的相對穩定和通用的數據資產體系,被數禾科技定義為「官方資產」,此類資產可以解決企業60%-70%的共性問題,剩余與業務場景強相關的個性化需求,數據團隊會通過Dataphin開放數據能力給到業務團隊,如私有化數據集市、沙箱體系等,讓業務開放創新地將數據資產用起來。

圖3. 數據中臺項目啟動至今使用增長情況

目前數禾科技全公司有近一半的同事,都在自主使用Dataphin作為數字決策輔助工具。但業務團隊所生產的「私有化數據」都需要按照一定的標準規則被強管控起來,不可以無序流轉。

因為在「數據資產化」階段,想要數據資產被最大化地有序利用,需要企業清晰掌握數據使用的鏈路,找到那批可持續復用的數據資產進行下沉,逐步將數據有序分批地沉淀到「官方資產」,而過于個性化的數據資產,則留在項目空間里由業務方自行處理。

圖4. DBus機制

通過Dataphin提供的端到端數據血緣探查和管理能力,數禾科技形成了DBus機制,來負責私有化數據流轉的標記、監控和管理,以此保障數據資產化能夠高效有序開展。

數禾科技數據團隊成員表示,過去,由于數據的生產流轉缺少工具進行管理和監控,導致數據的關系網絡極其復雜,調用鏈路被各種上下游牽制,往往是牽一發而動全身,有些節點想做下線處理十分棘手。

在數據資產建設過程中形成的DBus機制,是通過標準和架構設計,讓數據的流轉能夠通過一個數據共享總線來統一管理。比如私有數據集需要符合數據治理的規范和標準,才可以進入到DBus數據總線進行共享流通。數據團隊會監控DBus總線上的數據資產,通過Dataphin將這批資產打標,持續跟蹤資產流轉情況。

如果某批資產被跨團隊高頻調用,就會由數據團隊下沉到公共數據體系,發布到數據目錄上,個性化的數據資產就此有了「身份」,并入「官方資產」,以此保障共享型的數據資產能夠被充分利用起來。

王冠軍表示,“之所以會在數禾內部誕生這類數據流轉機制,正是因為企業必然需要在中臺的穩定性,和業務的敏捷性之間做出平衡?!盌ataphin可以通過項目空間的隔離,讓業務側享受到充分的用數自由,同時讓具備高共享價值的私有化數據,及時下沉到「官方資產」,最大化釋放數據價值。

二、獨創DCube方法論,清晰管理個性化指標

“數據資產在數禾內部是層層流動的,并且這種流動是有序的。通過Dataphin基于OneData方法論設計的標準研發流程,數據從原子指標經組合公式生成派生指標,在這個過程中,我們會發現數禾還有很多特有的指標需求?!?/p>

王冠軍說話語速偏快,能夠根據問題迅速組織出清晰、全面的表達內容,這可能和他長期保持以不同組織視角來思考問題的習慣有關。

“我們數據團隊是以客戶為中心的,這個客戶指代的是數禾內部的業務團隊,所以,我們需要通過特定的方法,讓他們能夠更便利地使用個性化指標,不要重復建設公共指標?!?/p>

數禾科技的數據團隊借助Dataphin,用可視化拖拉拽方式快速生成一個公共指標層,目的是消除二義性,讓指標的生成更加標準和規范,同時增加了一個擴展層,也就是DCube,生成面向業務場景的個性化指標,DCube層更便于業務理解,讓他們能快捷地使用起來。

圖5. “統一指標+”方案:基于Dataphin統一指標工具的增強版

通過DCube層的規范設計,數禾科技的數據團隊在數據資產化環節,有效平衡了通用性和靈活性的資產建設需求,并在后續的「資產服務化」環節,通過API接口調用、文件服務、消息隊列調用這3種標準服務的方式,使得數據資產可以快速地被對接到BI,以及其他應用系統,進一步將「服務價值化」。

在數據中臺上,數據團隊逐漸形成了BI分析產品、CDP產品、全視角用戶洞察產品等,不僅提升了數據團隊的交付效率和質量,也真正幫助業務團隊更方便地使用數據,在營銷、風控等場景準確識別用戶需求,高效開展普惠金融服務。

三、開發治理一體化,讓數據治理從Day1做起

提到數據治理工作的啟動,數禾科技的數據團隊成員是有很多苦水要吐的。

“曾經的數據湖架構,同一個實體和字段有不同版本,數據關系存在大量的冗余和不對稱,在遷移任務到Dataphin的過程中,扒邏輯就扒了12層,如果開發Owner離職,這個邏輯真的沒有人可以理清楚了?!?/p>

通過Dataphin落實了DBus機制后,邏輯變得扁平化,引用關系簡單清晰。我們使用Dataphin構建清晰的總線矩陣,劃分并定義數據域、業務過程、維度、原子指標、統計周期和派生指標,消除了指標的二義性。這就使得數據資產的開發、管理、運營都變得更加清晰明確。

其次是「生產隔離」設置。以前做數據湖,不太關注生產環境和分析探索環境的管理,大家都各自在里頭做數據分析,生產調度作業很多都是探索實驗任務,生命周期很短,邏輯變更頻繁,數據作業只上不下,結果就造成生產環境越來越混沌。

“現在,我們通過Dataphin嚴格區分了數據探索和生產環境:探索環境可以非常靈活,我們給業務同事提供了沙箱環境,他們可以自由發揮創新精神,不使用就全部抹掉;而在生產環境,我們需要保障數據質量、時效性和穩定性,因為這部分環境中的數據,需要支撐業績報表、數據決策、交易增長等一系列與企業經營密切關聯的場景。”

在企業中,數據治理往往不是發起一個獨立的運作項目那么簡單,它被深深地嵌入到了企業經營的每一個細節當中。王冠軍認為數據治理工作旨在不斷調節降低大數據系統熵值,從而使得數據質量、數據安全、資源成本都得到有效的管控,持續為業務價值創造提供可信的數據資產。

“我不覺得成立一個數據治理組織是最關鍵的,我們數據治理的機制和能力,都是通過不斷解決問題進化出來的?!?/p>

事后出現問題,比如SLA數據延遲,到了原定的時間沒有出來,就先建工單分配到數據工程師解決問題,然后啟動復盤改進,往前推,到事中的告警觸發,事前的檢查規范和制度是否有被落實等等?!耙粋€故障越是在前期被防控,對我們來說成本越低,我們的數據治理工作就是這樣一步一步通過Dataphin的工具能力被前置到Day1。”說到數據團隊所遇到的各種問題,王冠軍表現出來的是一種非常積極的處理態度,他把這些都視為團隊治理能力進化的推力,而非阻力。

自從在數據架構、數據建模、數據治理等環節引入了新工具、新范式,數禾科技的數據處理能力提升了8倍,做到了數據生產鏈路0事故,王冠軍微笑著說這要感謝Dataphin的助力,但這樣一支勤于思考,精于做事的數據團隊,發展得越來越好也是必然。

關鍵詞:

責任編輯:hnmd003

相關閱讀

相關閱讀

推薦閱讀

在线天堂资源www在线污| 免费观看久久久4p| 人人狠狠综合久久亚洲婷婷| 久久久久久久久久久9不雅视频| 欧洲三级视频| 中文字幕在线看片| 日本成人在线视频网站| 伊人久久影院| 99re国产精品| 开心久久婷婷综合中文字幕| 久久99高清| 婷婷综合激情| 国产极品久久久久久久久波多结野| 久久影院资源站| 成人在线免费观看网站| 免费高清视频精品| 日本欧美一区二区三区| 成人在线亚洲| 蜜桃成人精品| 久久久久久久久成人| 亚洲欧美视频一区二区三区| 麻豆精品在线播放| 视频福利一区| 日韩在线短视频| 永久免费精品视频| 亚洲精品**中文毛片| 亚洲电影一级片| 老司机久久99久久精品播放免费 | 天天综合91| 91免费精品国偷自产在线在线| 欧美a级片视频| 日韩精品中文字幕吗一区二区| 石原莉奈在线亚洲二区| 国产精品视频首页| 老妇喷水一区二区三区| 国产一区99| 日本久久一二三四| 精品视频一二| 日韩国产激情| 欧美一区二区三区久久| 免费在线观看一区| 香蕉视频一区二区三区| 麻豆高清免费国产一区| 尤物在线精品| 国产a久久精品一区二区三区| 久久午夜视频| 欧美三级视频| 欧美日韩精品一区二区三区视频| 国产乱人伦精品一区| 日韩网站中文字幕| 天天操综合520| 99精品女人在线观看免费视频 | 一区二区三区四区日本视频| 中文字幕av一区二区三区四区| av免费不卡国产观看| 北条麻妃一区二区三区在线观看| 亚洲国产aⅴ精品一区二区三区 | 精品国产欧美日韩一区二区三区| 日本a口亚洲| 99精品国产一区二区青青牛奶| 伊人精品成人久久综合软件| 久久99精品久久久久久园产越南| av日韩中文| 九九综合九九| 日韩系列在线| 丁香婷婷久久| 亚洲免费黄色| 7777精品| 影音先锋亚洲一区| 成人激情在线| 神马午夜久久| 成人永久在线| 国产一区二区三区国产精品| 狠狠爱综合网| 亚洲精品在线a| 中文不卡在线| 麻豆精品蜜桃| 老鸭窝毛片一区二区三区| 欧美中文一区| 最新亚洲精品| 婷婷综合激情| 亚洲福利合集| 99久热在线精品视频观看| 91精品影视| 亚洲在线黄色| 亚洲私人影院| 欧美久久香蕉| 欧美欧美黄在线二区| 国产精品久久国产愉拍| 蜜桃视频第一区免费观看| 国产中文一区| 精品香蕉视频| 亚洲免费福利一区| 在线观看亚洲| 懂色aⅴ精品一区二区三区| 久久久久看片| 亚洲免费观看| 激情综合在线| 国产精品久久久久av蜜臀| 国产在线视频欧美一区| 日日嗨av一区二区三区四区| 中文字幕系列一区| 国产社区精品视频| 美女视频一区免费观看| 性欧美欧美巨大69| 久久精品综合| 精品高清久久| 激情小说亚洲色图| 日韩在线观看中文字幕| 国产欧美日韩精品一区二区免费| 在线精品一区| 日韩精品成人一区二区三区 | 欧美freesextv| 噜噜爱69成人精品| 狠狠入ady亚洲精品| 国内激情久久| 天堂资源在线亚洲| 成人精品影院| 大色综合视频网站在线播放 | 最新日韩欧美| 国产综合网站| 亚洲小说欧美另类社区| 99久久99热这里只有精品| 丁香一区二区| 在线一区二区三区视频| 日韩欧洲国产| 欧美日韩调教| 欧美日韩一区二区三区不卡视频| 青草伊人久久| 999久久精品| 精品精品99| 久久狠狠婷婷| 99久久99久久精品国产片桃花 | 在线日韩成人| 91精品国产乱码久久久竹菊| 麻豆国产一区| 成人中文字幕视频| 成人免费在线电影网| 91欧美极品| 999精品一区| 美女久久久久| 欧美日韩一二三四| 女主播福利一区| 久久亚洲综合| 日韩国产一区二区三区| 999国产精品亚洲77777| 一区二区黄色| 中文字幕免费精品| 久久av免费| 爱爱精品视频| 天天做夜夜做人人爱精品| 加勒比久久综合| 久久国产福利| 男女羞羞在线观看| 国产精品久久久久久模特| 国内自拍视频一区二区三区| 国产亚洲欧美日韩在线观看一区二区| 日韩电影在线一区| 99久久激情| 噜噜爱69成人精品| 色在线中文字幕| 免费在线成人| 亚洲另类春色校园小说| 色婷婷综合久久久久久| 亚洲经典自拍| 三级在线看中文字幕完整版| 美女看a上一区| 偷窥自拍亚洲色图精选| 神马香蕉久久| 久久夜色精品| 美腿丝袜亚洲三区| 亚洲精品合集| 婷婷成人在线| 欧美mv日韩| 日本视频免费一区| 亚洲视频一起| 国产美女一区| 国产一区二区久久久久| 欧美经典一区| 国产91精品对白在线播放| 色喇叭免费久久综合网| 欧美激情福利| 日韩精品丝袜美腿| 天天做夜夜做人人爱精品| 免费欧美在线视频| 日韩国产欧美在线播放| 视频免费一区二区| 在线综合视频| 久久亚洲人体| 红杏视频成人| 免费成人在线网站| 久久影视三级福利片| 亚洲a一区二区三区| 欧美www视频在线观看| 亚洲精品乱码| 91精品综合| 精品成人免费一区二区在线播放| 国产精品亚洲片在线播放| 亚洲高清二区| 99只有精品|