亚洲精品久久久久久久久久久,亚洲国产精品一区二区制服,亚洲精品午夜精品,国产成人精品综合在线观看,最近2019中文字幕一页二页

您好，歡迎來電子發(fā)燒友網(wǎng)！ ，新用戶？[免費注冊]

您的位置：電子發(fā)燒友網(wǎng)>源碼下載>數(shù)值算法/人工智能>

NDC系統(tǒng)設(shè)計與應(yīng)用

大?。?/span>0.8 MB 人氣： 2017-09-27 需要積分：2

推薦 + 挑錯 + 收藏(0) + 用戶評論（0）

前往下載地址

　　NDC簡介

　　NDC全名Netease Data Canal，直譯為網(wǎng)易數(shù)據(jù)運河系統(tǒng)，是網(wǎng)易針對結(jié)構(gòu)化數(shù)據(jù)庫的數(shù)據(jù)實時遷移、同步和訂閱的平臺化解決方案。

　　在NDC之前，我們主要通過自研或開源軟件工具來滿足異構(gòu)數(shù)據(jù)庫實時遷移和同步的需求，隨著云計算和公司業(yè)務(wù)的大力推進，公司內(nèi)部，尤其是運維團隊開始對數(shù)據(jù)遷移工具的可用性、易用性以及其他多樣化功能提出了更多要求和挑戰(zhàn)，NDC平臺化解決方案便應(yīng)運而生。NDC的構(gòu)建快速整合了我們之前在結(jié)構(gòu)化數(shù)據(jù)遷移領(lǐng)域的積累，于2016年8月正式立項，同年10月就已上線開始為我們的各大產(chǎn)品線提供在線數(shù)據(jù)遷移和同步服務(wù)。

　　業(yè)界中與NDC類似的產(chǎn)品有阿里云的DTS、阿里開源產(chǎn)品DataX、Canal、Twitter的Databus，在傳統(tǒng)領(lǐng)域有Oracle的GoldenGate、開源產(chǎn)品SymmetricDS。從產(chǎn)品功能、成熟度來看，NDC與阿里云DTS最為相似，都具有簡、快、全三大特性：

　　簡，使用簡單，有平臺化的Web管理工具，配置流程簡潔易懂。

　　快，數(shù)據(jù)同步、遷移和訂閱速度快，執(zhí)行高效，滿足互聯(lián)網(wǎng)產(chǎn)品快速迭代的需求。

　　全，功能齊全，NDC支持多種常用的異構(gòu)數(shù)據(jù)庫，包括Oracle、MySQL、SQLServer、DB2、PostgreSQL以及網(wǎng)易分布式數(shù)據(jù)庫DDB，除了可以滿足不同數(shù)據(jù)庫之間在線數(shù)據(jù)遷移、實時同步之外，NDC也可以實現(xiàn)從數(shù)據(jù)庫到多種OLAP系統(tǒng)的實時數(shù)據(jù)同步和ETL，目前同步目標(biāo)支持的OLAP系統(tǒng)包含Kudu和Greeplum。另外，NDC支持對數(shù)據(jù)庫做數(shù)據(jù)訂閱，通過將數(shù)據(jù)庫的增量數(shù)據(jù)丟入消息隊列，使應(yīng)用端可以自由消費數(shù)據(jù)庫的實時增量數(shù)據(jù)，從而實現(xiàn)由數(shù)據(jù)驅(qū)動業(yè)務(wù)，復(fù)雜業(yè)務(wù)之間調(diào)用解耦。

　　提煉場景和需求是做好產(chǎn)品的第一步，本文先通過三種典型應(yīng)用場景介紹NDC的使用價值，之后從產(chǎn)品形態(tài)和系統(tǒng)架構(gòu)兩方面闡述NDC在產(chǎn)品交互、集群管理、資源調(diào)度以及跨機房部署上的設(shè)計理念，最后介紹NDC實現(xiàn)數(shù)據(jù)遷移、同步和訂閱的一些原理和關(guān)鍵特性，可以為開發(fā)者在實現(xiàn)類似功能時提供思路和參考。

　　應(yīng)用場景

　　下面通過三個真實案例分別說明NDC在數(shù)據(jù)遷移和數(shù)據(jù)訂閱上的應(yīng)用場景。

　　DDB數(shù)據(jù)遷移

　　分布式數(shù)據(jù)庫DDB自2006年就開始為網(wǎng)易各大互聯(lián)網(wǎng)產(chǎn)品提供透明的分庫分表服務(wù)，在我們的知名互聯(lián)網(wǎng)產(chǎn)品背后，幾乎都可以看到DDB的身影，如考拉、云音樂、云閱讀、教育等。

　　DDB作為分庫分表的結(jié)構(gòu)化數(shù)據(jù)庫，一張表的數(shù)據(jù)一般存儲在多個數(shù)據(jù)節(jié)點中，每張表會選擇一個或多個字段作為分區(qū)鍵，來決定數(shù)據(jù)在數(shù)據(jù)節(jié)點上的分布方式。以用戶表為例，有用戶ID作為主鍵，電話號碼和郵箱作為唯一健，分區(qū)鍵一般會選擇這三個字段中的任意一個或組合。分區(qū)鍵的選擇決定了數(shù)據(jù)分布均勻與否，隨著業(yè)務(wù)數(shù)據(jù)量的增長，可能會發(fā)現(xiàn)之前選擇的分區(qū)鍵區(qū)分度不夠高，而需要更改分區(qū)鍵的需求，分區(qū)鍵的修改涉及到數(shù)據(jù)重分布，并且修改過程要與業(yè)務(wù)的線上服務(wù)同時進行，這就要求DDB提供在線數(shù)據(jù)遷移的解決方案。

　　與此類似，在業(yè)務(wù)發(fā)展過程中可能遇到表擴容或機房遷移的情況，都需要DDB的在線數(shù)據(jù)遷移功能，以表擴容為例，NDC解決DDB在線數(shù)據(jù)遷移方式如圖1所示。

　　NDC系統(tǒng)設(shè)計與應(yīng)用

　　圖1 NDC解決DDB數(shù)據(jù)遷移問題

　　當(dāng)DBA發(fā)起一個修改分區(qū)鍵或擴容請求時，管理工具會統(tǒng)一將其解析成一個數(shù)據(jù)遷移命令，并向NDC服務(wù)發(fā)起相應(yīng)的調(diào)度請求，NDC則根據(jù)調(diào)度規(guī)則選擇一組執(zhí)行節(jié)點執(zhí)行具體遷移過程，每個源端數(shù)據(jù)節(jié)點都會有對應(yīng)一個遷移進程來拉取該節(jié)點上的全量數(shù)據(jù)和增量數(shù)據(jù)，并將這些數(shù)據(jù)通過DDB的分庫分表驅(qū)動重新應(yīng)用到目標(biāo)表。當(dāng)目標(biāo)端和源端的數(shù)據(jù)延遲在追趕到毫秒級范圍內(nèi)后，通過在DDB管理工具上執(zhí)行切換表操作完成最后的遷移工作。

　　應(yīng)用緩存更新

　　應(yīng)用緩存更新是NDC數(shù)據(jù)訂閱一類非常典型的應(yīng)用場景，在沒有使用數(shù)據(jù)訂閱做緩存更新的應(yīng)用環(huán)境中，緩存數(shù)據(jù)通常由應(yīng)用服務(wù)器自己維護，但是由于緩存操作和數(shù)據(jù)庫操作不具有事務(wù)性，簡單的緩存操作可能帶來數(shù)據(jù)不一致的情況，如圖2所示。

　　NDC系統(tǒng)設(shè)計與應(yīng)用

　　圖2 緩存數(shù)據(jù)庫不一致問題

　　在圖2場景中，線程2在將緩存更新到最新數(shù)據(jù)后，又被線程1異步滯后地更新成老數(shù)據(jù)，由于線程1和線程2沒有任何狀態(tài)共享，數(shù)據(jù)庫中后操作的數(shù)據(jù)可能在緩存中被先操作的數(shù)據(jù)覆蓋掉，導(dǎo)致緩存和數(shù)據(jù)庫數(shù)據(jù)不一致。若這種情況出現(xiàn)，除非緩存主動淘汰，否則應(yīng)用將始終讀到臟數(shù)據(jù)。

　　對上述的數(shù)據(jù)不一致問題，業(yè)界也有一種基于CAS的解決方案，但會對緩存增加至少一倍以上的壓力。而通過NDC的數(shù)據(jù)訂閱，可以比較完美地解決上述問題，NDC數(shù)據(jù)訂閱將數(shù)據(jù)庫中的增量數(shù)據(jù)丟入消息隊列，應(yīng)用讀取消息隊列的內(nèi)容，并將其同步到緩存系統(tǒng)，在這個過程中，NDC執(zhí)行節(jié)點和消息隊列保障高可用，而數(shù)據(jù)庫增量數(shù)據(jù)具有唯一性和時序性，可以避免緩存和數(shù)據(jù)庫的狀態(tài)不一致。

　　如果說使用數(shù)據(jù)訂閱只是緩存更新的一種優(yōu)選方案的話，那對下面的多機房緩存淘汰，NDC的數(shù)據(jù)訂閱功能就是必選方案了。

非常好我支持^.^

(0) 0%

不好我反對

(0) 0%

      發(fā)表評論

      用戶評論
      評價:好評中評差評

      發(fā)表評論，獲取積分！ 請遵守相關(guān)規(guī)定！

      ?