1. 程式人生 > >從量子加密到機器學習,盤點2015阿裏雲開放的黑科技

從量子加密到機器學習,盤點2015阿裏雲開放的黑科技

for add 動畫 鏡像 ott tran strong 占用 深度學習

http://www.csdn.net/article/2015-12-18/2826512
摘要:因為雲計算應用的不斷深入。以及對大數據處理需求的不斷擴大,用戶要求功能豐富、性能強大、高可用性的產品,雲計算廠商們也推陳出新,不斷地推出新產品,本文就盤點了業內翹楚阿裏雲在2015年那些有價值的新產品。

作為雲計算產業熱土的中國。2015年產業規模依然保持快速增長。且國內的公有雲服務領域有幾十家企業在角逐。經過幾年的發展,眼下市場逐漸明朗。有些公有雲企業已經遙遙率先,而有些企業非常可惜,已經開始掉隊。

以下。我們一起盤點下國內雲計算生態系統中公認的翹楚阿裏雲在2015年那些有價值的新產品。

互聯網安全的下一個關鍵技術量子加密

在今年10月中旬的雲棲大會上,阿裏雲與中國科學院旗下的國盾量子聯合公布了量子加密通信產品,誌著全球互聯網邁入量子時代。

眼下量子加密已在阿裏雲網絡環境建立了多個量子安全傳輸域,通過量子傳送門實現同城數據中心互聯組網,可以為客戶提供無條件安全傳輸數據服務。而這是全球首家雲服務商提供量子安全傳輸產品落地服務。另外。阿裏雲通過復雜的算法和軟件(特別是更為復雜地對網絡和終端進行管控的軟件)將加密技術鏈接到雲中,從而實現更高的性價比。

從成本上來說,當下量子計算主要沿京滬幹線展開,基於已有光纖,其主成本主要表如今光纖上附加的設備。主要分為兩個部分:第一是發送和接收部分;第二是中繼設備,這點主要是受限於單光子傳播的可靠距離。在這裏當下使用的可靠傳輸距離是50公裏。

中國首個可視化機器學習平臺DTPAI

今年下半年,阿裏雲宣布推出國內首個人工智能平臺DTPAI,開發人員可通過簡單拖拽的方式完畢對海量數據的分析挖掘,以及對用戶行為、行業走勢等的預測。並且。該平臺還集成了阿裏核心算法庫,包含特征project、大規模機器學習、深度學習等。

DTPAI基於阿裏雲大數據處理平臺ODPS構建(後者可在6小時內處理100PB數據。相當於1億部高清電影),眼下主要支持鼠標拖拽的編程可視化(Visual Programming)。用戶能夠實現0代碼的算法應用開發。同一時候也支持的據可視化和模型可視化,讓用戶更直觀的了解數據與算法。此外,用戶還能夠基於阿裏雲計算平臺提供的開發語言和框架來搭建應用或者組件。阿裏雲計算平臺提供自研的計算框架。比如ODPS(SQL、Open MapReduce等)和一些常見的開源產品比如Spark。同一時候針對機器學習,阿裏雲也對接了開源的比如DMLC等框架和自研的Parameter Server開發框架。

技術分享

DTPAI的機器學習核心庫

DTPAI開放的算法支持對ODPS上的數據集上的數據處理和分析的一些基本功能,包含統計、採樣、拆分、標準化等。

在機器學習建模和預測的算法有分類和聚類的算法。包含Kmeans、邏輯回歸、隨機森林、GBDT等。另外用戶也能夠使用R腳本來封裝一個節點邏輯。除此之外。還支持ISV或者用戶提供自己開發的第二方或第三方算法。

讀寫性能超群的高性能存儲服務SSD雲盤,提升原ECS存儲性能20倍。

在證券交易、實時航空預定、搜索引擎等IO密集型應用中,存儲系統的IO吞吐量瓶頸已成為很多機構不得不攻克的難題。

阿裏今年公布的又一亮眼新品SSD雲盤,該產品採用了全新的底層架構與全面優化的技術,全然基於SSD介質的SSD雲盤可為虛擬機提供隨機I/O訪問的高性能和高可靠塊存儲。

為了全然發揮SSD硬件的所有性能。阿裏團隊做了多個優化。當中包含:RPC優化。小報性能從20萬添加到50萬。內存拷貝優化。EC2優化少掉1 Core CPU;同步轉異步,CPU消耗減少2個Core;鎖優化。CPU消耗減少2個Core。同一時候,為了保障異常情況下的IO性能穩定性,大量的場景相同被考慮到,比方:網絡抖動、server硬件故障等不可避免的異常情況;怎樣在假死、真死情況下同一時候保證可靠性和IO性能的穩定性;Chase/replication機制等。當然。為了發揮SSD雲盤的所有性能,用戶須要採用阿裏提供的IO優化實例。

十萬核並發處理的基因測序與渲染等行業的批量計算

阿裏雲今年還公布了支持十萬核級別並發的批量計算,該計算適用於影視渲染、生物基因分析、多媒體轉碼、科學計算、金融保險分析等行業;以真實動畫渲染為例。此前單機須要工作520天的計算量可節省至18小時。此外,阿裏雲批量計算服務可以在PaaS層平臺服務提供批量計算框架,幫助用戶專註業務邏輯本身。

使用阿裏雲批量計算的基本方法是:首先用戶開通阿裏雲批量計算服務。創建、上傳自己定義鏡像到OSS,再由OSS註冊自己定義鏡像到阿裏雲批量計算。註冊成功後,用戶就能夠上傳程序數據到OSS,並創建作業描寫敘述(JSon格式)到算法中,待算法完畢任務提交給阿裏雲批量計算,最後由OSS把作業結果反饋回用戶。

據悉,阿裏雲批量計算是基於阿裏雲飛天開放平臺而實現的。

在這樣的大規模並發讀取共享文件的場景上。用到了阿裏特色的OSS數據動態掛載。OSS數據基於NFS協議掛載到虛擬機上。用戶無須改動程序接口,且採用了分布式緩存加速。實現500個節點並發性能達到50MB/S。幾個廣泛的案例都應用了此技術,如昆塔渲染、視覺雲平臺、人類全基因組測序分析等。

兼得公共和專用優勢的VPC融合網絡

經長期測試後,阿裏雲今年也推出了可構建混合雲的VPC服務,通過在公共雲上構建一個安全的隔離環境,而且通過專線與已有的客戶自有數據中心打通,基於阿裏雲遍布各地的公有雲集群以及頂級的基礎網絡環境,VPC的推出為客戶提供了統一了安全與便捷的混合雲體驗。

VPC還能夠幫助用戶構建一個隔離的網絡環境,從而實現虛擬網絡的全然控制,包含選擇自由IP範圍、劃分網段、配置路由別和網管等。

通過VPC構建的融合網絡將具備下面幾大特性:成本,專線/VPN的就近接入能力、按需開通和使用、豐富的解決方式和合作夥伴;穩定性。多線容災和可控網絡延時;安全。傳輸通道的安全保障。

兼容Redis的KV數據庫

在7月22日的阿裏雲分享日上,阿裏雲宣布正式推出KVStore for Redis。它是第一個全然基於Open API實現控制臺的阿裏雲產品。它也支持即開即用,不須要客戶自行部署。同一時候產品提供了完好的可視化統計監控與報警功能。KVStore也支持彈性擴容,當用戶數據量隨業務發展而增多時,用戶僅僅需通過KVStore控制臺進行在線擴容就可以,服務本身不中斷。

值得一提的是。KVStore支持分布式集群,最大規格能夠達到1TB,它提供的內存是全然歸用戶來存儲有效數據的。快照等額外的內存占用是由阿裏雲server預留公用內存來解決的。不會占用用戶配額。對用戶更加實惠。另外,KV數據庫採取主從雙節點架構。實現了主從透明切換。

當主節點出現問題時,能夠自己主動切換至從節點,整個過程對用戶全然透明。

RDS for PostgreSQL服務:支持MySQL、SQL Server 和PostgreSQL三大關系數據庫

年中。阿裏雲正式推出RDS for PostgreSQL服務,成為國內首家同一時候支持MySQL、SQL Server 和PostgreSQL關系型數據庫的雲計算服務商。並有如XML、IP、MONEY等豐富的數據類型支持,擁有對復雜查詢支持的強大引擎。此外。嵌套事務、分布事物、分析函數、規劃試圖、遞歸查詢等高級功能也一樣不落。如今。用戶在雲上就能享受PostgreSQL引擎帶來的對SQL標準和NoSQL的高度兼容、強大的處理復雜查詢能力、以及豐富的插件支持等特性。同一時候還能大幅節省運維成本和硬件投入。

雲盾安全網絡Quick Shield

阿裏今年推出的雲盾安全網絡是一款針對中小企業的產品。提供了安全的動態CDN服務。負載均衡SLB也將具備七層WAF和CC防護能力。

雲盾擁有東半球最大的高防中心,能夠輕松應對大流量攻擊,確保雲服務穩定正常。

對於經典的DDoS防護服務,阿裏雲將依據客戶的安全信譽實施智能黑洞策略,更好地保護客戶。

同一時候,用戶在選擇雲盾的時候,不須要再做多次配置。更簡單、更便捷。

雲計算已經成為備受看好的發展重點。國內外眾多企業都投入技術和資金研發雲計算及相關產品,無論雲計算的發展道路通順或者坎坷都好。雲計算的發展前景無疑是光明的。終於。我們也期待阿裏雲有很多其它滿足企業新業務需求的雲服務出現。


從量子加密到機器學習,盤點2015阿裏雲開放的黑科技