僅一輛自動駕駛汽車每一天產(chǎn)生的數(shù)據(jù)量就可達數(shù)TB甚至數(shù)十TB。隨著自動駕駛、物聯(lián)網(wǎng)、人工智能、AR、5G等技術(shù)更深入應(yīng)用于生產(chǎn)生活，其帶來的文本、圖形、圖像、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)為主的信息數(shù)據(jù)量急劇增加。

據(jù)IDC預測，到2025 年，全球產(chǎn)生的數(shù)據(jù)量將達到175ZB，其中超過80%的數(shù)據(jù)都會是處理難度較大的非結(jié)構(gòu)化數(shù)據(jù)。

當前，對巨量且仍不斷增長的非結(jié)構(gòu)化數(shù)據(jù)進行高效存儲、管理、分析，已經(jīng)成為企業(yè)數(shù)字化、智能化轉(zhuǎn)型時需要著重處理的環(huán)節(jié)。

近期，長期自研存儲技術(shù)的青云科技正式推出了非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一存儲平臺QingStor U10000，面向私有云場景，以期賦能企業(yè)加速數(shù)字化轉(zhuǎn)型。

青云科技存儲產(chǎn)品總監(jiān)馮相東介紹，和QingStor NeonSAN 主要面向結(jié)構(gòu)化數(shù)據(jù)高性能業(yè)務(wù)場景需求不同，QingStor U10000 主要面向非結(jié)構(gòu)化數(shù)據(jù)的場景，包括影像數(shù)據(jù)、音視頻數(shù)據(jù)、數(shù)據(jù)湖、大數(shù)據(jù)、物聯(lián)網(wǎng)等場景。青云希望通過專業(yè)的存儲分工能更好地服務(wù)專業(yè)的場景。

據(jù)悉，QingStor U10000產(chǎn)品設(shè)計初衷就是為了幫助客戶更好地實現(xiàn)海量數(shù)據(jù)的價值挖掘。QingStor U10000支持文件、對象和大數(shù)據(jù)三種非結(jié)構(gòu)化數(shù)據(jù)訪問協(xié)議互通及無損共享，容量方面支持橫向擴展，線性增加整體系統(tǒng)的容量和性能，且可獨立水平擴展元數(shù)據(jù)和存儲節(jié)點;安全性方面，實現(xiàn)元數(shù)據(jù)和業(yè)務(wù)存儲數(shù)據(jù)分離存儲，有效規(guī)避單點故障;在運維方面，提供資源管理、配置管理、告警、日志、監(jiān)控等一系列的統(tǒng)一管理平臺。

根據(jù)客戶需求，QingStor U10000支持軟件交付和存儲一體機兩種交付模式。

全 自研

馮相東表示，青云存儲產(chǎn)品的一個重要特點就是，真正自研的中國存儲。和QingStor NeonSAN 一樣，QingStor U10000繼承與融合QingStor對象存儲及文件存儲，也是由青云科技存儲團隊自主設(shè)計，沒有繼承任何開源的架構(gòu)，不存在任何知識產(chǎn)權(quán)的風險。自主研發(fā)使得技術(shù)QingStor U10000百分百可控，不存在技術(shù)盲區(qū)，能更好支撐企業(yè)數(shù)字化轉(zhuǎn)型需求。

在信創(chuàng)領(lǐng)域，包括QingStor U10000在內(nèi)的青云各產(chǎn)品線兼容核心國產(chǎn)硬件平臺和操作系統(tǒng)平臺，比如鯤鵬、飛騰、海光等目前主流的國產(chǎn)硬件平臺，還有麒麟軟件、統(tǒng)信、openEuler等國產(chǎn)操作系統(tǒng)，青云已實現(xiàn)完整的生產(chǎn)化兼容。

“青云作為中國云計算公司，懷揣著中國存儲服務(wù)數(shù)字中國的愿景，希望通過自身的努力能消除企業(yè)對數(shù)據(jù)安全的顧慮，以真正自研的中國存儲服務(wù)于數(shù)字中國。”馮相東強調(diào)。

真 多協(xié)議無損互通

QingStor U10000相比于青云早前推出的QingStor對象存儲和文件存儲產(chǎn)品，除了產(chǎn)品力的全面繼承，還以幾個方面做了明顯的能力提升，包括實現(xiàn)數(shù)據(jù)協(xié)議的互通，功能和性能的增強，整個算力平臺對接的強化等。

馮相東特別強調(diào)，QingStor U10000構(gòu)建了統(tǒng)一索引架構(gòu)，支持多協(xié)議無損互通，從而實現(xiàn)數(shù)據(jù)的訪問和流通的高效。

為什么要特別強調(diào)“協(xié)議互通可以讓數(shù)據(jù)分析更高效”，馮相東闡述道：“一份數(shù)據(jù)在一個完整的業(yè)務(wù)場景下可能會在多個環(huán)節(jié)有數(shù)據(jù)處理的需求，如果做不到協(xié)議互通，這個數(shù)據(jù)需要不停地Copy，比如在這個業(yè)務(wù)的存儲空間里先處理完，再Copy到另一個存儲空間，用另一種存儲協(xié)議做訪問，這樣會增加多種存儲間數(shù)據(jù)遷移的成本。”

也就是說，無論是基于對象接口存進來的數(shù)據(jù)、基于NFS/SMB存進來的數(shù)據(jù)，還是通過HDFS大數(shù)據(jù)專用協(xié)議存進來的數(shù)據(jù)，QingStor U10000都是基于統(tǒng)一的索引架構(gòu)提供這些數(shù)據(jù)的元數(shù)據(jù)管理。這種架構(gòu)為應(yīng)用帶來好處就是：不需要通過格式轉(zhuǎn)化就能讓對象存儲存進來的數(shù)據(jù)，通過NFS訪問，或者NFS存進來的數(shù)據(jù)可以通過S3訪問。存儲和讀取數(shù)據(jù)之間不需要經(jīng)過格式轉(zhuǎn)化，這樣就不會存在性能和語義的損失。

以自動駕駛場景為例，馮相東介紹道，“通常情況下，一輛路測車每天可能會產(chǎn)生幾TB或者幾十TB的數(shù)據(jù)，有幾十輛路測車，每天產(chǎn)生差不多1PB的數(shù)據(jù)，正常情況下，這1PB的數(shù)據(jù)需要通過四個環(huán)節(jié)的處理才能真正發(fā)揮其作用。第一個環(huán)節(jié)是數(shù)據(jù)的上傳和導入，通常會用到存儲里的S3和NFS的協(xié)議。第二個環(huán)節(jié)是數(shù)據(jù)預處理，基本上以HDFS這種大數(shù)據(jù)分析的框架為主。第三個環(huán)節(jié)是AI訓練，以NFS協(xié)議為主。第四個環(huán)節(jié)還會涉及仿真測試，主要以NFS和SMB協(xié)議為主。通過自動駕駛完整數(shù)據(jù)鏈的處理環(huán)節(jié)可以看到，一份數(shù)據(jù)在不同的階段，需要通過不同的數(shù)據(jù)訪問協(xié)議對接不同的計算框架，只有協(xié)議互通才能讓數(shù)據(jù)分析更高效。”

市面上雖然也有在講協(xié)議互通的分布式存儲廠商，但大多是通過格式轉(zhuǎn)化的技術(shù)實現(xiàn)的，談不上真正的“多協(xié)議無損互通”，在底層來看，就是因為沒有統(tǒng)一的索引架構(gòu)。馮相東認為：“統(tǒng)一的索引架構(gòu)是QingStor U10000 在架構(gòu)層面非常明顯的一個優(yōu)勢。”

青云科技產(chǎn)品技術(shù)解決方案總監(jiān)張忠華介紹，QingStor U10000廣泛適用于容器存儲、大數(shù)據(jù)分析、PACS(醫(yī)療影像系統(tǒng))、高精度地圖、多媒體數(shù)據(jù)處理與存儲、冷數(shù)據(jù)備份和歸檔等應(yīng)用場景，并已經(jīng)在互聯(lián)網(wǎng)體檢、智能駕駛、智能工廠的IoT場景和多元化的超算場景成功應(yīng)用。例如，青云提供的存儲集群及算力資源，基本上解決了某智能駕駛科技公司的高精度地圖業(yè)務(wù)場景從采集、生產(chǎn)、訓練整個生命周期的存儲和算力的需求。

關(guān)鍵詞： 人工智能 企業(yè)數(shù)字化轉(zhuǎn)型 青云科技 數(shù)據(jù)統(tǒng)一存儲平臺