黃河流域空天地一體化大數(shù)據(jù)平臺架構及關鍵技術研究黃河流域的生態(tài)保護成效事關我國經(jīng)濟社會發(fā)展和生態(tài)安全[1]。 以下從3 個方面分析本研究的必要性。 第一,從國家戰(zhàn)略、政策層面來看,2019 年9 月習近平總書記在鄭州主持召開黃河流域生態(tài)保護和高質(zhì)量發(fā)展座談會并發(fā)表重要講話,明確提出黃河流域生態(tài)保護和高質(zhì)量發(fā)展是重大國家戰(zhàn)略[2]。 2018 年6月,中共中央、國務院印發(fā)《關于全面加強生態(tài)環(huán)境保護堅決打好污染防治攻堅戰(zhàn)的意見》,提出“建立權威高效的生態(tài)環(huán)境監(jiān)測體系,構建天地一體化的生態(tài)環(huán)境監(jiān)測網(wǎng)絡”[3]。 2017 年12 月的中共中央政治局集體學習也特別提出,要加強大數(shù)據(jù)技術在各行各業(yè)的創(chuàng)新性應用,健全大數(shù)據(jù)輔助科學決策和社會治理的機制[4]。 第二,從黃河流域的生態(tài)、發(fā)展狀況來看,黃河流域面積79.5 萬km2,面臨水土流失嚴重、水資源分配不均、二級懸河嚴重、甘肅內(nèi)蒙古等地經(jīng)濟發(fā)展滯后等生態(tài)環(huán)境和經(jīng)濟發(fā)展問題[5]。 黃河流域的生態(tài)保護和高質(zhì)量發(fā)展涉及多部門、多學科、多因素,指揮調(diào)度困難,需要處理海量的水文泥沙、氣象氣候、地質(zhì)地貌、植被生物、土壤水質(zhì)以及經(jīng)濟社會等多尺度異構數(shù)據(jù),這無疑給黃河流域的生態(tài)監(jiān)測、水土治理、產(chǎn)業(yè)發(fā)展等一系列生態(tài)保護和高質(zhì)量發(fā)展措施加大了難度。 第三,從現(xiàn)實的數(shù)據(jù)產(chǎn)生、技術發(fā)展來看,未來10 a全球天、空、地部署的數(shù)百萬計傳感器每日獲取的觀測數(shù)據(jù)將超過10 PB[6],面對海量的生態(tài)環(huán)境監(jiān)測數(shù)據(jù),傳統(tǒng)的數(shù)據(jù)處理理念、方法、工具和技術根本無以應對,必須采用大數(shù)據(jù)的理念、方法、工具和技術,這已是國家、省級和地方各級環(huán)保部門的共識。 綜上,進行面向黃河流域生態(tài)保護的空天地一體化大數(shù)據(jù)平臺研究很有必要。 平臺設計的好壞、技術組件選配是否合理,直接影響黃河流域生態(tài)大數(shù)據(jù)的處理分析,進而影響黃河流域生態(tài)保護的差別化、精準化和管理一體化。 1 黃河流域生態(tài)大數(shù)據(jù)的內(nèi)涵及其面臨的問題大數(shù)據(jù)具備“5V”基本特征,即規(guī)模性(Volume)、多樣性(Variety)、高速率(Velocity)、真實性(Veracity)以及價值性(Value)[6],根據(jù)行業(yè)領域可分為不同的類別,例如健康醫(yī)療大數(shù)據(jù)、教育大數(shù)據(jù)、電子商務大數(shù)據(jù)、生態(tài)大數(shù)據(jù)等。 較之其他行業(yè)大數(shù)據(jù),生態(tài)環(huán)境大數(shù)據(jù)是一個系統(tǒng)生態(tài)圈,涉及地理信息廣,是涉及空間段、天際段及地表段全方位地理空間數(shù)據(jù)集,是黃河流域物理空間到數(shù)字空間的映射和提煉[7]。 因此,黃河流域生態(tài)大數(shù)據(jù)不僅具有一般大數(shù)據(jù)的基本特征,還具有地理時空性特征,如圖1 所示。 圖1 黃河流域生態(tài)大數(shù)據(jù)地理空間特征 根據(jù)相關的文獻定義[6-9],并針對黃河流域特點,列出黃河流域生態(tài)保護相關的數(shù)據(jù)類型、采集方式和主要內(nèi)容,見表1。 表1 黃河流域生態(tài)大數(shù)據(jù)類型、采集方式及主要內(nèi)容 確定黃河流域生態(tài)大數(shù)據(jù)的類型和特點,將為后續(xù)定制大數(shù)據(jù)平臺提供必要的依據(jù)。 目前,各方將大數(shù)據(jù)技術應用于生態(tài)保護的積極性比較高,但仍存在以下問題:①多元立體感知能力欠缺,生態(tài)環(huán)境無人機監(jiān)測系統(tǒng)數(shù)量較少,應急、機動觀測能力不足,地面監(jiān)測方面規(guī)模化、常態(tài)化監(jiān)測很少;②全要素監(jiān)測能力薄弱,大部分是對單一生態(tài)要素的監(jiān)測,未將多個生態(tài)要素的監(jiān)測數(shù)據(jù)整合應用起來,勢必造成所獲取的數(shù)據(jù)不全面,挖掘出的知識不系統(tǒng);③流域環(huán)境監(jiān)測數(shù)據(jù)的共享、整合、應用能力不足,不同系統(tǒng)各自分散獨立建設[9],缺少統(tǒng)一規(guī)劃、統(tǒng)一建設、統(tǒng)一部署;④深層次知識挖掘水平較低,對生態(tài)環(huán)境大數(shù)據(jù)的利用水平較低,大部分只是用來做一些簡單的統(tǒng)計和報表[10],如何利用大數(shù)據(jù)技術結合業(yè)務模型從海量數(shù)據(jù)中挖掘隱藏在其中的各種知識、洞見,則做得比較少。 筆者對生態(tài)大數(shù)據(jù)的平臺架構及關鍵技術進行研究,對遙感數(shù)據(jù)、水文數(shù)據(jù)、水質(zhì)數(shù)據(jù)、氣象氣候數(shù)據(jù)等進行深度挖掘、智能分析,以期為生態(tài)保護決策提供數(shù)據(jù)支撐。 2 黃河流域空天地一體化大數(shù)據(jù)平臺框架建立大數(shù)據(jù)平臺的前提和基礎是數(shù)據(jù)資源的共享,大數(shù)據(jù)平臺的數(shù)據(jù)探測與采集面對的是多部門、多系統(tǒng)數(shù)據(jù)融合,現(xiàn)實中各行業(yè)數(shù)據(jù)標準格式以及技術路線是不統(tǒng)一的,各部門之間是數(shù)據(jù)割據(jù)的局面,導致不同程度的“數(shù)據(jù)孤島”現(xiàn)象,數(shù)據(jù)之間沒有實現(xiàn)共享,這也是制約大數(shù)據(jù)發(fā)展的顯著問題[11]。 為了響應國家大數(shù)據(jù)戰(zhàn)略,各級環(huán)保部門紛紛開始探索和建設生態(tài)大數(shù)據(jù)平臺。 黃河流域空天地一體化大數(shù)據(jù)平臺架構如圖2 所示。 圖2 黃河流域空天地一體化大數(shù)據(jù)平臺架構 生態(tài)環(huán)境一體化大數(shù)據(jù)平臺建設,目的是實現(xiàn)生態(tài)環(huán)境綜合決策科學化、生態(tài)環(huán)境監(jiān)管精準化、生態(tài)環(huán)境公共服務便民化[8]。 首先應該基于先進的物聯(lián)網(wǎng)技術,融合5G 網(wǎng)絡通信手段,構建空天地一體化網(wǎng)絡。 沈?qū)W民等[12]提出以地基網(wǎng)絡(地面互聯(lián)網(wǎng)、移動通信等)為基礎,以空基網(wǎng)絡(高空通信平臺、無人機自組等)和天基網(wǎng)絡(各種衛(wèi)星通信系統(tǒng)等)為補充和延伸的空天地一體化網(wǎng)絡建設設想,以期不同維度的網(wǎng)絡可以充分發(fā)揮自身作用,打破各自獨立的網(wǎng)絡系統(tǒng)之間的數(shù)據(jù)共享屏障,實現(xiàn)廣域網(wǎng)絡的互通互聯(lián)。黃河流域從空間段、天際段到地表段的數(shù)據(jù)采集,都離不開網(wǎng)絡的傳輸,并且在水文泥沙、土壤土質(zhì)等數(shù)據(jù)的采集中,更是離不開傳感器的數(shù)據(jù)傳輸。 空天地一體化網(wǎng)絡的建設影響數(shù)據(jù)的傳輸速率、范圍,同時為空天地一體化平臺的應用提供網(wǎng)絡通信基礎,空天地一體化網(wǎng)絡也是未來網(wǎng)絡發(fā)展的趨勢之一。 空天地一體化大數(shù)據(jù)是針對某個研究對象或者具體范圍,由空、天、地設備協(xié)同探測與采集的多源多模大數(shù)據(jù)及相關的綜合分析技術。 一體化大數(shù)據(jù)平臺的建設需借助大數(shù)據(jù)技術對多源異構數(shù)據(jù)進行大數(shù)據(jù)存儲管理、數(shù)據(jù)分析與挖掘、數(shù)據(jù)可視化,建立一體化的大數(shù)據(jù)運營調(diào)度中心,開展黃河流域植被遙感圖像的自動識別與標注、數(shù)據(jù)綜合分析與數(shù)據(jù)挖掘、動態(tài)環(huán)境監(jiān)測、智能算法模型庫構建等關鍵技術研發(fā),構建以“數(shù)據(jù)-分析-服務-價值”為驅(qū)動的一體化大數(shù)據(jù)平臺,為解決黃河流域治理相關問題提供相應的數(shù)據(jù)、服務、調(diào)度、預測、決策等一系列支持。 黃河流域生態(tài)環(huán)境空天地一體化大數(shù)據(jù)平臺總體規(guī)劃是基于物聯(lián)網(wǎng)、人工智能、區(qū)塊鏈等新一代信息技術,以環(huán)境水利、人文社會為業(yè)務支撐,整合基礎設施資源、時空大數(shù)據(jù)資源、北斗高精度資源,建立一體化大數(shù)據(jù)運營中心,為生態(tài)保護、文化旅游、產(chǎn)業(yè)布局、安全監(jiān)測、交通治理、規(guī)劃建設、應急指揮以及國土資源提供服務。 3 黃河流域空天地一體化大數(shù)據(jù)平臺技術架構研究一體化大數(shù)據(jù)技術平臺因其要處理的數(shù)據(jù)類型不同、采取的數(shù)據(jù)處理技術不同,技術架構的層次體系也不同。 趙芬等[13]針對生態(tài)大數(shù)據(jù),將大數(shù)據(jù)技術處理流程分為獲取、存儲與管理、計算模式與系統(tǒng)構建、分析4 個階段;舒田等[7]針對石漠化大數(shù)據(jù),將喀斯特石漠化大數(shù)據(jù)平臺技術處理流程分為獲取、存儲與管理、計算模式、分析4 個階段;常杪等[14]將大數(shù)據(jù)的處理流程分為采集與預處理、存儲、分析、可視化4 個階段。生態(tài)大數(shù)據(jù)處理的核心思想是通過各種數(shù)據(jù)的有機結合、計算、分析,去解決復雜的生態(tài)環(huán)境問題,為環(huán)境決策的準確性、時效性、科學性提供支撐,助力保護生態(tài)環(huán)境和社會經(jīng)濟的高質(zhì)量發(fā)展,最終將生態(tài)大數(shù)據(jù)價值最大化[15]。 本文基于大數(shù)據(jù)處理的常規(guī)流程將黃河流域空天地一體化大數(shù)據(jù)的技術處理流程分為數(shù)據(jù)采集與預處理、數(shù)據(jù)存儲與安全管理、數(shù)據(jù)智能分析、數(shù)據(jù)可視化4 個部分,如圖3 所示。 圖3 黃河流域空天地一體化大數(shù)據(jù)技術處理流程 3.1 基礎設施平臺黃河流域空天地一體化大數(shù)據(jù)在總體架構上將平臺分5 層,分別是基于網(wǎng)絡基礎服務和IT 基礎設施服務的基礎層、采集層、大數(shù)據(jù)層、分析層和呈現(xiàn)層。 作為大數(shù)據(jù)平臺的運行基礎,基礎層為黃河流域空天地一體化大數(shù)據(jù)平臺提供堅強的軟硬件基礎設施支撐。基礎設施平臺中硬件資源包括處理數(shù)據(jù)的計算機、通信網(wǎng)絡和存儲設備,軟件資源包括操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)以及中間件等。 采集層主要是對生態(tài)大數(shù)據(jù)進行探測、采集、預處理,它是大數(shù)據(jù)平臺的數(shù)據(jù)支撐層,是數(shù)據(jù)分析的前提條件。 大數(shù)據(jù)層是對數(shù)據(jù)的存儲與安全管理層,數(shù)據(jù)的存儲方便數(shù)據(jù)的檢索,數(shù)據(jù)在傳輸、存儲、處理時易受到數(shù)據(jù)泄密、篡改等安全威脅,保障數(shù)據(jù)安全即保障黃河流域空天地一體化大數(shù)據(jù)平臺系統(tǒng)的可靠性,最終使數(shù)據(jù)價值最大化。 分析層是大數(shù)據(jù)平臺的核心部件,運用數(shù)據(jù)挖掘、機器學習、統(tǒng)計分析等手段,最大限度地開發(fā)數(shù)據(jù)“礦產(chǎn)”,為政府、科研機構提供更多的規(guī)律、現(xiàn)象、決策。 呈現(xiàn)層是數(shù)據(jù)價值的體現(xiàn),一般采用圖表等數(shù)據(jù)可視化形式展示數(shù)據(jù)的形態(tài),或者在真實場景虛擬仿真的基礎上具現(xiàn)化數(shù)據(jù),為用戶提供所需的服務。 3.2 技術路徑黃河流域空天地一體化大數(shù)據(jù)的采集主要對空、天、地三個時空領域進行采集。 其中:空間段采集的數(shù)據(jù)主要是衛(wèi)星遙感和衛(wèi)星定位數(shù)據(jù),主要來自于國產(chǎn)衛(wèi)星影像云服務平臺的分發(fā)點[16],通過GIS 空間技術分析地表信息的變化,例如黃河兩岸地表植被覆蓋率、建筑占地、防護林面積等指標分析;天際段采集的數(shù)據(jù)主要是無人機巡航數(shù)據(jù)、遙感數(shù)據(jù)、航空測繪數(shù)據(jù)等,通過一體化測圖系統(tǒng)將天際段采集的數(shù)據(jù)變化信息與空間段采集的基礎信息相匹配、拼接、勻色以及正射處理等,實現(xiàn)局部區(qū)域任意時間段的數(shù)據(jù)得到增量更新[16],彌補衛(wèi)星數(shù)據(jù)周期長、費用高的不足,這種增量處理方式也可促進空天地一體化數(shù)據(jù)采集的協(xié)同處理;地表段的數(shù)據(jù)采集主要通過物聯(lián)網(wǎng)、移動平臺、人工管理等方式,通過地面氣象站、環(huán)境監(jiān)測網(wǎng)絡、部門的存活系統(tǒng),采集多源異構數(shù)據(jù)如地面監(jiān)測數(shù)據(jù)、社會統(tǒng)計數(shù)據(jù),再融合處理。 數(shù)據(jù)預處理是指在數(shù)據(jù)深度挖掘前,對原始數(shù)據(jù)進行必要的清洗、集成、轉(zhuǎn)換、離散和歸約等一系列的處理工作,從而達到數(shù)據(jù)分析算法和工具所要求的最低規(guī)范和標準[17]。 目前使用的數(shù)據(jù)預處理工具主要有Data Flux、Data Stage、IPC 等[13]。 數(shù)據(jù)存儲是數(shù)據(jù)分析與可視化的基礎,對于黃河流域生態(tài)大數(shù)據(jù)的數(shù)據(jù)存儲采用分布式的存儲方式,通過建立文件服務器、圖片服務器、關系型數(shù)據(jù)庫和非關系型數(shù)據(jù)庫,確保數(shù)據(jù)的持續(xù)可用、快速查詢。 比較常用的開源工具如Hadoop Common、HDFS、HBase等[13],利用這些存儲技術來保障數(shù)據(jù)的實時提取以及多點數(shù)據(jù)關聯(lián)分析。 數(shù)據(jù)智能分析主要包括多源多模數(shù)據(jù)融合、大數(shù)據(jù)智能計算和多維目標智能識別3 個方面。 數(shù)據(jù)融合主要針對靜態(tài)數(shù)據(jù)的批處理、在線數(shù)據(jù)的流式處理以及三方數(shù)據(jù)的交互處理,針對各行業(yè)、各環(huán)控部門的數(shù)據(jù)進行組合、整合、聚合,發(fā)揮大數(shù)據(jù)的價值。 大數(shù)據(jù)智能計算和多維目標智能識別是以機器學習、統(tǒng)計分析、數(shù)據(jù)挖掘、建模分析為核心進行數(shù)據(jù)的價值挖掘、目標自動識別等智能分析的過程。 在框架層,可以采用Map Reduce、Storm、Spark 等工具。 在科學計算庫中,可以采用Numpy、Pandas、Scipy 等工具包。 數(shù)據(jù)可視化是數(shù)據(jù)的呈現(xiàn)方式,通過交互可視界面,使數(shù)據(jù)分析結果透明化、具現(xiàn)化。 大數(shù)據(jù)可視化的目的是讓用戶直觀地看到智能分析后的結果[7],檢索用戶自身需要的項目,解決自身的需求和問題,為方案決策提供數(shù)據(jù)支撐,為態(tài)勢走向作科學預測。 從目前來看,ChronoViz、D3、flightgear 和Highcharts 等都是比較常用的智能可視化軟件。 4 黃河流域空天地一體化大數(shù)據(jù)平臺關鍵技術研究4.1 大數(shù)據(jù)探測與采集技術獲取生態(tài)大數(shù)據(jù)是建立空天地一體化大數(shù)據(jù)平臺的前提,數(shù)據(jù)采集質(zhì)量對數(shù)據(jù)分析結果有直接影響,因此生態(tài)大數(shù)據(jù)的采集技術是大數(shù)據(jù)平臺的關鍵技術之一。 下文從空域、天域、地域3 個方面分析大數(shù)據(jù)的探測與采集。 4.1.1 空域大數(shù)據(jù)的探測與采集 空域大數(shù)據(jù)主要通過衛(wèi)星探測與采集,從衛(wèi)星的不同用途可以分為遙感衛(wèi)星、導航衛(wèi)星、通信衛(wèi)星。 遙感信息的獲取通過大量搭載了全色、多光譜、高光譜傳感器的遙感衛(wèi)星來完成。 其中,全色圖像、多光譜圖像、高光譜圖像的分辨率見表2。 國外遙感衛(wèi)星中地球觀測一號衛(wèi)星(EO-1)是2000 年發(fā)射的,區(qū)別于傳統(tǒng)衛(wèi)星的是最多提供7 個多光譜波段的陸地資源衛(wèi)星,EO-1 衛(wèi)星搭載了高光譜成像儀Hyperion、高級陸地成像儀ALI 以及大氣校正儀LEISA[18]。 國內(nèi)的衛(wèi)星中高分一號衛(wèi)星(GF-1)是2013 年發(fā)射的,搭載有2 m 空間分辨率全色相機、8 m 空間分辨率多光譜相機以及16 m 空間分辨率多光譜寬幅相機[18],主要用于陸地監(jiān)測、環(huán)境監(jiān)測。 利用此類遙感數(shù)據(jù)為黃河流域的地理測繪、氣象氣候監(jiān)測、水文泥沙含量監(jiān)測提供數(shù)據(jù)支撐。 表2 全色圖像、多光譜圖像、高光譜圖像的分辨率 空域大數(shù)據(jù)可以從中國遙感數(shù)據(jù)網(wǎng)、地理空間數(shù)據(jù)云、遙感集市數(shù)據(jù)中心、國家綜合地球觀測數(shù)據(jù)共享中心等獲取。 4.1.2 天域大數(shù)據(jù)的探測與采集 隨著數(shù)字化時代的發(fā)展,無人機的應用變得越來越廣泛。 如日常的河流巡航,可以通過無人機的實時拍攝畫面監(jiān)測日常狀況以及突發(fā)狀況。 黃河流域天域大數(shù)據(jù)除了無人機的日常巡檢數(shù)據(jù)、災害巡查視頻數(shù)據(jù)、搭載無人機的傳感器監(jiān)測數(shù)據(jù)外,還有航空的測繪數(shù)據(jù)。 這類數(shù)據(jù)主要通過移動客戶端、設置埋點、數(shù)據(jù)推送、爬蟲等技術進行采集。 4.1.3 地域大數(shù)據(jù)的探測與采集 地域大數(shù)據(jù)主要包括水文泥沙、土壤土質(zhì)、水資源取水耗水情況、水質(zhì)污染狀況等數(shù)據(jù),這些數(shù)據(jù)一部分在各部門機構中,屬于機密信息,一部分是公開數(shù)據(jù),例如全國水雨情網(wǎng)站公布的水雨情信息,國家統(tǒng)計局公布的統(tǒng)計數(shù)據(jù)、年鑒數(shù)據(jù)、資源公報等,這類數(shù)據(jù)采集主要通過系統(tǒng)自動分析網(wǎng)頁抓取或自動讀取,存儲到平臺中。 4.2 大數(shù)據(jù)智能處理技術4.2.1 空天地多源多模數(shù)據(jù)融合技術 多源數(shù)據(jù)融合是將不同來源的數(shù)據(jù)集,通過某種數(shù)學算法,利用各類數(shù)據(jù)在時空分辨率、完整性、精度等方面的互補性[19],綜合各個輸入數(shù)據(jù)集的優(yōu)勢,彌補單個數(shù)據(jù)集的不足。 數(shù)據(jù)融合與單一信源獨自處理相比,其可探測性和可信度更高,時空感知范圍更廣,降低推理模糊程度,增加目標特征的位數(shù),系統(tǒng)的容錯能力也更強[20]。 多模態(tài)數(shù)據(jù)融合可為模型決策提供有力的數(shù)據(jù)支撐,提高決策的準確率[21]。 多模態(tài)數(shù)據(jù)融合的目標是建立能夠處理和關聯(lián)來自多個模態(tài)信息的模型。 多源多模數(shù)據(jù)融合方法見表3。 表3 多源多模數(shù)據(jù)融合方法 4.2.2 空天地大數(shù)據(jù)智能計算 空天地大數(shù)據(jù)智能計算的關鍵技術是數(shù)據(jù)挖掘和預測分析,見表4。 數(shù)據(jù)挖掘技術是大數(shù)據(jù)分析的核心,基本過程主要有數(shù)據(jù)準備、數(shù)據(jù)挖掘、解釋評估和知識運用[23];預測分析技術是利用統(tǒng)計、建模、數(shù)據(jù)挖掘工具對現(xiàn)有數(shù)據(jù)進行更深入的研究,對事態(tài)進行一定的預測[23]。 預測分析是大數(shù)據(jù)平臺的核心應用,而預測分析的效果取決于數(shù)據(jù)的質(zhì)量、采用的技術處理手段以及預測分析的平臺。 表4 大數(shù)據(jù)智能計算關鍵技術分類[23] 4.2.3 空天地多維目標智能識別 三維圖像,甚至多維圖像是在二維目標監(jiān)測的基礎上,增加了識別目標的尺寸、深度、姿態(tài)等信息[24],比二維圖像更有意義,例如通過預估實際位置,自動駕駛的車輛和機器人可以準確地預估和規(guī)劃自己的行為、路徑,這比二維空間的位置更準確。 按照輸入數(shù)據(jù)的不同類型可以將三維目標監(jiān)測數(shù)據(jù)分為單目圖像數(shù)據(jù)、多視圖圖像以及點云數(shù)據(jù)。 根據(jù)傳感器的不同,三維目標監(jiān)測也分為視覺、激光點云和多模態(tài)融合三類[25]。 單目圖像主要用來實現(xiàn)圖像平面的分類與定位,基于單目圖像的三維目標監(jiān)測的實現(xiàn)主要利用三維模型匹配、深度估計網(wǎng)絡等算法去回歸目標的三維幾何信息[24]。 激光點云數(shù)據(jù)相比視覺數(shù)據(jù)具有準確的深度信息,三維空間特征明顯,其缺點是數(shù)據(jù)稀疏時提供的有效空間特征不足[24],不能準確監(jiān)測目標位置。 目前針對激光點云的三維目標監(jiān)測算法為三維空間體素特征法、三維點云投影法,其中三維點云投影法的實現(xiàn)思路是利用坐標維度回歸算法,如圖4 所示。 圖4 三維點云投影法 多視圖圖像一般使用雙目或深度相機采集圖像信息,具有較完整的深度圖信息。 針對多視圖圖像的視覺算法的核心是利用圖像紋理特征、深度特征等進行多特征融合,具體方法有兩種:①采用單目圖像與深度圖像雙通道CNN 融合,如3DOP 監(jiān)測網(wǎng)絡[26]、Stereo R-CNN監(jiān)測網(wǎng)絡[27];②基于三維空間卷積算法,如TLNet 監(jiān)測網(wǎng)絡[28],SurfConv 監(jiān)測網(wǎng)絡[29]。 5 大數(shù)據(jù)平臺在黃河流域生態(tài)保護中的應用5.1 大數(shù)據(jù)平臺專題應用生態(tài)保護監(jiān)測專題,通過大數(shù)據(jù)平臺監(jiān)測了解黃河流域水利、土壤、氣象、植物、動物、微生物等數(shù)據(jù)信息,包括這些數(shù)據(jù)的歷史演變情況,從而找到符合生態(tài)規(guī)律的保護及修復措施,構建黃河流域生命共同體,如圖5 所示。 圖5 大數(shù)據(jù)平臺生態(tài)保護監(jiān)測專題 此外,空天地一體化大數(shù)據(jù)平臺還有7 個專題:①水土保持專題,運用各種措施防治水土流失,保護、改良和合理利用水土資源,建立良好生態(tài)環(huán)境;②污染治理專題,通過監(jiān)控工業(yè)、城鎮(zhèn)生活、農(nóng)業(yè)面源及尾礦庫等4 類污染源,對水質(zhì)做到監(jiān)控、預測、預警;③防汛預警專題,通過無人機監(jiān)測以及降水量的監(jiān)測數(shù)據(jù),實時預警洪澇災害,以最大程度引水避害,減少人員財產(chǎn)損失;④黃河文化專題,利用衛(wèi)星遙感技術,監(jiān)測展示黃河流域游客熱衷的區(qū)域及游客所在的地理區(qū)域,以便提供更好的文化宣傳和服務;⑤氣象專題,監(jiān)測黃河兩岸氣象氣候,及時對農(nóng)業(yè)灌溉、引水調(diào)度提供干旱預警數(shù)據(jù);⑥產(chǎn)業(yè)經(jīng)濟專題,智能分析黃河流域九省(區(qū))的GDP 總量、產(chǎn)業(yè)構成情況、就業(yè)情況、消費支出狀況等,依據(jù)這些指標為黃河流域經(jīng)濟快速發(fā)展提供數(shù)據(jù)支撐;⑦數(shù)字經(jīng)濟專題,通過數(shù)字經(jīng)濟一張圖,直觀掌握黃河流域數(shù)字經(jīng)濟產(chǎn)業(yè)存活狀況、行業(yè)數(shù)字經(jīng)濟狀況、熱門投資數(shù)字經(jīng)濟產(chǎn)業(yè)。 5.2 生態(tài)保護模型評估與預測應用模型的建立是為了更好地分析數(shù)據(jù),得到隱性的分析結果。 在模型評估方面,大數(shù)據(jù)平臺通過DEAMalmquist 模型,對黃河流域的水資源利用效率進行評價[30],從DEA 模型上來看,黃河流域水資源的利用效率總體良好,用水效率呈上升趨勢;從Malmquist 指數(shù)上來看,黃河流域的全要素生產(chǎn)率在波動升高,主要是各個指標在逐漸升高,從而提高水資源利用效率。 其次,構造上級政府、基層河長、公眾三方演化博弈的模型[31],經(jīng)過模型的求解與演化仿真,證明了三方博弈策略選擇行為的演化路徑是穩(wěn)定在均衡點處的策略組合上,來解決黃河流域的違法“四亂”(亂占、亂采、亂堆、亂建)問題。 在模型預測方面,通過構建CNN-LSTM 模型預測小浪底水庫出口溶解氧濃度變化,在預測誤差上,CNN-LSTM的RMSE 指標和MAE 指標分別比堆疊LSTM 模型低10.43%和19.76%。 大數(shù)據(jù)平臺通過對污染源的生命周期進行管理,快速識別排放異常或者超標數(shù)據(jù)[14],通過水質(zhì)分析、水質(zhì)預測分析其產(chǎn)生、變化的原因,幫助環(huán)保部門動態(tài)管理污染源企業(yè),并有針對性地對污染治理提出建議對策。 5.3 生態(tài)保護監(jiān)測評價應用在黃河流域生態(tài)保護中,可以運用空天地一體化大數(shù)據(jù)平臺進行監(jiān)測評價,即進行數(shù)據(jù)長期監(jiān)測、自動傳輸、在線計算和可視化應用。 隨著大數(shù)據(jù)技術的發(fā)展,平臺承載能力的提升,生態(tài)環(huán)境的監(jiān)測也從短期監(jiān)測向長期監(jiān)測轉(zhuǎn)變,從單一要素向多維宏觀結構、時空協(xié)同監(jiān)測轉(zhuǎn)變[32],數(shù)據(jù)平臺的建立簡化了數(shù)據(jù)共享流程。 同時,基于物聯(lián)網(wǎng)傳感技術和動態(tài)監(jiān)測,結合遙感技術和地理信息數(shù)據(jù),構建多模塊的生態(tài)保護服務平臺,在很大程度上促進了生態(tài)環(huán)境監(jiān)測數(shù)據(jù)的管理、共享和評價。 6 結論與展望本文分析了黃河流域空天地一體化生態(tài)大數(shù)據(jù)的含義和面臨的問題,提出黃河流域空天地一體化大數(shù)據(jù)平臺構建的總體框架,通過基礎層、采集層、大數(shù)據(jù)層、分析層、呈現(xiàn)層5 層架構體系的研究,構建了黃河流域空天地一體化大數(shù)據(jù)平臺的總體架構,梳理了建立大數(shù)據(jù)平臺的大數(shù)據(jù)探測與采集、大數(shù)據(jù)智能處理技術等關鍵技術,分析了黃河流域空天地一體化大數(shù)據(jù)平臺在專題展示、模型評估與預測、生態(tài)評價等方面的應用。 建立生態(tài)環(huán)境空天地一體化管理體系,完善綜合防汛預警體系,科學分配水資源,加大流域內(nèi)產(chǎn)業(yè)結構優(yōu)化調(diào)整,加速流域內(nèi)傳統(tǒng)產(chǎn)業(yè)轉(zhuǎn)型,為黃河流域生態(tài)保護和高質(zhì)量發(fā)展做出貢獻,是黃河流域空天地一體化大數(shù)據(jù)平臺的最終目的。 然而平臺的建設面臨的問題也較多,例如:如何協(xié)調(diào)各行業(yè)各部門的利益,把不同領域的跨學科、多源頭、多尺度的黃河流域生態(tài)數(shù)據(jù)聚合共享;如何更多地利用人工智能、區(qū)塊鏈等關鍵技術對數(shù)據(jù)進行信息提取與知識發(fā)現(xiàn);如何更好地利用大數(shù)據(jù)平臺進行生態(tài)、生活預警;如何將大數(shù)據(jù)平臺推廣應用,最終利于生態(tài)、利于人民的社會生活等,都是下一步需要解決的問題。 [1] 水利部黃河水利委員會.黃河流域綜合規(guī)劃(2012—2030年)[M].鄭州:黃河水利出版社,2013:1-5. [2] 習近平.在黃河流域生態(tài)保護和高質(zhì)量發(fā)展座談會上的講話[J].求是,2019(20):4-11. [3] 中共中央,國務院.關于全面加強生態(tài)環(huán)境保護堅決打好污染防治攻堅戰(zhàn)的意見[J].中華人民共和國國務院公報,2018(19):7-16. [4] 紅星楊.政治局集體學習“大數(shù)據(jù)”[J].人民周刊,2018(1):10-11. [5] 王軍.新一代信息技術促進黃河流域生態(tài)保護和高質(zhì)量發(fā)展應用研究[J].人民黃河,2021,43(3):6-10. [6] 孫中平,申文明,張文國,等.生態(tài)環(huán)境立體遙感監(jiān)測大數(shù)據(jù)頂層設計研究[J].環(huán)境保護,2020,48(增刊2):56-60. [7] 舒田,熊康寧.喀斯特石漠化大數(shù)據(jù)平臺架構和技術初探[J].貴州師范大學學報(自然科學版),2020,38(4):18-25. [8] 熊麗君,袁明珠,吳建強.大數(shù)據(jù)技術在生態(tài)環(huán)境領域的應用綜述[J].生態(tài)環(huán)境學報,2019,28(12):2454-2463. [9] LIU X,PAN Y,LI N. Big Data Platform of Provincial Key Basin’s Ecological Environment Information[J].IOP Conference Series: Earth and Environmental Science,2019,295(2):012073. [10] 蔡志洲,袁普金,王森.空天地一體化水土保持監(jiān)測初探[J].人民黃河,2018,40(4):92-95. [11] 張毅,賀桂珍,呂永龍,等.我國生態(tài)環(huán)境大數(shù)據(jù)建設方案實施及其公開效果評估[J].生態(tài)學報,2019,39(4):1290-1299. [12] 沈?qū)W民,承楠,周海波,等.空天地一體化網(wǎng)絡技術:探索與展望[J].物聯(lián)網(wǎng)學報,2020,4(3):3-19. [13] 趙芬,張麗云,趙苗苗,等.生態(tài)環(huán)境大數(shù)據(jù)平臺架構和技術初探[J].生態(tài)學雜志,2017,36(3):824-832. [14] 常杪,馮雁,郭培坤,等.環(huán)境大數(shù)據(jù)概念、特征及在環(huán)境管理中的應用[J].中國環(huán)境管理,2015,7(6):26-30. [15] JOHNSON A C,DONNACHIE R L,SUMPTER J P,et al.An Alternative Approach to Risk Rank Chemicals on the Threat They Pose to the Aquatic Environment[J].Science of the Total Environment,2017,599-600:1372-1381. [16] 馬照亭,劉勇,沈建明,等.智慧城市時空大數(shù)據(jù)平臺建設的問題思考[J].測繪科學,2019,44(6):279-284. [17] 范明,孟小峰.數(shù)據(jù)挖掘概念與技術[M].北京:機械工業(yè)出版社,2007:23-60. [18] 師艷子,李云松,鄭毓軒.國內(nèi)外衛(wèi)星遙感數(shù)據(jù)源綜述[J].衛(wèi)星與網(wǎng)絡,2018(4):54-58. [19] 陳迪,吳文斌,陸苗,等.基于多源數(shù)據(jù)融合的地表覆蓋數(shù)據(jù)重建研究進展綜述[J].中國農(nóng)業(yè)資源與區(qū)劃,2016,37(9):62-70. [20] 祁友杰,王琦.多源數(shù)據(jù)融合算法綜述[J].航天電子對抗,2017,33(6):37-41. [21] 何俊,張彩慶,李小珍,等.面向深度學習的多模態(tài)融合技術研究綜述[J].計算機工程,2020,46(5):1-11. [22] 閆晗晗,邢波濤,任璐,等.遙感數(shù)據(jù)融合技術文獻綜述[J].電子測量技術,2018,41(9):26-36. [23] 高志鵬,牛琨,劉杰.面向大數(shù)據(jù)的分析技術[J].北京郵電大學學報,2015,38(3):1-12. [24] 李宇杰,李煊鵬,張為公.基于視覺的三維目標檢測算法研究綜述[J].計算機工程與應用,2020,56(1):11-24. [25] 沈琦,陳逸倫,劉樞,等.基于兩級網(wǎng)絡的三維目標檢測算法[J].計算機科學,2020,47(10):145-150. [26] CHEN X Z,KUNDU K,ZHU Y K,et al. 3D Object Proposals Using Stereo Imagery for Accurate Object Class Detection[J]. IEEE Transactions on Pattern Analysis &Machine Intelligence,2018,40(5):1259-1272. [27] LI P L,CHEN X Z,SHEN S J. Stereo R-CNN Based 3D Object Detection for Autonomous Driving [J]. Institute of Electrical and Electronics Engineers,2019,15-20:19263032. [28] QIN Z Y,WANG J L,LU Y. Triangulation Learning Network: from Monocular to Stereo 3D Object Detection[J].Computer Vision and Pattern Recognition,2019,6:1906.01193. [29] CHU H,MA W C,KUNDU K,et al. SurfConv: Bridging 3D and 2D Convolution for RGBD Images[J].Computer Vision and Pattern Recognition,2018,9:1812.01519. [30] 買亞宗,孫福麗,石磊,等.基于DEA 的中國工業(yè)水資源利用效率評價研究[J].干旱區(qū)資源與環(huán)境,2014,28(11):42-47. [31] 岳瑜素,王潔方,盧亞麗.黃河泥沙資源利用合作創(chuàng)新的演化博弈模型[J].人民黃河,2017,39(1):21-23,29. [32] CAREY C C,WARD N K,F(xiàn)ARRELL K J,et al. Enhancing Collaboration Between Ecologists and Computer Scientists: Lessons Learned and Recommendations Forward[J].Ecosphere,2019,10(5):5-16. Research on Architecture and Key Technologies of Air-Space-Ground Integrated Big Data Platform Along the Yellow River Basin |