12577 智能數(shù)據(jù)處理（高綱1728）

高綱1728江蘇省高等教育自學(xué)考試大綱12577 智能數(shù)據(jù)處理南京信息工程大學(xué)編（2018年）江蘇省高等教育自學(xué)考試委員會(huì)辦公室Ⅰ 課程性質(zhì)與課程目標(biāo)一、課程性質(zhì)和特點(diǎn)本課程是針對(duì)物聯(lián)網(wǎng)工程專(zhuān)業(yè)開(kāi)設(shè)的專(zhuān)業(yè)必修課，是為從事科學(xué)研究、理論研究、工程實(shí)踐提供基本知識(shí)儲(chǔ)備和基本訓(xùn)練的基礎(chǔ)理論性課程。本課程以理論聯(lián)系實(shí)際為特點(diǎn)介紹設(shè)計(jì)處理、分析和應(yīng)用方法與技術(shù)，是物聯(lián)網(wǎng)工程學(xué)科的重要內(nèi)容、核心與趨勢(shì)。課程通過(guò)系統(tǒng)地分析物聯(lián)網(wǎng)中各類(lèi)感知數(shù)據(jù)的特點(diǎn)及相應(yīng)的事務(wù)處理特性，針對(duì)互聯(lián)網(wǎng)場(chǎng)景下的物聯(lián)網(wǎng)數(shù)據(jù)提出了三層的物聯(lián)網(wǎng)數(shù)據(jù)處理技術(shù)體系。在此基礎(chǔ)上，就相關(guān)技術(shù)發(fā)展進(jìn)行深入的探討和分析。通過(guò)介紹物聯(lián)網(wǎng)相關(guān)應(yīng)用產(chǎn)品，以及這些產(chǎn)品在智能交通、智能電廠、教育、安全監(jiān)控等不同領(lǐng)域的應(yīng)用，使學(xué)生在理論學(xué)習(xí)的基礎(chǔ)上，能夠?qū)ξ锫?lián)網(wǎng)應(yīng)用的開(kāi)發(fā)及兩化融合、工業(yè)4.0環(huán)境下的數(shù)據(jù)處理分析提供重要的指導(dǎo)。通過(guò)本課程內(nèi)容的學(xué)習(xí)，能夠使學(xué)生對(duì)物聯(lián)網(wǎng)大數(shù)據(jù)的發(fā)展、處理、分析、服務(wù)和應(yīng)用的工程化方法有較為系統(tǒng)和完整的理解。以這些內(nèi)容作為對(duì)智能數(shù)據(jù)處理技術(shù)的代表和延伸，旨在傳遞概念、方法和技術(shù)內(nèi)涵與理論，為學(xué)生進(jìn)一步學(xué)習(xí)和研究面向數(shù)據(jù)科學(xué)的方法和技術(shù)提供支撐。本課程的目的主要是培養(yǎng)學(xué)生對(duì)數(shù)據(jù)科學(xué)研究的興趣和數(shù)據(jù)處理的初步能力。培養(yǎng)學(xué)生分析數(shù)據(jù)與處理數(shù)據(jù)的基本能力，并提高數(shù)據(jù)服務(wù)實(shí)踐應(yīng)用的能力。通過(guò)本課程的學(xué)習(xí)，將使得學(xué)生能夠?qū)ξ锫?lián)網(wǎng)產(chǎn)業(yè)及數(shù)據(jù)處理相關(guān)技術(shù)有初步的認(rèn)識(shí)，對(duì)物聯(lián)網(wǎng)大數(shù)據(jù)處理和分析有進(jìn)一步的理解，并獲得更多實(shí)踐的體會(huì)。最后，通過(guò)本課程的學(xué)習(xí)，還將加深物聯(lián)網(wǎng)工程專(zhuān)業(yè)的學(xué)生對(duì)本專(zhuān)業(yè)基本理論的理解及科學(xué)解決本專(zhuān)業(yè)相關(guān)問(wèn)題的能力。二、課程目標(biāo)作為物聯(lián)網(wǎng)工程專(zhuān)業(yè)的專(zhuān)業(yè)主干課，要求學(xué)生了解物聯(lián)網(wǎng)大數(shù)據(jù)的源起與發(fā)展趨勢(shì)，物聯(lián)網(wǎng)大數(shù)據(jù)處理的挑戰(zhàn)和相應(yīng)的計(jì)算體系；熟悉感知數(shù)據(jù)特性與模型，以及相應(yīng)的物聯(lián)網(wǎng)感知數(shù)控系統(tǒng)；掌握物聯(lián)網(wǎng)感知數(shù)據(jù)庫(kù)系統(tǒng)的設(shè)計(jì)、關(guān)鍵技術(shù)及部署體系；能夠面對(duì)物聯(lián)網(wǎng)感知數(shù)據(jù)處理的實(shí)時(shí)性需求給出解決辦法，對(duì)實(shí)時(shí)性事務(wù)的實(shí)時(shí)調(diào)度、并發(fā)控制及事務(wù)的執(zhí)行模式與框架有深入的理解，從而為這類(lèi)系統(tǒng)的開(kāi)發(fā)實(shí)現(xiàn)提供有價(jià)值的參考；領(lǐng)會(huì)物聯(lián)網(wǎng)大數(shù)據(jù)在云端的存儲(chǔ)管理，了解物聯(lián)網(wǎng)大數(shù)據(jù)的計(jì)算與分析技術(shù)；了解物聯(lián)網(wǎng)大數(shù)據(jù)處理的三個(gè)層次中對(duì)應(yīng)的產(chǎn)品以及這些產(chǎn)品的成功應(yīng)用案例，為開(kāi)展物聯(lián)網(wǎng)大數(shù)據(jù)的實(shí)際應(yīng)用工作打下基礎(chǔ)。本課程的目標(biāo)大致包括：1．掌握物聯(lián)網(wǎng)大數(shù)據(jù)的概念、特征、技術(shù)體系及相關(guān)關(guān)鍵技術(shù)；2．熟悉物聯(lián)網(wǎng)數(shù)據(jù)處理的應(yīng)用背景，對(duì)數(shù)據(jù)處理對(duì)象所在的系統(tǒng)完整過(guò)程有較全面的認(rèn)識(shí)，對(duì)數(shù)據(jù)處理之前的過(guò)程有基本的理解；3.熟悉智能數(shù)據(jù)處理的應(yīng)用情況，在感知數(shù)據(jù)庫(kù)系統(tǒng)與云平臺(tái)的基礎(chǔ)上，通過(guò)數(shù)據(jù)處理在智能交通、智能電廠、教育、安全監(jiān)控等領(lǐng)域的應(yīng)用案例學(xué)習(xí)，理解物聯(lián)網(wǎng)感知、傳輸、處理三個(gè)階段的特點(diǎn)和詳細(xì)過(guò)程。三、與相關(guān)課程的聯(lián)系與區(qū)別《智能數(shù)據(jù)處理》是江蘇省高等教育自學(xué)考試物聯(lián)網(wǎng)工程專(zhuān)業(yè)（本科段）必修的專(zhuān)業(yè)課程，與物聯(lián)網(wǎng)工程專(zhuān)業(yè)的許多其他課程有著密切的關(guān)系?！队?jì)算機(jī)技術(shù)基礎(chǔ)》、《數(shù)據(jù)庫(kù)技術(shù)》、《數(shù)據(jù)通信與網(wǎng)絡(luò)》等課程是本課程的基礎(chǔ)。四、課程的重點(diǎn)和難點(diǎn)本課程的重點(diǎn)之一是物聯(lián)網(wǎng)大數(shù)據(jù)處理的關(guān)鍵技術(shù)，包括物聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)體系、感知數(shù)據(jù)特性與模型、感知數(shù)據(jù)庫(kù)管理系統(tǒng)、實(shí)時(shí)事務(wù)調(diào)度處理技術(shù)、物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理、物聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)與分析幾部分內(nèi)容，尤其是物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理、物聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)與分析部分，需要掌握其技術(shù)細(xì)節(jié)。本課程的重點(diǎn)之二是物聯(lián)網(wǎng)大數(shù)據(jù)處理對(duì)象的應(yīng)用產(chǎn)品研發(fā)，包括物聯(lián)網(wǎng)網(wǎng)關(guān)CubeOne，ChinaDB感知數(shù)據(jù)庫(kù)系統(tǒng)，DeCloud物聯(lián)網(wǎng)大數(shù)據(jù)云平臺(tái)幾部分內(nèi)容。需要熟悉這些產(chǎn)品的組成結(jié)構(gòu)、功能特點(diǎn)及數(shù)據(jù)處理技術(shù)。本課程的難點(diǎn)是物聯(lián)網(wǎng)大數(shù)據(jù)處理的關(guān)鍵技術(shù)，包括感知數(shù)據(jù)庫(kù)管理系統(tǒng)、實(shí)時(shí)事務(wù)調(diào)度處理技術(shù)、物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理、物聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)與分析幾部分內(nèi)容。尤其是物聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)與分析部分，對(duì)物聯(lián)網(wǎng)大數(shù)據(jù)批處理技術(shù)、物聯(lián)網(wǎng)大數(shù)據(jù)交互式查詢(xún)、物聯(lián)網(wǎng)大數(shù)據(jù)流式計(jì)算、物聯(lián)網(wǎng)大數(shù)據(jù)分析等內(nèi)容，需要深入掌握各類(lèi)技術(shù)細(xì)節(jié)。Ⅱ 考核目標(biāo)本大綱在考核目標(biāo)中，按照識(shí)記、領(lǐng)會(huì)、簡(jiǎn)單應(yīng)用和綜合應(yīng)用四個(gè)層次規(guī)定其應(yīng)達(dá)到的能力層次要求。四個(gè)能力層次是遞進(jìn)關(guān)系，各能力層次的含義是：識(shí)記（Ⅰ）：要求考生能夠識(shí)別和記憶本課程中有關(guān)物聯(lián)網(wǎng)數(shù)據(jù)處理的相關(guān)名詞、概念、知識(shí)的含義，并能夠根據(jù)考核的不同要求，進(jìn)行正確的表述和選擇。領(lǐng)會(huì)（Ⅱ）：要求考生能夠領(lǐng)悟和理解本課程中有關(guān)物聯(lián)網(wǎng)的概念、理論和方法技巧的內(nèi)涵及外延，能夠鑒別關(guān)于概念和特性的似是而非的說(shuō)法，理解相關(guān)物聯(lián)網(wǎng)知識(shí)的區(qū)別和聯(lián)系，能根據(jù)考核的不同要求對(duì)相關(guān)物聯(lián)網(wǎng)數(shù)據(jù)處理知識(shí)進(jìn)行論證，做出正確的解釋和說(shuō)明。此外；并能根據(jù)考核的不同要求分析各種不同領(lǐng)域或背景下所使用的數(shù)據(jù)處理和分析技術(shù)簡(jiǎn)單應(yīng)用（Ⅲ）：要求考生能夠根據(jù)已知的物聯(lián)網(wǎng)數(shù)據(jù)處理對(duì)象的一個(gè)應(yīng)用需求或應(yīng)用背景，提出可以采用的數(shù)據(jù)處理技術(shù)，比如感知數(shù)據(jù)庫(kù)管理方面、實(shí)時(shí)事務(wù)調(diào)度管理方面、大數(shù)據(jù)存儲(chǔ)與管理方面、大數(shù)據(jù)分析方法等。能夠分析和解決有關(guān)的物聯(lián)網(wǎng)大數(shù)據(jù)理論問(wèn)題和實(shí)際問(wèn)題，并得出正確的結(jié)論。綜合應(yīng)用（Ⅳ）：要求考生能夠根據(jù)已知的物聯(lián)網(wǎng)大數(shù)據(jù)的多個(gè)知識(shí)點(diǎn)，分析和解決有關(guān)的物聯(lián)網(wǎng)理論問(wèn)題和實(shí)際問(wèn)題，并得出解決問(wèn)題的綜合方案。對(duì)物聯(lián)網(wǎng)大數(shù)據(jù)處理的相關(guān)應(yīng)用具有一定的分析和設(shè)計(jì)能力，在相關(guān)產(chǎn)品的組成結(jié)構(gòu)、功能特點(diǎn)及數(shù)據(jù)處理技術(shù)方面具有一些基本的見(jiàn)解。Ⅲ 課程內(nèi)容與考核要求第一章 物聯(lián)網(wǎng)與產(chǎn)業(yè)發(fā)展一、學(xué)習(xí)目的與要求通過(guò)本章學(xué)習(xí)，要求了解物聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展歷史，理解傳感器與智能硬件的概念，了解物聯(lián)網(wǎng)服務(wù)平臺(tái)，了解工業(yè)4.0與CPS；理解物聯(lián)網(wǎng)與大數(shù)據(jù)的概念及關(guān)系；理解物聯(lián)網(wǎng)產(chǎn)業(yè)面臨的挑戰(zhàn)，理解物聯(lián)網(wǎng)操作系統(tǒng)與數(shù)據(jù)庫(kù)，理解物聯(lián)網(wǎng)大數(shù)據(jù)處理與應(yīng)用。二、課程內(nèi)容（考試內(nèi)容）1.1聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展 1.1.1傳感器與智能硬件 1.1.2物聯(lián)網(wǎng)服務(wù)平臺(tái) 1.1.3工業(yè)4.0與CPS1.2物聯(lián)網(wǎng)與大數(shù)據(jù)1.3物聯(lián)網(wǎng)產(chǎn)業(yè)的機(jī)遇與挑戰(zhàn) 1.3.1物聯(lián)網(wǎng)產(chǎn)業(yè)面臨的挑戰(zhàn) 1.3.2物聯(lián)網(wǎng)操作系統(tǒng)與數(shù)據(jù)庫(kù) 1.3.3物聯(lián)網(wǎng)大數(shù)據(jù)處理與應(yīng)用三、考核知識(shí)點(diǎn)與考核要求1. 物聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展領(lǐng)會(huì)：傳感器與智能硬件。簡(jiǎn)單應(yīng)用：物聯(lián)網(wǎng)服務(wù)平臺(tái)，工業(yè)4.0與CPS2. 物聯(lián)網(wǎng)與大數(shù)據(jù)領(lǐng)會(huì)：物聯(lián)網(wǎng)與大數(shù)據(jù)的概念、關(guān)系、作用意義。3. 物聯(lián)網(wǎng)產(chǎn)業(yè)的機(jī)遇與挑戰(zhàn)領(lǐng)會(huì)：物聯(lián)網(wǎng)產(chǎn)業(yè)面臨的挑戰(zhàn)，物聯(lián)網(wǎng)操作系統(tǒng)與數(shù)據(jù)庫(kù)，物聯(lián)網(wǎng)大數(shù)據(jù)處理與應(yīng)用。四、本章關(guān)鍵問(wèn)題物聯(lián)網(wǎng)與大數(shù)據(jù)，物聯(lián)網(wǎng)操作系統(tǒng)與數(shù)據(jù)庫(kù)，物聯(lián)網(wǎng)大數(shù)據(jù)處理與應(yīng)用。第二章 大數(shù)據(jù)處理技術(shù)的發(fā)展一、學(xué)習(xí)目的與要求通過(guò)本章學(xué)習(xí)，掌握大數(shù)據(jù)的基本概念及其剖析過(guò)程，理解大數(shù)據(jù)的若干關(guān)鍵技術(shù)，并進(jìn)行適當(dāng)?shù)目偨Y(jié)，理解大數(shù)據(jù)技術(shù)對(duì)整個(gè)產(chǎn)業(yè)鏈的調(diào)整和重構(gòu)，對(duì)經(jīng)濟(jì)轉(zhuǎn)型的推動(dòng)作用。理解大數(shù)據(jù)技術(shù)為發(fā)展物聯(lián)網(wǎng)等新興產(chǎn)業(yè)和促進(jìn)傳統(tǒng)產(chǎn)業(yè)升級(jí)提供的基礎(chǔ)作用。了解大數(shù)據(jù)面臨的挑戰(zhàn)，尤其是其規(guī)模效應(yīng)給數(shù)據(jù)存儲(chǔ)、管理及分析所帶來(lái)的巨大壓力，了解大數(shù)據(jù)技術(shù)的發(fā)展趨勢(shì)。本章要求從三個(gè)方面學(xué)習(xí)大數(shù)據(jù)處理技術(shù)的發(fā)展，包括大數(shù)據(jù)存儲(chǔ)和管理技術(shù)，大數(shù)據(jù)計(jì)算技術(shù)和大數(shù)據(jù)分析技術(shù)。二、課程內(nèi)容（考試內(nèi)容）2.1大數(shù)據(jù)存儲(chǔ)和管理技術(shù) 2.1.1面向大數(shù)據(jù)的文件系統(tǒng) 2.1.2面向大數(shù)據(jù)的數(shù)據(jù)庫(kù)系統(tǒng)2.2大數(shù)據(jù)計(jì)算技術(shù) 2.2．1批處理計(jì)算模式 2.2.2交互式查詢(xún)計(jì)算模式 2.2.3流處理計(jì)算模式 2.2.4大數(shù)據(jù)實(shí)時(shí)處理的框架：Lambda架構(gòu)2.3大數(shù)據(jù)分析技術(shù) 2.3.1傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)分析 2.3.2文本數(shù)據(jù)分析 2.3.3多媒體數(shù)據(jù)分析 2.3.4社交網(wǎng)絡(luò)數(shù)據(jù)分析 2.3.5物聯(lián)網(wǎng)傳感數(shù)據(jù)分析 2.3.6大數(shù)據(jù)分析技術(shù)的發(fā)展趨勢(shì)三、考核知識(shí)點(diǎn)與考核要求1. 大數(shù)據(jù)存儲(chǔ)和管理技術(shù)識(shí)記：三類(lèi)面向大數(shù)據(jù)的數(shù)據(jù)庫(kù)系統(tǒng)。領(lǐng)會(huì)：面向大數(shù)據(jù)的文件系統(tǒng)，面向大數(shù)據(jù)的數(shù)據(jù)庫(kù)系統(tǒng)的基本思想和應(yīng)用。2. 大數(shù)據(jù)計(jì)算技術(shù)識(shí)記：大數(shù)據(jù)的兩類(lèi)處理模式；流處理計(jì)算模式的概念和兩種典型的處理方式。領(lǐng)會(huì)：批量數(shù)據(jù)的3個(gè)特征。簡(jiǎn)單應(yīng)用：MapReduce編程模型，理解其技術(shù)優(yōu)勢(shì)和局限性；交互式數(shù)據(jù)處理的代表系統(tǒng)Spark系統(tǒng)、Dremel系統(tǒng)；流式數(shù)據(jù)處理的典型應(yīng)用Storm系統(tǒng)、Samza系統(tǒng)、Spark Streaming系統(tǒng)；大數(shù)據(jù)實(shí)時(shí)處理的框架：Lambda架構(gòu)。3. 大數(shù)據(jù)分析技術(shù)識(shí)記：針對(duì)不同數(shù)據(jù)類(lèi)型，所采用的大數(shù)據(jù)分析技術(shù)；文本分析技術(shù)中的信息提取、主題建模、摘要、分類(lèi)、聚類(lèi)、問(wèn)答系統(tǒng)和觀點(diǎn)挖掘技術(shù)。領(lǐng)會(huì)：大數(shù)據(jù)分析技術(shù)的必要性；傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)分析；文本數(shù)據(jù)分析；多媒體數(shù)據(jù)分析；社交網(wǎng)絡(luò)數(shù)據(jù)分析；物聯(lián)網(wǎng)傳感數(shù)據(jù)分析；大數(shù)據(jù)分析技術(shù)的發(fā)展趨勢(shì)四、本章關(guān)鍵問(wèn)題面向大數(shù)據(jù)的數(shù)據(jù)庫(kù)系統(tǒng)、批處理計(jì)算模式、大數(shù)據(jù)實(shí)時(shí)處理的架構(gòu)Lambda架構(gòu)、大數(shù)據(jù)分析技術(shù)。第2篇 技術(shù)解析篇第三章 物聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)體系一、學(xué)習(xí)目的與要求本章包括物聯(lián)網(wǎng)中的大數(shù)據(jù)挑戰(zhàn)和技術(shù)體系。通過(guò)本章學(xué)習(xí)，對(duì)物聯(lián)網(wǎng)中產(chǎn)生的感知數(shù)據(jù)發(fā)展有較為深入的理解，了解從工業(yè)企業(yè)自動(dòng)化生產(chǎn)線(xiàn)及設(shè)備上的運(yùn)行數(shù)據(jù)，以及隨著工業(yè)4.0推進(jìn)而帶來(lái)的數(shù)據(jù)爆炸，感知數(shù)據(jù)呈現(xiàn)幾何級(jí)數(shù)增長(zhǎng)的數(shù)量對(duì)物聯(lián)網(wǎng)大數(shù)據(jù)的獲取、傳輸、存儲(chǔ)、分析、挖掘及應(yīng)用面臨的各種挑戰(zhàn)。理解互聯(lián)網(wǎng)大數(shù)據(jù)和物聯(lián)網(wǎng)大數(shù)據(jù)的異同，掌握物聯(lián)網(wǎng)大數(shù)據(jù)的特征5HV。了解物聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用面臨的技術(shù)需求及價(jià)值目標(biāo)，及在此基礎(chǔ)上進(jìn)一步提出的面向物聯(lián)網(wǎng)大數(shù)據(jù)進(jìn)行處理分析的技術(shù)體系。掌握感知數(shù)據(jù)的概念，掌握物聯(lián)網(wǎng)應(yīng)用中的兩種數(shù)據(jù)即結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。掌握物聯(lián)網(wǎng)中感知數(shù)據(jù)處理的三個(gè)層次，感知數(shù)據(jù)的采集與傳輸、感知數(shù)據(jù)管理與實(shí)時(shí)計(jì)算、物聯(lián)網(wǎng)平臺(tái)與大數(shù)據(jù)中心。二、課程內(nèi)容（考試內(nèi)容）3.1物聯(lián)網(wǎng)中的大數(shù)據(jù)挑戰(zhàn) 3.1.1互聯(lián)網(wǎng)大數(shù)據(jù)的特征 3.1.2物聯(lián)網(wǎng)大數(shù)據(jù)的特征3.2技術(shù)體系 3.2.1感知數(shù)據(jù)采集與傳輸 3.2.2感知數(shù)據(jù)管理與實(shí)時(shí)計(jì)算 3.2.3物聯(lián)網(wǎng)平臺(tái)與大數(shù)據(jù)中心三、考核知識(shí)點(diǎn)與考核要求1. 物聯(lián)網(wǎng)中的大數(shù)據(jù)挑戰(zhàn)識(shí)記：互聯(lián)網(wǎng)大數(shù)據(jù)的特征5V；物聯(lián)網(wǎng)大數(shù)據(jù)的特征5HV。領(lǐng)會(huì)：數(shù)據(jù)的可視化；工業(yè)大數(shù)據(jù)分析技術(shù)所需解決的”3B”問(wèn)題；物聯(lián)網(wǎng)大數(shù)據(jù)的管理與處理分析需要解決的問(wèn)題與挑戰(zhàn)；感知數(shù)據(jù)管理與實(shí)時(shí)計(jì)算。2. 技術(shù)體系識(shí)記：感知數(shù)據(jù)采集與傳輸所實(shí)現(xiàn)的功能；物聯(lián)網(wǎng)網(wǎng)關(guān)的分類(lèi)；物聯(lián)網(wǎng)網(wǎng)關(guān)需要具備的能力。領(lǐng)會(huì)：感知數(shù)據(jù)處理的三層體系結(jié)構(gòu)；。簡(jiǎn)單應(yīng)用：物聯(lián)網(wǎng)大數(shù)據(jù)處理平臺(tái)的部署；物聯(lián)網(wǎng)平臺(tái)。四、本章關(guān)鍵問(wèn)題互聯(lián)網(wǎng)大數(shù)據(jù)與物聯(lián)網(wǎng)大數(shù)據(jù)的特征、異同點(diǎn)，感知數(shù)據(jù)采集與傳輸，物聯(lián)網(wǎng)平臺(tái)與大數(shù)據(jù)中心。第四章 感知數(shù)據(jù)特性與模型一、學(xué)習(xí)目的與要求通過(guò)本章學(xué)習(xí)，理解感知數(shù)據(jù)的特性，掌握感知數(shù)據(jù)的表示，理解感知數(shù)據(jù)模型。掌握感知數(shù)據(jù)庫(kù)的定義，能夠?qū)Ω兄獢?shù)據(jù)庫(kù)與傳統(tǒng)數(shù)據(jù)庫(kù)及NoSQL的異同進(jìn)行簡(jiǎn)要的分析，掌握感知數(shù)據(jù)庫(kù)系統(tǒng)與傳統(tǒng)的流數(shù)據(jù)處理系統(tǒng)共同點(diǎn)和差異之處。 二、課程內(nèi)容（考試內(nèi)容）4.1 感知數(shù)據(jù)的特性分析4.1.1 常用的感知數(shù)據(jù)類(lèi)型4.1.2 感知數(shù)據(jù)的主要特征4.2 感知數(shù)據(jù)的表示與組織4.2.1 物聯(lián)網(wǎng)數(shù)據(jù)模型4.2.2 時(shí)態(tài)對(duì)象模型4.3 感知數(shù)據(jù)庫(kù)的定位4.3.1 感知數(shù)據(jù)庫(kù)的定位4.3.2 感知數(shù)據(jù)庫(kù)的特征4.4 感知數(shù)據(jù)庫(kù)與傳統(tǒng)數(shù)據(jù)庫(kù)4.4.1 感知數(shù)據(jù)庫(kù)與關(guān)系數(shù)據(jù)庫(kù)4.4.2 感知數(shù)據(jù)庫(kù)與實(shí)時(shí)數(shù)據(jù)庫(kù)系統(tǒng)4.4.3 感知數(shù)據(jù)庫(kù)與工廠數(shù)據(jù)庫(kù)系統(tǒng)4.4.4 感知數(shù)據(jù)庫(kù)與流數(shù)據(jù)處理系統(tǒng)三、考核知識(shí)點(diǎn)與考核要求1. 感知數(shù)據(jù)的特性分析識(shí)記：常用的感知數(shù)據(jù)類(lèi)型，感知數(shù)據(jù)的主要特征。領(lǐng)會(huì)：時(shí)態(tài)屬性帶來(lái)數(shù)據(jù)時(shí)態(tài)一致性要求所包括的兩個(gè)方面，事件觸發(fā)中的兩類(lèi)事件。2. 感知數(shù)據(jù)的表示與組織識(shí)記：感知對(duì)象的屬性。領(lǐng)會(huì)：物聯(lián)網(wǎng)數(shù)據(jù)模型，時(shí)態(tài)對(duì)象數(shù)據(jù)模型。簡(jiǎn)單應(yīng)用：OPC對(duì)象模型。3. 感知數(shù)據(jù)庫(kù)的定位識(shí)記：感知數(shù)據(jù)庫(kù)的定位。領(lǐng)會(huì)：感知數(shù)據(jù)庫(kù)的功能定位，感知數(shù)據(jù)庫(kù)的基本特征。4. 感知數(shù)據(jù)庫(kù)與傳統(tǒng)數(shù)據(jù)庫(kù)識(shí)記：流數(shù)據(jù)的概念，流數(shù)據(jù)應(yīng)用需求的例子。領(lǐng)會(huì)：關(guān)系數(shù)據(jù)庫(kù)和感知數(shù)據(jù)庫(kù)的對(duì)比，感知數(shù)據(jù)庫(kù)與實(shí)時(shí)數(shù)據(jù)庫(kù)系統(tǒng)，感知數(shù)據(jù)庫(kù)與工廠數(shù)據(jù)庫(kù)系統(tǒng)，感知數(shù)據(jù)庫(kù)與流數(shù)據(jù)處理系統(tǒng)，流數(shù)據(jù)處理系統(tǒng)的需求來(lái)源，感知數(shù)據(jù)庫(kù)系統(tǒng)與傳統(tǒng)的流數(shù)據(jù)處理系統(tǒng)共同點(diǎn)和差異之處。四、本章關(guān)鍵問(wèn)題感知數(shù)據(jù)的特性分析，物聯(lián)網(wǎng)數(shù)據(jù)模型，時(shí)態(tài)對(duì)象數(shù)據(jù)模型，感知數(shù)據(jù)庫(kù)的功能定位和基本特征，感知數(shù)據(jù)庫(kù)系統(tǒng)與傳統(tǒng)的流數(shù)據(jù)處理系統(tǒng)共同點(diǎn)和差異之處。第五章 感知數(shù)據(jù)庫(kù)管理系統(tǒng)一、學(xué)習(xí)目的與要求基于感知數(shù)據(jù)的特征需求，本章闡述感知數(shù)據(jù)庫(kù)系統(tǒng)的設(shè)計(jì)、架構(gòu)及其中的關(guān)鍵技術(shù)。通過(guò)本章學(xué)習(xí)，掌握感知數(shù)據(jù)庫(kù)系統(tǒng)的設(shè)計(jì)原則和設(shè)計(jì)框架。掌握感知數(shù)據(jù)庫(kù)的分布部署在系統(tǒng)分級(jí)、分區(qū)管理的需求，以及在高性能與高可用性上的需求，理解系統(tǒng)高可用性的分布部署模式是整個(gè)系統(tǒng)分布部署的基礎(chǔ)環(huán)節(jié)。理解感知數(shù)據(jù)庫(kù)所面臨的數(shù)據(jù)多元性及處理需求的特殊性，掌握感知數(shù)據(jù)庫(kù)系統(tǒng)設(shè)計(jì)中多方面的關(guān)鍵技術(shù)，從數(shù)據(jù)采集到數(shù)據(jù)存儲(chǔ)管理，以及數(shù)據(jù)處理、查詢(xún)?cè)L問(wèn)的多個(gè)方面。在概念掌握之外，要求對(duì)各種模型、體系結(jié)構(gòu)、算法等有較多的理解。二、課程內(nèi)容（考試內(nèi)容）5.1 感知數(shù)據(jù)庫(kù)的總體設(shè)計(jì)5.1.1 總體設(shè)計(jì)的主要原則5.1.2 感知數(shù)據(jù)庫(kù)的設(shè)計(jì)框架5.2 感知數(shù)據(jù)庫(kù)的分布部署體系5.2.1 系統(tǒng)的集群部署模式5.2.2 多層級(jí)的系統(tǒng)部署體系5.2.3 服務(wù)分布的部署體系5.3 感知數(shù)據(jù)庫(kù)中的關(guān)鍵技術(shù)5.3.1 智能設(shè)備及傳感器接口技術(shù) 5.3.2 流數(shù)據(jù)實(shí)時(shí)在線(xiàn)處理技術(shù)5.3.3 事件驅(qū)動(dòng)的高效處理機(jī)制5.3.4 感知數(shù)據(jù)的壓縮存儲(chǔ)技術(shù)三、考核知識(shí)點(diǎn)與考核要求1．感知數(shù)據(jù)庫(kù)的總體設(shè)計(jì)識(shí)記：感知數(shù)據(jù)庫(kù)系統(tǒng)的設(shè)計(jì)需要滿(mǎn)足及遵循的原則，網(wǎng)閘設(shè)計(jì)及其結(jié)構(gòu)。領(lǐng)會(huì)：數(shù)據(jù)采集協(xié)調(diào)器，數(shù)據(jù)組織管理器，內(nèi)存數(shù)據(jù)管理器，歷史數(shù)據(jù)管理器，實(shí)時(shí)事務(wù)調(diào)度中心，數(shù)據(jù)訂閱/發(fā)布中心，數(shù)據(jù)同步服務(wù)器，內(nèi)網(wǎng)處理單元，外網(wǎng)處理單元，隔離與交換控制單元，日志管理器，應(yīng)用接口服務(wù)器。簡(jiǎn)單應(yīng)用：感知數(shù)據(jù)庫(kù)的設(shè)計(jì)框架。2．感知數(shù)據(jù)庫(kù)的分布部署體系識(shí)記：兩種不同標(biāo)準(zhǔn)下的集群分類(lèi)，高性能集群的目的、應(yīng)用環(huán)境，負(fù)載均衡集群概念、目的、應(yīng)用場(chǎng)合，高可用性集群概念、應(yīng)用領(lǐng)域，數(shù)據(jù)庫(kù)集群的實(shí)現(xiàn)方式。領(lǐng)會(huì)：幾種典型數(shù)據(jù)庫(kù)集群如Oracle實(shí)時(shí)應(yīng)用集群（RAC）、IBM DB2，MSCS和鏡像等，多層次的系統(tǒng)部署體系，服務(wù)分布的部署體系。簡(jiǎn)單應(yīng)用：雙機(jī)熱備與鏡像，數(shù)據(jù)庫(kù)系統(tǒng)的雙機(jī)部署模式，多點(diǎn)集群，數(shù)據(jù)庫(kù)系統(tǒng)的三級(jí)部署體系，感知數(shù)據(jù)庫(kù)系統(tǒng)的服務(wù)分布部署體系。3. 感知數(shù)據(jù)庫(kù)中的關(guān)鍵技術(shù)識(shí)記：插件特點(diǎn)，感知數(shù)據(jù)庫(kù)工作原理（結(jié)合圖文），事件驅(qū)動(dòng)系統(tǒng)，事件驅(qū)動(dòng)框架（EDA）概念，給予訂閱/發(fā)布的實(shí)時(shí)消息通信體系提供的功能，在線(xiàn)壓縮技術(shù)更加有效的幾種情況。領(lǐng)會(huì)：智能設(shè)備及傳感器接口技術(shù)，感知數(shù)據(jù)采集協(xié)調(diào)器的框架和插件模型，感知數(shù)據(jù)采集協(xié)調(diào)器的數(shù)據(jù)交互模型，感知數(shù)據(jù)的流數(shù)據(jù)處理典型特征，流數(shù)據(jù)在線(xiàn)處理過(guò)程針對(duì)采集的數(shù)據(jù)進(jìn)行的常規(guī)處理內(nèi)容，EDA特點(diǎn)，數(shù)據(jù)的訂閱/發(fā)布，消息的調(diào)度對(duì)消息傳輸?shù)挠绊?，?fù)合事件處理技術(shù)，規(guī)則語(yǔ)言和持續(xù)查詢(xún)語(yǔ)言的比較，用復(fù)雜事件處理技術(shù)替代普通編程語(yǔ)言來(lái)實(shí)現(xiàn)應(yīng)用的好處，感知數(shù)據(jù)的壓縮存儲(chǔ)技術(shù)，數(shù)據(jù)存儲(chǔ)管理采用的管理體制，數(shù)據(jù)在線(xiàn)壓縮技術(shù)，感知數(shù)據(jù)的索引技術(shù)。簡(jiǎn)單應(yīng)用：系統(tǒng)文件隊(duì)列支持定制的舉例（SEG-Y或SEG-D），數(shù)據(jù)在線(xiàn)壓縮技術(shù)中的死去壓縮算法，旋轉(zhuǎn)門(mén)趨勢(shì)化（SDT）算法。四、本章關(guān)鍵問(wèn)題感知數(shù)據(jù)采集協(xié)調(diào)器的框架和插件模型，感知數(shù)據(jù)采集協(xié)調(diào)器的數(shù)據(jù)交互模型，感知數(shù)據(jù)庫(kù)的分布部署體系，感知數(shù)據(jù)的流數(shù)據(jù)處理，復(fù)合事件處理技術(shù)，數(shù)據(jù)在線(xiàn)壓縮技術(shù)，感知數(shù)據(jù)的索引技術(shù)。第六章 實(shí)時(shí)事務(wù)調(diào)度處理技術(shù)一、學(xué)習(xí)目的與要求本章主要針對(duì)物聯(lián)網(wǎng)、工業(yè)4.0、智能制造等理念及產(chǎn)業(yè)的發(fā)展中物物之間及人與物之間越來(lái)越強(qiáng)的的感知與交互需求，分析感知事物的特性，探討感知事務(wù)的調(diào)度方法及并發(fā)控制方法，基于目前硬件的計(jì)算能力與系統(tǒng)架構(gòu)，提出可行的、優(yōu)化的實(shí)時(shí)事務(wù)執(zhí)行框架及模式。通過(guò)本章學(xué)習(xí)，掌握常見(jiàn)事務(wù)及其特性，理解事務(wù)調(diào)度方法和并發(fā)控制策略，理解服務(wù)器體系結(jié)構(gòu)與發(fā)展過(guò)程，了解操作系統(tǒng)的多任務(wù)機(jī)制,理解事務(wù)的執(zhí)行框架與模式，了解系統(tǒng)框架的分析與性能優(yōu)化。二、課程內(nèi)容（考試內(nèi)容）6.1 常見(jiàn)事務(wù)特性分析6.1.1 感知事務(wù)6.1.2 觸發(fā)事務(wù)6.1.3 用戶(hù)事務(wù)6.2 事務(wù)調(diào)度與并發(fā)控制6.2.1 事務(wù)的調(diào)度方法6.2.2 并發(fā)控制策略6.3 服務(wù)器與操作系統(tǒng)6.3.1 服務(wù)器體系結(jié)構(gòu)與發(fā)展6.3.2 操作系統(tǒng)的多任務(wù)機(jī)制6.4 事務(wù)的執(zhí)行框架與模式6.4.1 通用系統(tǒng)模型與調(diào)度方法6.4.2 事務(wù)處理框架的設(shè)計(jì)模式6.5 系統(tǒng)框架的分析與性能優(yōu)化三、考核知識(shí)點(diǎn)與考核要求1．常見(jiàn)事務(wù)特性分析識(shí)記：事務(wù)分類(lèi)，感知事務(wù)、觸發(fā)事務(wù)、用戶(hù)事務(wù)的概念，觸發(fā)事務(wù)分類(lèi)。領(lǐng)會(huì)：觸發(fā)事務(wù)的任務(wù)和特點(diǎn)。2．事務(wù)調(diào)度與并發(fā)控制識(shí)記：事務(wù)調(diào)度的目標(biāo)，方法的目的，領(lǐng)會(huì)：事務(wù)調(diào)度和控制的過(guò)程，并發(fā)控制策略。3．服務(wù)器與操作系統(tǒng)識(shí)記：商用服務(wù)器分類(lèi)，持續(xù)、進(jìn)程與線(xiàn)程的概念。領(lǐng)會(huì)：SMP體系結(jié)構(gòu)的概念及特征，NUMA體系結(jié)構(gòu)的概念及特征,MPP體系結(jié)構(gòu)的概念及特征,NUMA和MPP的比較（異同點(diǎn)），進(jìn)程與線(xiàn)程的關(guān)系。簡(jiǎn)單應(yīng)用：Linux操作系統(tǒng)體系結(jié)構(gòu)，Linux進(jìn)程調(diào)度原理。4．事務(wù)的執(zhí)行框架與模式識(shí)記：數(shù)據(jù)分類(lèi)。領(lǐng)會(huì)：通用的數(shù)據(jù)庫(kù)系統(tǒng)模型（結(jié)合圖文），通用系統(tǒng)模型與調(diào)度方法，事務(wù)處理框架的設(shè)計(jì)模式，單進(jìn)程多線(xiàn)程模式，單進(jìn)程多線(xiàn)程的事務(wù)調(diào)度處理框架，基于功能劃分的多進(jìn)程模式，基于功能劃分的數(shù)據(jù)庫(kù)多進(jìn)程系統(tǒng)模型，基于數(shù)據(jù)分區(qū)的多進(jìn)程框架。簡(jiǎn)單應(yīng)用：多進(jìn)程模型的優(yōu)點(diǎn)。5系統(tǒng)框架的分析與性能優(yōu)化識(shí)記：系統(tǒng)設(shè)計(jì)模式分類(lèi)，多線(xiàn)程服務(wù)程序中的線(xiàn)程分類(lèi)。領(lǐng)會(huì)：系統(tǒng)框架的分析過(guò)程，性能優(yōu)化的因素。四、本章關(guān)鍵問(wèn)題本章難點(diǎn)在于事務(wù)的執(zhí)行框架與模式，主要有通用的數(shù)據(jù)庫(kù)系統(tǒng)模型（結(jié)合圖文），通用系統(tǒng)模型與調(diào)度方法，事務(wù)處理框架的設(shè)計(jì)模式，單進(jìn)程多線(xiàn)程模式，基于功能劃分的多進(jìn)程模式，基于數(shù)據(jù)分區(qū)的多進(jìn)程框架。第七章 物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理一、學(xué)習(xí)目的與要求本章是課程的重點(diǎn)章節(jié)之一，在學(xué)習(xí)本章內(nèi)容之前，需要對(duì)物聯(lián)網(wǎng)中大量的傳感器采集的數(shù)據(jù)連續(xù)不斷地向物聯(lián)網(wǎng)大數(shù)據(jù)中心傳遞形成的海量物聯(lián)網(wǎng)數(shù)據(jù)之特點(diǎn)有較好的掌握，包括海量性、高緯度和部分稀疏特性、實(shí)況相關(guān)性、序列性與動(dòng)態(tài)流式特性等，針對(duì)這些物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理的挑戰(zhàn)，本章主要學(xué)習(xí)利用云文件系統(tǒng)、NoSQL數(shù)據(jù)庫(kù)系統(tǒng)來(lái)解決問(wèn)題。通過(guò)本章學(xué)習(xí)，要求掌握云文件系統(tǒng)的關(guān)鍵技術(shù)，理解HDFS的目標(biāo)和基本假設(shè)條件，掌握HDFS體系架構(gòu)，理解HDFS實(shí)現(xiàn)中的性能保障；掌握NoSQL數(shù)據(jù)庫(kù)關(guān)鍵技術(shù)，理解NoSQL數(shù)據(jù)庫(kù)的概念，理解NoSQL數(shù)據(jù)庫(kù)的優(yōu)勢(shì)和劣勢(shì)，掌握HBase數(shù)據(jù)庫(kù)系統(tǒng)概念、HBase數(shù)據(jù)模型和HBase系統(tǒng)架構(gòu)。理解基于NoSQL數(shù)據(jù)庫(kù)的物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)于管理，掌握基于HBase的物聯(lián)網(wǎng)數(shù)據(jù)庫(kù)設(shè)計(jì)技術(shù)，掌握基于HBase的物聯(lián)網(wǎng)數(shù)據(jù)庫(kù)寫(xiě)入技術(shù)。二、課程內(nèi)容（考試內(nèi)容）7.1 云文件系統(tǒng)的關(guān)鍵技術(shù) 997.1.1 HDFS的目標(biāo)和基本假設(shè)條件 997.1.2 HDFS體系架構(gòu) 1007.1.3 性能保障 1027.2 NoSQL數(shù)據(jù)庫(kù)關(guān)鍵技術(shù) 1067.2.1 NoSQL數(shù)據(jù)庫(kù)概述 1067.2.2 基于NoSQL數(shù)據(jù)庫(kù)的物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理三、考核知識(shí)點(diǎn)與考核要求1．云文件系統(tǒng)的關(guān)鍵技術(shù)識(shí)記：系統(tǒng)設(shè)計(jì)的核心目標(biāo)。領(lǐng)會(huì)：硬件失敗，流式數(shù)據(jù)存取，大數(shù)據(jù)集，簡(jiǎn)單的一致性模型，異構(gòu)軟硬件平臺(tái)的可移植性，HDFS體系架構(gòu)（HDFS邏輯分層結(jié)構(gòu)），HDFS的性能保障（HDFS元數(shù)據(jù)操作、數(shù)據(jù)塊的讀/寫(xiě)、錯(cuò)誤處理、垃圾回收、訪(fǎng)問(wèn)接口）。簡(jiǎn)單應(yīng)用：HDFS物理部署實(shí)例，HDFS系統(tǒng)管理，HDFS的機(jī)架感知技術(shù)（原理、數(shù)據(jù)庫(kù)復(fù)制策略、網(wǎng)絡(luò)距離的計(jì)算、節(jié)點(diǎn)組織圖）。2．NoSQL數(shù)據(jù)庫(kù)關(guān)鍵技術(shù)識(shí)記：常見(jiàn)的NoSQL數(shù)據(jù)庫(kù)及其分類(lèi)，HBase數(shù)據(jù)模型（表，行，版本號(hào)，數(shù)據(jù)項(xiàng)）,HBase的表和分區(qū)、分區(qū)和存儲(chǔ)塊概念，HBase訪(fǎng)問(wèn)接口。領(lǐng)會(huì)：NoSQL數(shù)據(jù)庫(kù)的優(yōu)勢(shì)和劣勢(shì)，HBase數(shù)據(jù)庫(kù)系統(tǒng)，HBase系統(tǒng)架構(gòu)，集群組織架構(gòu)，基于NoSQL數(shù)據(jù)庫(kù)的物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理，基于HBase的物聯(lián)網(wǎng)數(shù)據(jù)庫(kù)設(shè)計(jì)技術(shù)（RowKey的設(shè)計(jì)、列族和列的設(shè)計(jì)），基于HBase的物聯(lián)網(wǎng)數(shù)據(jù)庫(kù)寫(xiě)入技術(shù)，HBase數(shù)據(jù)數(shù)據(jù)緩沖。簡(jiǎn)單應(yīng)用：數(shù)據(jù)存儲(chǔ)服務(wù)詳細(xì)設(shè)計(jì)。四、本章關(guān)鍵問(wèn)題重點(diǎn)和難點(diǎn)：HDFS的機(jī)架感知技術(shù)，NoSQL數(shù)據(jù)庫(kù)的優(yōu)勢(shì)和劣勢(shì)，HBase數(shù)據(jù)庫(kù)系統(tǒng)，HBase系統(tǒng)架構(gòu)，基于HBase的物聯(lián)網(wǎng)數(shù)據(jù)庫(kù)設(shè)計(jì)技術(shù)，基于HBase的物聯(lián)網(wǎng)數(shù)據(jù)庫(kù)寫(xiě)入技術(shù)。第八章 物聯(lián)網(wǎng)大數(shù)據(jù)計(jì)算與分析一、學(xué)習(xí)目的與要求本章是課程的最重要的章節(jié)之一，需要學(xué)生從理論上深入學(xué)習(xí)物聯(lián)網(wǎng)大數(shù)據(jù)的計(jì)算與分析技術(shù)。通過(guò)本章學(xué)習(xí)，要求理解物聯(lián)網(wǎng)大數(shù)據(jù)批處理計(jì)算，掌握MapReduce的設(shè)計(jì)思想，理解MapReduce的工作機(jī)制，理解MapReduce在物聯(lián)網(wǎng)大數(shù)據(jù)中的應(yīng)用，掌握物聯(lián)網(wǎng)大數(shù)據(jù)交互式查詢(xún)，理解原生SQL on HBase，理解SQL on Hadoop，掌握基于HBase的交互式查詢(xún)，掌握物聯(lián)網(wǎng)大數(shù)據(jù)流式計(jì)算，掌握流式計(jì)算的需求特點(diǎn)，掌握流數(shù)據(jù)基本概念，掌握流數(shù)據(jù)查詢(xún)操作，掌握基于云計(jì)算的流數(shù)據(jù)聚集查詢(xún)操作，掌握流數(shù)據(jù)定制化服務(wù)，理解評(píng)測(cè)基準(zhǔn)，理解Spark Streaming及其在物聯(lián)網(wǎng)大數(shù)據(jù)中的應(yīng)用，理解物聯(lián)網(wǎng)大數(shù)據(jù)分析計(jì)算，理解物聯(lián)網(wǎng)大數(shù)據(jù)OLAP多維分析，理解ROLAP方式的交互式大數(shù)據(jù)分析，理解MOLAP方式的多維交叉大數(shù)據(jù)分析，理解物聯(lián)網(wǎng)大數(shù)據(jù)深層次分析，理解城市交通物聯(lián)網(wǎng)大數(shù)據(jù)分析流程和工業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)分析流程。二、課程內(nèi)容（考試內(nèi)容）8.1 物聯(lián)網(wǎng)大數(shù)據(jù)批處理計(jì)算8.1.1 MapReduce的設(shè)計(jì)思想8.1.2 MapReduce的工作機(jī)制8.1.3 MapReduce在物聯(lián)網(wǎng)大數(shù)據(jù)中的應(yīng)用8.2 物聯(lián)網(wǎng)大數(shù)據(jù)交互式查詢(xún)8.2.1 原生SQL on HBase8.2.2 SQL on Hadoop8.2.3 基于HBase的交互式查詢(xún)8.3 物聯(lián)網(wǎng)大數(shù)據(jù)流式計(jì)算8.3.1 流式計(jì)算的需求特點(diǎn)8.3.2 流數(shù)據(jù)基本概念8.3.3 流數(shù)據(jù)查詢(xún)操作8.3.4 流數(shù)據(jù)定制化服務(wù)8.3.5 評(píng)測(cè)基準(zhǔn)8.3.6 Spark Streaming及其在物聯(lián)網(wǎng)大數(shù)據(jù)中的應(yīng)用8.4 物聯(lián)網(wǎng)大數(shù)據(jù)分析 1508.4.1 物聯(lián)網(wǎng)大數(shù)據(jù)OLAP多維分析8.4.2 物聯(lián)網(wǎng)大數(shù)據(jù)深層次分析三、考核知識(shí)點(diǎn)與考核要求1．物聯(lián)網(wǎng)大數(shù)據(jù)批處理計(jì)算識(shí)記：MapReduce的設(shè)計(jì)思想，工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)類(lèi)型。領(lǐng)會(huì)：，MapReduce的工作機(jī)制，MapReduce的總工作流程。簡(jiǎn)單應(yīng)用：MapReduce在物聯(lián)網(wǎng)大數(shù)據(jù)中的應(yīng)用。2．物聯(lián)網(wǎng)大數(shù)據(jù)交互式查詢(xún)識(shí)記：Hive概念。領(lǐng)會(huì)：原生SQL On HBase，SQL on Hadoop，基于HBase的交互式查詢(xún)。簡(jiǎn)單應(yīng)用：基于SQL語(yǔ)句的底層數(shù)據(jù)庫(kù)調(diào)度過(guò)程。3. 物聯(lián)網(wǎng)大數(shù)據(jù)流式計(jì)算識(shí)記：流數(shù)據(jù)基本概念，流數(shù)據(jù)處理系統(tǒng)分類(lèi)，固定窗口，界標(biāo)窗口，華東窗口，窗格式窗口和翻滾式窗口，流式處理規(guī)則（轉(zhuǎn)換規(guī)則、檢測(cè)規(guī)則），聲明式語(yǔ)言和命令式語(yǔ)言，常用的算子運(yùn)算符。領(lǐng)會(huì)：感知數(shù)據(jù)流式計(jì)算的需求特點(diǎn)，流數(shù)據(jù)處理的一般功能模型，流數(shù)據(jù)處理的算子，流管理運(yùn)算符，Bag集合運(yùn)算符，聚集操作運(yùn)算符，“增量式”思想的應(yīng)用，流數(shù)據(jù)查詢(xún)操作，流數(shù)據(jù)連接查詢(xún)操作，基于云計(jì)算的流數(shù)據(jù)聚集查詢(xún)操作，流數(shù)據(jù)上的滑動(dòng)窗口聚集操作優(yōu)化方法，流數(shù)據(jù)中的高級(jí)查詢(xún)操作，利用云計(jì)算環(huán)境提升流數(shù)據(jù)查詢(xún)處理性能和效率的思想，流數(shù)據(jù)定制化服務(wù)，評(píng)測(cè)基準(zhǔn)。簡(jiǎn)單應(yīng)用：大規(guī)模流數(shù)據(jù)服務(wù)模型與傳統(tǒng)數(shù)據(jù)服務(wù)模型的比較，Stream Feed流數(shù)據(jù)服務(wù)抽象模型，流數(shù)據(jù)服務(wù)托管案例。綜合應(yīng)用：Spark Streaming及其在物聯(lián)網(wǎng)大數(shù)據(jù)中的應(yīng)用（優(yōu)勢(shì)，場(chǎng)景分析，示例設(shè)計(jì)，示例實(shí)現(xiàn)）。4. 物聯(lián)網(wǎng)大數(shù)據(jù)分析識(shí)記：OLAP的實(shí)現(xiàn)方法。領(lǐng)會(huì)：傳統(tǒng)數(shù)據(jù)分析和物聯(lián)網(wǎng)大數(shù)據(jù)分析的對(duì)比，物聯(lián)網(wǎng)大數(shù)據(jù)OLAP多維分析，ROLAP方式的交互式大數(shù)據(jù)分析，MOLAP方式的多維交叉大數(shù)據(jù)分析，物聯(lián)網(wǎng)大數(shù)據(jù)深層次分析，F(xiàn)P-Growth算法思路，基于Spark的并行FP-Growth處理計(jì)算框架及算法的計(jì)算步驟。簡(jiǎn)單應(yīng)用：Kylin的方案和架構(gòu)，Pinot的方案、架構(gòu)和實(shí)時(shí)數(shù)據(jù)分析，Druid的方案和架構(gòu)。綜合應(yīng)用：城市交通物聯(lián)網(wǎng)大數(shù)據(jù)分析流程（結(jié)合圖文）：?jiǎn)栴}建模，準(zhǔn)備數(shù)據(jù)，使用算法或訓(xùn)練算法，工業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)分析流程（結(jié)合圖文）：信號(hào)處理，特征提取，健康評(píng)估，健康預(yù)測(cè)與診斷，可視化呈現(xiàn)與可視化分析。四、本章關(guān)鍵問(wèn)題重點(diǎn)和難點(diǎn)：MapReduce的工作機(jī)制，流數(shù)據(jù)查詢(xún)操作，物聯(lián)網(wǎng)大數(shù)據(jù)OLAP多維分析，物聯(lián)網(wǎng)大數(shù)據(jù)深層次分析，城市交通物聯(lián)網(wǎng)大數(shù)據(jù)分析流程，工業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)分析流程。第3篇 產(chǎn)品研發(fā)篇第九章 物聯(lián)網(wǎng)網(wǎng)關(guān)CubeOne一、學(xué)習(xí)目的與要求本章為物聯(lián)網(wǎng)大數(shù)據(jù)處理系統(tǒng)的具體應(yīng)用，主要介紹物聯(lián)網(wǎng)網(wǎng)關(guān)CubeOne，通過(guò)本章學(xué)習(xí)，要求了解工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)CubeOne的基本情況，理解無(wú)線(xiàn)傳感器網(wǎng)絡(luò)網(wǎng)關(guān)，了解無(wú)線(xiàn)傳感器網(wǎng)絡(luò)概述，理解ZigBee-WiFi網(wǎng)關(guān)，理解ZigBee-WiFi網(wǎng)絡(luò)應(yīng)用案例。二、課程內(nèi)容（考試內(nèi)容）9.1 工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)9.1.1 CubeOne產(chǎn)品概述9.1.2 CubeOne功能特點(diǎn)9.1.3 CubeOne的應(yīng)用領(lǐng)域9.2 無(wú)線(xiàn)傳感器網(wǎng)絡(luò)網(wǎng)關(guān)9.2.1 無(wú)線(xiàn)傳感器網(wǎng)絡(luò)概述9.2.2 ZigBee-WiFi網(wǎng)關(guān)9.2.3 ZigBee網(wǎng)絡(luò)應(yīng)用案例三、考核知識(shí)點(diǎn)與考核要求1. 工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)識(shí)記：CubeOne功能特點(diǎn)。領(lǐng)會(huì)：CubeOne產(chǎn)品概述，CubeOne的應(yīng)用領(lǐng)域。2. 無(wú)線(xiàn)傳感器網(wǎng)絡(luò)網(wǎng)關(guān)識(shí)記：無(wú)線(xiàn)傳感器網(wǎng)絡(luò)特點(diǎn)。領(lǐng)會(huì)：無(wú)線(xiàn)傳感器網(wǎng)絡(luò)概述，無(wú)線(xiàn)傳感器網(wǎng)絡(luò)典型結(jié)構(gòu)，ZigBee-WiFi網(wǎng)關(guān)。簡(jiǎn)單應(yīng)用，ZigBee-WiFi網(wǎng)絡(luò)應(yīng)用案例四、本章關(guān)鍵問(wèn)題重點(diǎn)：無(wú)線(xiàn)傳感器網(wǎng)絡(luò)概述，無(wú)線(xiàn)傳感器網(wǎng)絡(luò)典型結(jié)構(gòu)，ZigBee-WiFi網(wǎng)絡(luò)應(yīng)用案例。第十章 ChinDB感知數(shù)據(jù)庫(kù)系統(tǒng)一、學(xué)習(xí)目的與要求本章為物聯(lián)網(wǎng)大數(shù)據(jù)處理系統(tǒng)的實(shí)踐部分，主要介紹ChinDB感知數(shù)據(jù)庫(kù)系統(tǒng)。通過(guò)本章學(xué)習(xí)，要求理解ChinDB概念，理解ChinDB組成與功能特點(diǎn)，理解ChinDB數(shù)據(jù)組織管理，，理解ECA規(guī)則與實(shí)時(shí)計(jì)算，掌握ChinDB的HA方案，了解HA概念及模式分類(lèi)，理解ChinDB HA的兩種部署模式，理解物聯(lián)網(wǎng)應(yīng)用平臺(tái)，了解平臺(tái)結(jié)構(gòu)和主要特點(diǎn)，了解應(yīng)用領(lǐng)域與應(yīng)用案例。二、課程內(nèi)容（考試內(nèi)容）10.1 ChinDB系統(tǒng)概述10.2 ChinDB組成與功能特點(diǎn)10.3 ChinDB數(shù)據(jù)組織管理10.3.1 標(biāo)簽點(diǎn)及其屬性10.3.2 標(biāo)簽點(diǎn)的組織方式10.3.3 關(guān)系數(shù)據(jù)管理10.3.4 歷史數(shù)據(jù)管理10.4 ECA規(guī)則與實(shí)時(shí)計(jì)算10.5 ChinDB的HA方案10.5.1 HA概述及模式分類(lèi)10.5.2 ChinDB HA的部署模式10.6 物聯(lián)網(wǎng)應(yīng)用平臺(tái)10.6.1 物聯(lián)網(wǎng)平臺(tái)概述10.6.2 平臺(tái)主要特點(diǎn)10.6.3 應(yīng)用領(lǐng)域與應(yīng)用案例三、考核知識(shí)點(diǎn)與考核要求1. ChinDB系統(tǒng)概述識(shí)記：ChinDB系統(tǒng)概念。領(lǐng)會(huì)：ChinDB的特點(diǎn)，支持的操作系統(tǒng)，優(yōu)點(diǎn)，應(yīng)用情況。2. ChinDB組成與功能特點(diǎn)識(shí)記：關(guān)系數(shù)據(jù)與斷面查詢(xún)關(guān)聯(lián)，關(guān)系數(shù)據(jù)與歷史查詢(xún)關(guān)聯(lián)。領(lǐng)會(huì)ChinDB系統(tǒng)組成（結(jié)合圖），ChinDB的主要功能特點(diǎn)，。3. ChinDB數(shù)據(jù)組織管理識(shí)記：標(biāo)簽及其屬性，標(biāo)簽點(diǎn)的組織方式，傳統(tǒng)組織方式中標(biāo)簽點(diǎn)的組織和索引分層。領(lǐng)會(huì)：面向?qū)ο蠼M織方式，關(guān)系數(shù)據(jù)管理，ChinDB歷史數(shù)據(jù)管理。4. ECA規(guī)則與實(shí)時(shí)計(jì)算識(shí)記：ECA概念，領(lǐng)會(huì)：基于ECA規(guī)則的實(shí)時(shí)計(jì)算主要實(shí)現(xiàn)的功能。5. ChinDB的HA方案識(shí)記：HA概念，定義式，高可用的三種工作模式。領(lǐng)會(huì)：備份服務(wù)器系統(tǒng)，ChinDB HA的部署模式，共享存儲(chǔ)部署模式（結(jié)合圖文），非共享存儲(chǔ)部署模式（結(jié)合圖文）。6.物聯(lián)網(wǎng)應(yīng)用平臺(tái)識(shí)記：ChinPMC概念。領(lǐng)會(huì)：物聯(lián)網(wǎng)平臺(tái)概述，平臺(tái)主要特點(diǎn)。簡(jiǎn)單應(yīng)用：ChinPMC物聯(lián)網(wǎng)應(yīng)用平臺(tái)。綜合應(yīng)用：應(yīng)用領(lǐng)域與應(yīng)用案例，工業(yè)企業(yè)應(yīng)用案例（結(jié)合圖），智慧礦山應(yīng)用案例（結(jié)合圖），智能化裝備應(yīng)用案例（結(jié)合圖），廣域監(jiān)測(cè)監(jiān)控應(yīng)用案例（結(jié)合圖）。四、本章關(guān)鍵問(wèn)題重點(diǎn)：ECA規(guī)則與實(shí)時(shí)計(jì)算，ChinDB的HA方案，ChinPMC物聯(lián)網(wǎng)應(yīng)用平臺(tái)，應(yīng)用領(lǐng)域與應(yīng)用案例。第十一章 DeCloud物聯(lián)大數(shù)據(jù)云平臺(tái)一、學(xué)習(xí)目的與要求本章為物聯(lián)網(wǎng)大數(shù)據(jù)處理的實(shí)踐部分，主要關(guān)注DeCloud物聯(lián)網(wǎng)大數(shù)據(jù)的云平臺(tái)。通過(guò)本章學(xué)習(xí)，要求掌握DeCloud組成，理解DeCloud軟件概述，掌握DeCloud通信服務(wù)，掌握DeCloud通信服務(wù)，掌握DeCloud計(jì)算服務(wù)，了解DeCloud數(shù)據(jù)發(fā)布/訂閱服務(wù)，了解DeCloud在智能交通領(lǐng)域的應(yīng)用，了解DeCloud在教育物聯(lián)網(wǎng)云服務(wù)平臺(tái)中的應(yīng)用，了解DeCloud在電梯安全監(jiān)控中的應(yīng)用，了解DeCloud在高精度位置服務(wù)中的應(yīng)用。二、課程內(nèi)容（考試內(nèi)容）11.1 DeCloud組成11.1.1 軟件概述11.1.2 通信服務(wù)11.1.3 計(jì)算服務(wù)11.1.4 存儲(chǔ)服務(wù)11.1.5 數(shù)據(jù)發(fā)布/訂閱服務(wù)11.2 DeCloud在智能交通領(lǐng)域的應(yīng)用11.3 DeCloud在教育物聯(lián)網(wǎng)云服務(wù)平臺(tái)中的應(yīng)用11.4 DeCloud在電廠設(shè)備故障預(yù)警的應(yīng)用11.5 DeCloud在電梯安全監(jiān)控中的應(yīng)用11.6 DeCloud在高精度位置服務(wù)中的應(yīng)用三、考核知識(shí)點(diǎn)與考核要求1. DeCloud組成識(shí)記：DeCloud軟件概述，DeCloud核心功能定位，DeCloud特點(diǎn)，。領(lǐng)會(huì)：DeCloud通信服務(wù)（結(jié)合圖文），DeCloud通信服務(wù)的構(gòu)造，DeCloud計(jì)算服務(wù)（結(jié)合圖文），DeCloud計(jì)算服務(wù)的構(gòu)造，DeCloud的存儲(chǔ)服務(wù)，DeCloud數(shù)據(jù)發(fā)布/訂閱服務(wù)。2. DeCloud在智能交通領(lǐng)域的應(yīng)用領(lǐng)會(huì)：DeCloud4ITS的優(yōu)勢(shì)，DeCloud4ITS在線(xiàn)運(yùn)行的任務(wù)，違章嫌疑車(chē)輛處理，車(chē)輛實(shí)時(shí)布控預(yù)警，實(shí)時(shí)佳通路況及交通流信息服務(wù)，城市車(chē)輛綜合分析。簡(jiǎn)單應(yīng)用：DeCloud4I5S交通數(shù)據(jù)處理平臺(tái)，基于DeCloud平臺(tái)的智能交通應(yīng)用系統(tǒng)，3. DeCloud在教育物聯(lián)網(wǎng)云服務(wù)平臺(tái)中的應(yīng)用識(shí)記：DeCloud教育物聯(lián)網(wǎng)云服務(wù)平臺(tái)中傳感數(shù)據(jù)的生命周期。領(lǐng)會(huì)：DeCloud教育物聯(lián)網(wǎng)云服務(wù)平臺(tái)總體架構(gòu)，。4. DeCloud在電廠設(shè)備故障預(yù)警中的應(yīng)用識(shí)記：電廠設(shè)備故障的常用檢測(cè)方法，單側(cè)點(diǎn)數(shù)據(jù)分析中的孤立點(diǎn)檢測(cè)法，多測(cè)點(diǎn)數(shù)據(jù)分析中的相關(guān)性分析，皮爾遜相關(guān)系統(tǒng)公式。領(lǐng)會(huì)：?jiǎn)蝹?cè)點(diǎn)數(shù)據(jù)分析，多測(cè)點(diǎn)數(shù)據(jù)分析。5. DeCloud在電梯安全監(jiān)控中的應(yīng)用識(shí)記：國(guó)家對(duì)電梯運(yùn)行標(biāo)準(zhǔn)出臺(tái)的重要政策。DeCloud電梯安全監(jiān)控云服務(wù)系統(tǒng)目標(biāo)。領(lǐng)會(huì)：DeCloud電梯安全監(jiān)控云服務(wù)系統(tǒng)的運(yùn)行原理、可選配的傳感器。簡(jiǎn)單應(yīng)用：DeCloud電梯安全監(jiān)管應(yīng)用系統(tǒng)向用戶(hù)提供的功能。6. DeCloud在高精度位置服務(wù)中的應(yīng)用簡(jiǎn)單應(yīng)用：大規(guī)模差分?jǐn)?shù)據(jù)播發(fā)服務(wù)工作原理，高精度位置服務(wù)平臺(tái)結(jié)構(gòu)綜合應(yīng)用：基于高精度位置服務(wù)的軌跡及手機(jī)GPS對(duì)比四、本章關(guān)鍵問(wèn)題重點(diǎn)：DeCloud組成，DeCloud在智能交通領(lǐng)域的應(yīng)用，DeCloud在電廠設(shè)備故障預(yù)警中的應(yīng)用。Ⅳ 關(guān)于大綱的說(shuō)明與考核實(shí)施要求一、自學(xué)考試大綱的目的和作用課程自學(xué)考試大綱是根據(jù)專(zhuān)業(yè)自學(xué)考試計(jì)劃的要求，結(jié)合自學(xué)考試的特點(diǎn)而確定。其目的是對(duì)個(gè)人自學(xué)、社會(huì)助學(xué)和課程考試命題進(jìn)行指導(dǎo)和規(guī)定。課程自學(xué)考試大綱明確了課程學(xué)習(xí)的內(nèi)容以及深廣度，規(guī)定了課程自學(xué)考試的范圍和標(biāo)準(zhǔn)。因此，它是編寫(xiě)自學(xué)考試教材和輔導(dǎo)書(shū)的依據(jù)，是社會(huì)助學(xué)組織進(jìn)行自學(xué)輔導(dǎo)的依據(jù)，是自學(xué)者學(xué)習(xí)教材、掌握課程內(nèi)容知識(shí)范圍和程度的依據(jù)，也是進(jìn)行自學(xué)考試命題的依據(jù)。二、課程自學(xué)考試大綱與教材的關(guān)系課程自學(xué)考試大綱是進(jìn)行學(xué)習(xí)和考核的依據(jù)，教材是學(xué)習(xí)掌握課程知識(shí)的基本內(nèi)容與范圍，教材的內(nèi)容是大綱所規(guī)定的課程知識(shí)和內(nèi)容的擴(kuò)展與發(fā)揮。本大綱與教材所體現(xiàn)的課程內(nèi)容完全一致；大綱里面的課程內(nèi)容和考核知識(shí)點(diǎn)， 在教材里都可以找到。三、關(guān)于自學(xué)教材本課程使用教材為：《物聯(lián)網(wǎng)大數(shù)據(jù)處理技術(shù)與實(shí)踐》，王桂玲、王強(qiáng)等編著，電子工業(yè)出版社，2017年版。四、關(guān)于自學(xué)要求和自學(xué)方法的指導(dǎo)本大綱的課程基本要求是依據(jù)專(zhuān)業(yè)考試計(jì)劃和專(zhuān)業(yè)培養(yǎng)目標(biāo)而確定的。課程基本要求還明確了課程的基本內(nèi)容，以及對(duì)基本內(nèi)容掌握的程度?；疽笾械闹R(shí)點(diǎn)構(gòu)成了課程內(nèi)容的主體部分。因此，課程基本內(nèi)容掌握程度、課程考核知識(shí)點(diǎn)是高等教育自學(xué)考試考核的主要內(nèi)容。根據(jù)物聯(lián)網(wǎng)工程專(zhuān)業(yè)（本科段）的要求，以及本課程的特點(diǎn)，考生在進(jìn)行自學(xué)時(shí)應(yīng)注意以下幾點(diǎn)：1．在學(xué)習(xí)本課程前，應(yīng)仔細(xì)閱讀課程大綱的第一部分，了解課程的性質(zhì)、地位和任務(wù)，熟知課程的基本要求以及與本課程有關(guān)的課程的聯(lián)系，以便使以后的學(xué)習(xí)能緊緊圍繞課程的基本要求。2．在閱讀某一章教材內(nèi)容前，考生應(yīng)先認(rèn)真閱讀大綱中關(guān)于該章的考核知識(shí)點(diǎn)、自學(xué)要求和考核要求，注意對(duì)各知識(shí)點(diǎn)的能力層次要求，以便在閱讀教材時(shí)做到心中有數(shù)，有的放矢。3．閱讀教材時(shí)，考生應(yīng)根據(jù)大綱要求，要逐段細(xì)讀，逐句推敲，集中精力，吃透每個(gè)知識(shí)點(diǎn)，對(duì)基本概念必須深刻理解，基本原理必須牢固掌握，在閱讀中遇到個(gè)別細(xì)節(jié)問(wèn)題不清楚，在不影響繼續(xù)學(xué)習(xí)的前提下，可暫時(shí)擱置。4．學(xué)完教材的每一章內(nèi)容后，考生應(yīng)針對(duì)考試大綱列出的關(guān)鍵問(wèn)題認(rèn)真復(fù)習(xí)，以便進(jìn)一步理解、消化和鞏固所學(xué)知識(shí)，增強(qiáng)分析問(wèn)題、解決問(wèn)題的能力。五、應(yīng)考指導(dǎo)1．如何學(xué)習(xí)很好的計(jì)劃和組織是你學(xué)習(xí)成功的法寶。如果考生正在接受培訓(xùn)學(xué)習(xí)，一定要跟緊課程并完成作業(yè)。為了在考試中做出滿(mǎn)意的回答，考生必須對(duì)所學(xué)課程內(nèi)容有很好的理解，如使用“行動(dòng)計(jì)劃表”來(lái)監(jiān)控你的學(xué)習(xí)進(jìn)展?？忌喿x課本時(shí)可以做讀書(shū)筆記，可以用彩筆來(lái)標(biāo)注需要重點(diǎn)注意的內(nèi)容，如紅色代表重點(diǎn)、綠色代表需要深入研究的領(lǐng)域、黃色代表可以運(yùn)用在工作之中。此外，還可以在空白處記錄相關(guān)網(wǎng)站與文章。2．如何考試卷面整潔非常重要。書(shū)寫(xiě)工整，段落與間距合理，卷面賞心悅目有助于教師評(píng)分，教師只能為他能看懂的內(nèi)容打分?；卮鹚岢龅膯?wèn)題。要回答所問(wèn)的問(wèn)題，而不是回答你自己樂(lè)意回答的問(wèn)題！避免超過(guò)問(wèn)題的范圍。3．如何處理緊張情緒 正確處理對(duì)失敗的懼怕，要正面思考。如果可能，請(qǐng)教已經(jīng)通過(guò)該科目考試的人，問(wèn)他們一些問(wèn)題。做深呼吸放松，這有助于使頭腦清醒，緩解緊張情緒。考試前合理膳食，保持旺盛精力，保持冷靜。4．如何克服心理障礙這是一個(gè)普遍存在的問(wèn)題！如果你在考試中出現(xiàn)這種情況，可以試試下列方法：使用“線(xiàn)索”紙條。進(jìn)入考場(chǎng)之前，將記憶“線(xiàn)索”記在紙條上。但你不能將紙條帶進(jìn)考場(chǎng)，因此當(dāng)你閱讀考卷時(shí)，一旦有了思路就快速記下。按自己的步調(diào)進(jìn)行答卷。為每個(gè)考題或部分合理分配時(shí)間，并按此時(shí)間安排進(jìn)行。要做到心理障礙的排除，還可以試著在考試的時(shí)候一邊瀏覽試題一邊回顧書(shū)本大綱，梳理出一個(gè)題目分布的框架，這樣你就會(huì)對(duì)答題有進(jìn)一步的把握。六、對(duì)社會(huì)助學(xué)的要求1．社會(huì)助學(xué)者應(yīng)根據(jù)本大綱規(guī)定的考試內(nèi)容和考核目標(biāo)，認(rèn)真鉆研指定教材，明確本課程的特點(diǎn)和學(xué)習(xí)要求，對(duì)考生進(jìn)行切實(shí)有效的輔導(dǎo)，避免考生在自學(xué)時(shí)可能出現(xiàn)的各種偏向，把握社會(huì)助學(xué)的正確方向。2．社會(huì)助學(xué)者應(yīng)對(duì)考生進(jìn)行學(xué)習(xí)方法的指導(dǎo)，向考生提倡“認(rèn)真閱讀教材，刻苦鉆研教材，主動(dòng)提出問(wèn)題，依靠自己學(xué)懂”的學(xué)習(xí)方法。3．社會(huì)助學(xué)者應(yīng)注意對(duì)考生自學(xué)能力的培養(yǎng)，使考生逐步學(xué)會(huì)獨(dú)立學(xué)習(xí)，在自學(xué)過(guò)程中善于提出問(wèn)題、分析問(wèn)題、做出判斷和解決問(wèn)題。對(duì)考生提出的問(wèn)題，社會(huì)助學(xué)者應(yīng)以啟發(fā)引導(dǎo)為主。4．社會(huì)助學(xué)者應(yīng)努力引導(dǎo)考生將識(shí)記、領(lǐng)會(huì)、簡(jiǎn)單應(yīng)用和綜合應(yīng)用聯(lián)系起來(lái)，將基本知識(shí)轉(zhuǎn)化為識(shí)記工作能力，全面培養(yǎng)和提升考生的綜合素質(zhì)。5．社會(huì)助學(xué)者應(yīng)指導(dǎo)考生正確處理重點(diǎn)和一般的關(guān)系，幫助考生掌握全部考試內(nèi)容和考核知識(shí)點(diǎn)，切勿孤立地抓重點(diǎn)，將考生引向猜題和押題。七、對(duì)考核內(nèi)容的說(shuō)明本課程要求考生學(xué)習(xí)和掌握的知識(shí)點(diǎn)內(nèi)容都作為考核的內(nèi)容。課程中各章的內(nèi)容均由若干知識(shí)點(diǎn)組成，在自學(xué)考試中成為考核知識(shí)點(diǎn)。因此，課程自學(xué)考試大綱中所規(guī)定的考試內(nèi)容是以分解為考核知識(shí)點(diǎn)的方式給出的。由于各知識(shí)點(diǎn)在課程中的地位、作用以及知識(shí)自身的特點(diǎn)不同，自學(xué)考試將對(duì)各知識(shí)點(diǎn)分別按四個(gè)認(rèn)知（或叫能力）層次確定其考核要求。八、關(guān)于考試命題的若干規(guī)定1．本課程采用閉卷考試的方法，考試時(shí)間的長(zhǎng)度為150分鐘。對(duì)本課程考試過(guò)程中除攜帶必要的答題用的簽字筆和橡皮外，嚴(yán)禁攜帶其他與考試無(wú)關(guān)的工具。2．本大綱各章所規(guī)定的基本要求、知識(shí)點(diǎn)及知識(shí)點(diǎn)下的知識(shí)細(xì)目，都屬于考核的內(nèi)容。考試命題既要覆蓋到章，又要避免面面俱到。要注意突出課程的重點(diǎn)、章節(jié)重點(diǎn)，加大重點(diǎn)內(nèi)容的覆蓋度。3、命題不應(yīng)有超出大綱中考核知識(shí)點(diǎn)范圍的題，考核目標(biāo)不得高于大綱中所規(guī)定的相應(yīng)的最高能力層次要求。命題應(yīng)著重考核考生對(duì)基本概念、基本知識(shí)和基本理論是否了解或掌握，對(duì)基本方法是否會(huì)用或熟練。不應(yīng)出與基本要求不符的偏題或怪題。4、本課程在試卷中對(duì)不同能力層次要求的分?jǐn)?shù)比例大致為：識(shí)記占20%，領(lǐng)會(huì)占30%，簡(jiǎn)單應(yīng)用占30%，綜合應(yīng)用占20%。5、要合理安排試題的難易程度，試題的難度可分為：易、較易、較難和難四個(gè)等級(jí)。每份試卷中不同難度試題的分?jǐn)?shù)比例一般為：2:3:3:2。必須注意，試題的難易程度與能力層次有一定的聯(lián)系，但二者不是等同的概念，在各個(gè)能力層次中都存在著不同難度的試題。6、課程考試命題的主要題型一般有單項(xiàng)選擇題、判斷改錯(cuò)題、填空題、名詞解釋題、簡(jiǎn)答題和論述題。在命題工作中必須按照本課程大綱中所規(guī)定的題型命制，考試試卷使用的題型可以略少，但不能超出本課程對(duì)題型的規(guī)定。附錄 題型舉例一、單項(xiàng)選擇題（四個(gè)備選答案只有一個(gè)正確，將其選出，并填入題內(nèi)括號(hào)中）1、DeCloud電廠設(shè)備故障預(yù)警系統(tǒng)的核心是：（B） A. DeCloud存儲(chǔ)服務(wù) B. DeCloud計(jì)算服務(wù) C. DeCloud數(shù)據(jù)發(fā)布/訂閱服務(wù) D. DeCloud通信服務(wù)2、深度學(xué)習(xí)通常使用的網(wǎng)絡(luò)是：（C） A. 電信網(wǎng)絡(luò) B. 無(wú)線(xiàn)傳感器網(wǎng)絡(luò)　 C.　人工神經(jīng)網(wǎng)絡(luò) D.　數(shù)據(jù)通信網(wǎng)絡(luò)二、判斷改錯(cuò)題1、社交網(wǎng)絡(luò)數(shù)據(jù)中的聯(lián)系數(shù)據(jù)是一類(lèi)典型的“元數(shù)據(jù)”。（×）改正：元數(shù)據(jù) 圖數(shù)據(jù)2、大數(shù)據(jù)是第二經(jīng)濟(jì)的核心內(nèi)涵和關(guān)鍵支撐。（√） 三、填空題1、在Linux中，一個(gè)進(jìn)程在內(nèi)存中有三部分?jǐn)?shù)據(jù)：“數(shù)據(jù)段”、“_________”與“代碼段”。（堆棧段）2、Lambda架構(gòu)是由Strom的作者Nathan Marz提出的一個(gè)_________框架。（實(shí)時(shí)大數(shù)據(jù)處理） 四、名詞解釋1、MSCS答：Microsoft SQL Cluster Server,失敗轉(zhuǎn)移集群，是一種基于共享磁盤(pán)的高可用集群是操作系統(tǒng)級(jí)別的集群。2、EDA答：Event-Driven Architecture，事件驅(qū)動(dòng)框架，是實(shí)時(shí)事件處理的軟件框架。五、簡(jiǎn)答題1、簡(jiǎn)述互聯(lián)網(wǎng)大數(shù)據(jù)的特征。答：（1）數(shù)據(jù)體量巨大； （2）數(shù)據(jù)類(lèi)型繁多； （3）價(jià)值密度大； （4）處理速度快； （5）結(jié)果的真實(shí)性。2、簡(jiǎn)述流數(shù)據(jù)上的滑動(dòng)窗口聚集操作的并行劃分優(yōu)化方法。答：基本的滑動(dòng)窗口劃分方法以窗口為單位將其劃分到多個(gè)節(jié)點(diǎn)上執(zhí)行，這種方法雖然簡(jiǎn)單，但由于連續(xù)的滑動(dòng)窗口之間存在元組重疊的情況，導(dǎo)致同一元組劃分到多個(gè)節(jié)點(diǎn)上重復(fù)處理。基于批量窗口的劃分方法將多個(gè)窗口的元組作為一個(gè)單元?jiǎng)澐值焦?jié)點(diǎn)上進(jìn)行處理，同一分片中的元組不需重復(fù)處理了，減少了計(jì)算開(kāi)銷(xiāo)和空間開(kāi)銷(xiāo)。由于劃分代價(jià)和計(jì)算代價(jià)都會(huì)隨重疊元組數(shù)目提升而提升，因此，當(dāng)窗口太大、流數(shù)據(jù)的達(dá)到速度太高時(shí)，基本窗口和批量窗口的并行處理方法不具有好的可擴(kuò)展性。此外，還可以與層次型處理方法結(jié)合，在將窗口劃分為子窗口再劃分多多個(gè)節(jié)點(diǎn)上執(zhí)行。六、論述題1、基于SQL查詢(xún)語(yǔ)句“select SensorID, value,Time from tempSensorTable where Time>=to_date (‘2016-2-24 00:00:03’,’yyyy-mm-dd hh24:mi:ss’) and Time<=to_date (‘2016-2-24 00:00:04’,’yyyy-mm-dd hh24:mi:ss’) and value<=25 and Sensor ID>=’0001’and SensorID<’1001’,論述底層數(shù)據(jù)庫(kù)調(diào)度過(guò)程。答：（1）判斷查詢(xún)是否為統(tǒng)計(jì)查詢(xún)。SQL中的統(tǒng)計(jì)聚合函數(shù)包括sum、avg、count、max、min。在底層數(shù)據(jù)庫(kù)調(diào)度中，是否包含統(tǒng)計(jì)查詢(xún)將影響到HBse查詢(xún)所使用具體的查詢(xún)技術(shù)。底層數(shù)據(jù)庫(kù)調(diào)用模塊通過(guò)解析SQL語(yǔ)法樹(shù)，判斷是否有統(tǒng)計(jì)聚合函數(shù)的關(guān)鍵字。（2）調(diào)用過(guò)濾器或協(xié)處理器對(duì)HBase進(jìn)行調(diào)度。在該例中的SQL篩選條件中，Time屬于HBase中的Rowkey字段的一部分，value為列族中的列。底層數(shù)據(jù)庫(kù)調(diào)度模塊將得到的傳感器ID與時(shí)間Time進(jìn)行拼接，得到行鍵的范圍，調(diào)用行鍵與值的組合過(guò)濾器對(duì)存儲(chǔ)在HBase中的傳感器數(shù)值信息進(jìn)行過(guò)濾，將過(guò)濾后的Rowkey與傳感器的作為結(jié)果返回。2、試述Twitter的Storm系統(tǒng)。答：Storm是一套分布式、可靠、可容錯(cuò)的用于處理流數(shù)據(jù)的系統(tǒng)。其流式處理作業(yè)被分發(fā)至不同類(lèi)型的組件，每個(gè)組件負(fù)責(zé)一項(xiàng)簡(jiǎn)單的、特定的處理任務(wù)。Storm可用來(lái)實(shí)時(shí)處理新數(shù)據(jù)和更新數(shù)據(jù)庫(kù)，兼具容錯(cuò)性和擴(kuò)展性。Storm也可被用于連續(xù)計(jì)算，對(duì)流數(shù)據(jù)做連續(xù)查詢(xún)，在計(jì)算時(shí)將結(jié)果以流的形式輸出給用戶(hù)。它還可被用于分布式RPC，以并行的方式運(yùn)行復(fù)雜運(yùn)算。Storm提供了簡(jiǎn)單的類(lèi)似于MapReduce的編程模型，降低了實(shí)時(shí)處理的復(fù)雜性。它也擁有良好的水平擴(kuò)展能力，其流式計(jì)算過(guò)程是在多個(gè)線(xiàn)程、進(jìn)程和服務(wù)器之間并行進(jìn)行的。Storm利用ZeroMQ作為消息隊(duì)列，極大地提高了消息傳遞的速度，系統(tǒng)的設(shè)計(jì)也保證了消息能得到快速處理。Storm保證每個(gè)消息至少能得到一次完整處理。任務(wù)失敗時(shí)，它會(huì)負(fù)責(zé)從消息源重試消息。