Adeegga

Habka nadiifinta xogta ee Spark Streaming
(I) DStream iyo RDD
Sidaan ognahay, xisaabinta Spark Streaming waxay ku saleysan tahay Spark Core, iyo xudunta Spark Core waa RDD, marka Spark Streaming sidoo kale waa inay la xiriirtaa RDD.Si kastaba ha ahaatee, Spark Streaming uma ogola dadka isticmaala inay si toos ah u isticmaalaan RDD, laakiin waxay soo koobaan fikrado DStream ah, DStream iyo RDD waa xiriiro loo dhan yahay, waxaad u fahmi kartaa qaabka qurxinta ee Java, taas oo ah, DStream waa kor u qaadida RDD, laakiin dhaqanku wuxuu la mid yahay RDD.
DStream iyo RDD labaduba waxay leeyihiin shuruudo dhowr ah.
(1) waxay leeyihiin ficilo isbedel oo la mid ah, sida khariidad, reduceByKey, iwm., laakiin sidoo kale qaar gaar ah, sida Daaqadaha, mapWithStated, iwm.
(2) dhamaantood waxay leeyihiin ficilo Ficil, sida foreachRDD, tirinta, iwm.
Qaabka barnaamijku waa mid joogto ah.
(B) Hordhaca DStream ee Spark Streaming
DStream waxay ka kooban tahay dhawr fasal
(1) Fasalada ilaha xogta, sida InputDStream, gaar ahaan DirectKafkaInputStream, iwm.
(2) Fasallada beddelka, sida caadiga ah MappedDStream, ShuffledDStream
(3) fasallada wax soo saarka, sida caadiga ah sida ForEachDStream
Inta kor ku xusan, xogta laga bilaabo bilawga (wax-soo-gelinta) ilaa dhammaadka (wax-soo-saarka) waxaa sameeya nidaamka DStream, taas oo macnaheedu yahay in isticmaaluhu caadi ahaan uusan si toos ah u dhalin karin oo u maareyn karin RDDs, taas oo macnaheedu yahay in DStream uu leeyahay fursad iyo waajibaad ah inuu noqdo. mas'uul ka ah wareegga nolosha ee RDDs.
Si kale haddii loo dhigo, Spark Streaming waxay leedahaynadiifin toos ahshaqayn
(iii) Habka jiilka RDD ee Spark Streaming
Socodka nolosha ee RDDs ee Spark Streaming waa mid qallafsan sida soo socota.
(1) InputDStream, xogta la helay waxaa loo beddelaa RDD, sida DirectKafkaInputStream, kaas oo soo saara KafkaRDD.
(2) ka dib iyada oo loo marayo MappedDStream iyo beddelka xogta kale, waqtigan si toos ah ayaa loogu yeeraa RDD oo u dhiganta habka khariidadda
(3) Hawlgalka fasalka wax soo saarka, kaliya marka RDD la soo bandhigo, waxaad u oggolaan kartaa isticmaaluhu inuu sameeyo kaydinta u dhiganta, xisaabinta kale, iyo hawlgallada kale.