黄色精品一区二区在线观看_日韩在线中文字幕一区二区_精品人妻东京热久久久二区_av欧美国产在线_内射老妇bbwx0c0ck_国产高清不卡dvd一二三区_日本不卡视频一区二区九九九_一个人在线观看免费视频www_无码人妻一区二区三区免费视频 _乖我硬了h秘书1v1

第六周-大數據學習班,深圳模具廠,模塑科技

2019-10-20 09:12:26

回顧第5周  , 上周的 Hbase 軟件, 盧老師提供過百度云盤的記錄。   或者自己下載。

image.png


image.png



Hbase  增刪改查 的 操作;

image.png


image.png

image.png

image.png

image.png


image.png


image.png


image.png

      image.png

     多種類型可以混合應用


     image.png

可以增加邏輯判斷和計算, 在條件中, 這是  scala 的強大之處。


image.png

image.png

image.png


這種是遞歸的函數, 也就是函數中調用了自己本身的函數


image.png


image.png


     image.png


    image.png

  image.png

變長數組,定長數組, 可變數組,  可以相互轉化。


image.png

reverse  , 這個是  取反 的意思,  也就是倒序。

image.png

%2  取模 , 也就是去偶數


image.png


.min 是進行取小。 



image.png

映射,必須有鍵值對,有K 有 V,   對鍵值對的調換、


Scala 主要是計算  文本搜索統(tǒng)計中, 得到的統(tǒng)計結果, 

MAP 映射相關的操作。


1、壓平, 

2、鍵值對,

3、統(tǒng)計,

4、鍵值對調換,

5、在進行排序,

6、再次統(tǒng)計。


定義元組 

image.png

這個元組, 也就是一個容器, 可以對他取值。

image.png  這就是結果。   


parton 用的很多,  


image.png

image.png

image.png


=JaVa 中的重載


image.png

這些就是   SCALA 的 類的運用 


image.png


image.png


image.png

image.png


image.png


image.png



image.png




上周  Hbase  和  Scala的復習


接下來講    kafaka     再講    zookeppr


-------------------------------------------------------------------------------------------------------------------------------------------------

image.png


KAFAKA   ,首先要了解  KAFAKA 的如下內容

image.png


產生的背景, 一個分布式的發(fā)布以及訂閱的消息系統(tǒng),她最初由  linkdin 開發(fā)的, 

使用   scala 語音書寫的。  最終成為 Apache項目的一部分,可劃分, 多訂閱者

image.png


image.png



image.png

舉例說明:   灑水車是  kafaka  裝水就是 生產 ,     灑水就是消費的過程。

灌水的速度 和 灑水的速度是多少?    就是消息





image.png



-----------------下午開始學習   KAFAKA  


  image.png

parttion  有序列號, 可以并行處理更多的數據, 每個消息都有ID , 也叫 offset 。


  image.png

image.png





image.png

image.png



image.png



image.png




image.png


image.png

image.png

image.png

image.png

image.png





image.png

image.png

             image.png



image.png


image.png

一個生產交易系統(tǒng),  每天產生 1億的訂單量 , (分布在很多?。?nbsp; ,  需要全國的銷量監(jiān)控,  以及各個省份的, 

匯總到北京, 可以做到, 各個省份的排名, 


1、 實際放入 的數據, 是實時產生的, 并不是同時產生的, 所以輸入到 KAFKA 中, 然后由 Spark 取出來計算出來。

      具體的接口


2、統(tǒng)計第一步,  第二步, 預測 , 學習,  挖掘 。   甚至可以人臉識別。 

image.png

  


image.png


image.png

image.png

image.png


image.png







image.png

image.png


image.png


image.png


image.png


image.png


KaFKa 的 Message  , 也就是把 Message  。    下周講      10-13  上課 。









Hbase  是No SQL數據庫 ,  



深圳塑膠模具廠,深圳市模具廠,深圳模具廠,深圳模具,深圳塑膠模具
首頁
產品
新聞
聯系