2023年5月25日 星期四

快速上手 Scala:Spark 大數據分析入門

 

在Hadoop撐起大數據生態系的半邊天後,後起之秀Spark針對Map/Reduce的效能瓶頸(必須落地的暫存檔)予以重構,採用純記憶體的計算模型將大數據運算提升到新高度。自此Spark變成了大數據工程師不得不鑽研的顯學,更是莘莘學子學習大數據平台的起點。然而Spark平台並不像Haoop一樣以Java語言為主,它主要著重在Scala和Python,不過要真正發揮Spark的運算能力,還是非得使用Scala這個Spark用的基底語言。

和物件導向的Java截然不同,Scala是函數式導向的程式語言。最大的特色就是「函數是一等公民」,更具體而言,函數本身可以當做變數來自由傳遞,進而實現另一種和物件導向語言完全不同的「封裝」方法。依Scala的函數式設計實做出的map、reduce、foreach功能,都被Spark充分運用成為RDD分散式資料集的核心功能,因此想靈活地開發Spark計算程式,必然得對Scala的基礎下一番功夫。更別說Scala在許多方面,都擁有著獨特而不好類比的語言特性,像是不可變性的變數、Unit和Any類型、代碼堆、Case類等等。有太多太多對Java開發人員而言,丈二金剛摸不著頭腦的術語與觀念。而這些Scala的基本功,都濃縮在這本「快速上手 Scala:Spark 大數據分析入門」書中。

最後值得一提就是,既便你辛辛苦苦地學會並撰寫出一個可以運作的大數據Spark(Scala)程式,最後的魔王關卡才會出現。Scala語言的編譯工具是SBT,設計思維等同Java開發人員熟悉的Maven和Gradle。但畢竟是完全不同的工具,想要簡單地編譯出一個能上線佈署的執行JAR檔,中間試誤(trial and error)的挫折感,一不小心就會讓你想躺平放棄(用PySpark算了!)。別灰心,這本書中在最後一個章節,大方地分享如何迎刃而解地編譯出一個JAR執行檔,開啟你走上Spark大數據工程師的道路。在研讀其它Spark專書之前,如果能先看過這本「快速上手 Scala:Spark 大數據分析入門」,真的可以少花虛功,建立長久受用的基礎知識。

2023年5月20日 星期六

做工的人

 

「有時看的不是一本書,而是一群人的半輩子」。最來常看人文社會類的書,借此瞭解百業百工的人情世況。林立青的「做工的人」大紅大紫,甚至被改編成HBO播映的台製影集,劇本原形是書中一篇較戲劇化的文章「走水路」。多數文章半敘半議,主題圍繞著介紹與描述從事營造工程的基層勞工。如同林立青所言,人事物皆取材自他生活周遭,也讓書中的人物和表達出來的情緒,那麼地真實而讓讀者不捨。

房價年年屢破新高,加上媒體標題黨的操作,「營建(泥水、木作)師傅日薪幾千,找不到工!」,讓社會大眾對這群做工的人產生錯誤的刻板印象。營建相關職務,即便看似高薪,卻脫離不了髒汙、高強度、危險的工作環境,加上有做才有錢的日領計酬,絕對不是在辨公室吹著空調打電腦的白領階級想像般薪資優渥「有為者矣若是」。

由於社會階級的僵固性,從事這類底層工作的勞工多半原生家庭狀況中下,導致教育程度不高,傾向和在地宮廟與地下經濟「交陪」,對警察、執法者有著「一朝被蛇咬」的厭惡。除了眾多「做工的人」的人生百樣外,林立青在書中提到像外籍新娘、檳榔西施、茶室姐姐等社會眼皮底下的女性角色,還有介紹工地調酒、外勞、罰單等工地文化。這本書像是一扇為社會白領開啟的窗,用一種不危險的距離觀察、認識這些非同溫層的辛勤勞動者。藍領與白領也許像油與水般性不相溶,但對每個認真生活對社會做出貢獻的人來說,都值得獲得平等的自由和尊重,簡單一句「職業無貴賤」。

2023年5月2日 星期二

出走吧!!玩食男 首發站:澎湖群島

「出走吧!!玩食男」是本志向遠大的出版作品,它想師法日本精典漫書「鐵路便當之旅」的特色,結合漫畫與旅遊資訊,讓台灣風土人文用輕鬆逗趣的故事情節,引領讀者體驗深度的知性之旅。系列作的第一本主題為「澎湖群島」,挑選的是台灣觀光景點中最閃亮的珍珠,擁有獨一無二地形與海島文化。讀了這本「出走吧!!玩食男」後,我這個從沒去過澎湖的雙北市民,真的動心起念地想來趟澎湖行。

從澎湖本島「菊島」開始,就有著各個值得一訪的不同景點,包括因海浪長年侵蝕的風櫃洞、離馬公市只要二十分鐘車程的山水沙灘。書中也不忘「美景配美食」的台式玩法,用心描繪出在地的特色佳餚,這點也雷同「鐵路便當之旅」以火車便當做引子,讓讀者一飽「書中的美味」。雖然畫功尚未有如日本美食漫畫般爐火純青,也真心誠意地抓到神韻讓餐餚躍然紙上。

騎機車跨越澎湖跨海大橋後,可以到「講美OK標誌」打卡,接著到白沙鄉觀賞「通梁古榕樹」。「歧頭」的「抱墩」補漁文化,讓人感受到先人智慧,能以融合自然生態的做法維持家庭生計。再跨海一次到西嶼鄉看一下大自然的鬼斧神工「大菓葉柱狀玄武岩」,路經有如希臘地中海般「外垵魚村」風光,終點是台灣最古老的燈塔「西嶼漁翁燈塔」。從「南海遊客中心」出發的跳島行程,是澎湖行的重頭戲,「七美嶼」上的世界知名地景「雙心石滬」,「望安嶼」上的「綠蠵龜保育中心」、「曾家古厝」都是必須一遊的景點。望安嶼外的「珊瑚礁海上平台」則是國際級的休憩中心,如果預算充足就能在此盡情遊玩各項水上活動與浮潛課程。

四月到六月的澎湖海上花火節,已經成為許多遊客特地到訪澎湖的原因。發達的漁業經濟也造就澎湖海鮮美食的過人之處,隨便一個花枝丸都讓台灣本島看不到車尾燈,「文康商圈」、「中正路商圈」料好實在的美食絕對不會讓你失望。「第三漁港」裡現撈的新鮮海產讓人眼花撩亂,土魠魚、白帶魚、石咾魚、正鰹、紅魽,數不清的海味都可以讓遊客一次購足,急速冷凍宅配回家。全書閱畢深受感動之時,急著想接著看下一集。然而左尋右查,都找不到系列作的第二集,猜想應當是出師不利沒有賺錢,本書因此也成為此系列的封筆作,可惜可嘆。