Python+Spark 2.0+Hadoop機器學習與大數據分析實戰

自從2014年同事J離職後，我開始接手大數據專案，機器學習的課題就始終三不五時的出現。畢竟大數據是機器學習成長的推手，也是外界眾多驚人應用的背景關鍵核心。為此也曾研究過Apache Mahout的專書，但試過幾個範例後總覺得Mahout的框架不夠簡潔，效能也不理想。加上那時候的推薦系統在應用上著重關聯規則算法，根本用不到機器學習裡典型的迴歸、分類、分群等演算法，所以也沒再多投入心力在相關技術的鑽研。

時至2018年，同事A和H開始研究起Apache Spark大數據平台，也在公司建置了Spark叢集進行機器學習的初步導入。我覺得時機剛好，推薦系統的應用已經步入成熟階段，後續可以來和同事一起研究先前未能確切理解的機器學習技術。「Python+Spark 2.0+Hadoop機器學習與數據分析實戰」，就是在這個背景下列入我的閱讀書單裡。

在開頭的章節中，先概略地提到Spark機器學習平台的相關技術，帶到書中後續要學習的各個單元。再來詳細說明如何建置一個可用來練習與實作的Hadoop平台。接著就用一連串淺顯易懂的範例練習來教導HDFS以及Map/Reduce運算的核心觀念。其中講述的內容與其它專論Hadoop的書籍相比毫不遜色，很適合想在短時間內掌握Hadoop平台原理的讀者。

中間章節開始介紹PySpark的開發工具IPython Notebook，這個工具真的讓人一用就會愛上，也是我目前最常使用的Python開發工具。另外也介紹了另一種基於Eclipse IDE的PyDev開發工具的解決方案。最後一次講齊PySpark平台上的三種執行模式與建置方法，讓讀者不用另外在網上搜尋平台建置細節。

在瞭解相關平台與工具後，中半段的內容就開始講述第一個機器學習案例，基於ALS演算法的推薦系統。再來就是一連串關於兩元分類、迴歸、多元分類的演算法介紹與範例練習，所有章節都有具體可行的執行範例也經過充分地講解說明。雖然書中缺少了分群演算法，但這本書是我目前看過最適合程式人員進入機器學習領域的入門書。不會使得工程師一頭陷入無止盡的演算法數學公式，而是讓人第一時間掌握具體機器學習具體的開發流程。從而引導出是否能有更進一步運用分類、迴歸算法到未來的專案中的可能性。

強烈推薦給每一位對機器學習有興趣也有心想動手做做看的工程師們~

公司的歷史

時至今日，「我去公司上班了~」大家可能每天都會說出口。然而在人類商業文明的漫長歷史中，現行的公司體制，只佔了短短的兩三百年。這本「公司的歷史」在開頭，帶著讀者從西元前3000年一直拉到西元1500年，重點式地介紹古代不同時期的商業組織。包括了中國、伊期蘭世界、義大利等發展出來的商會與行會。可以發現人類文明一直和商業行為脫離不了關係，可以武斷地說人類會經商，這點是和其它物種最大的差別。

接著是講述帝國主義時代，西方國家的「皇室特許權」對商業行為產生的影響。荷蘭、英國等早期的海權國家，商人逐利的本性結合王室的貪婪，早早將貿易觸角延伸到遙遠的國度。東印度公司甚至因此建立起長達兩百年的貿易帝國，其間擁有自己的武裝力量，以維護自身公司的資產。超龐大的組織必然帶來官僚文化，東印度公司在規模最大的時期，效率嚴重不彰，甚至有詩人的著作(裡面的員工)是在公務時間寫出來的。但也隨著歷史的演進，帝國主義的沒落同時也將特許公司拉下了時代的舞台。

最早的商業組織形態多是獨資與合夥人制，而後因為海外貿易和興建鐵路的業務出現，市場需要巨額資金，股東(股份公司)的概念得以萌芽茁壯。聚集大眾的資金投入有高額報酬(但也有高風險)的事業，就是股份公司最早的雛型。而不同的政府官員面對這種新形態的商業組織，採取了截然不同的管理態度。有人認為要把投資者和經營者一視同仁，投資者在公司虧損(倒閉)時要連帶負起責任。另一派則主張投資者只需要負擔有限的責任，額度就是投資者當初投入的金額(意思就是投資慘賠，賠完就沒事了)。想當然耳，目前大家習以為常的是後者(投資人投資失利時，只會損失自己投入的資金)。

中半段介紹了美國大型企業興起的黃金時代。從一開始僅是為了募進資金來打造國內的鐵路系統，到後期幫助工業化企業注入資金活水，股票市埸成就了舉世閒名的大公司。福特、奇異等企業都是在此時代嶄露頭角，企業間的合縱聯盟也在此時進入戰國階段。現今的反托拉斯反壟斷的措施，就是防止那個時代商人們惡性經營手法下的產物。

在美國公司逐步走向大型化的同時，日本與德國則走向相似但不相同的道路。由於民族文化的差異，日本人從一開始就認為國家的利益遠重於各別公司的發展。而德國是選擇尋求在社會責任和企業利益之間找到一個妥善的平衡點。德日兩國都是實務主義的超級資優生，各自完成了令人驚豔的商業成就。自此，美國的專業經理人制度、日本的財閥體制和德國的工會組織，交織成了影響世界商業文明的面貌。

八零年代是美式管理資本主義的全勝時期，建立起「專業經理人」的概念。為了管理規模龐大的公司體系，企業訴諸於通才型的管理人才。股東則將營運職責全權交付給管理團隊，股東利益和管理者利益開始浮現衝突。無數的「組織人」成為商業機構裡最亮眼的星星，從公司中一路升上最高管理階層成為許多員工的志向。同時間的日本財閥採用的「終身僱用制」培養出一群堅毅的企業戰士。企業組織以長久穩定的利益吸引員工，員工則報以全心全力的投入工作當作回報。看來一切都如方程式般美好，但現實總不如人所預期。僵固的僱用制度同時引來了組織的固步自封，當面臨市場破壞式的創新時，大企業紛紛不堪一擊。

接下來商業組織風向你我就都大致詳熟了。美國企業轉向實力主義，從一而終的職場生涯，像歷史遺跡般被人遺忘，組織人也不再被人嚮往。商業英雄的角色改由新創公司的老闆扮演，群眾和媒體對各新創業主的一舉一動關注至極，專業經理人成為商業組織中的配角。日本企業也開始放棄終身僱用的作法，取而代之的是天平另一極端的人力派遣制。貧富差距拉大讓勞資更加不信任彼此，有志之士紛紛投入創業，商業氛圍又走回自營與合夥人的風口。

藉由這本書詳實的介紹，讓我們能瞭解即使是習以為常的公司組織，也是一步步演進成長。能體認到外在商業環境的變化不曾停止，組織文化的形式不會永恆不變，更能讓我們放開心胸看待職場上的風風雨雨。

然後你就死了：被隕石擊中、被鯨魚吃掉、被磁鐵吸住等45種離奇死法的科學詳解

書名很有無釐頭風格，但是十足地名符其實。作者用一篇篇有趣的各種死因命題，慢慢帶出各式各樣的科學知識。我一樣是被一篇「睡不著會怎樣？」的網路文章所吸引，發現這本幽默感滿點卻又讓人學到不少有用人體小知識的書。

在各式各樣的死因文章中，可以發現作者對外太空死法比較有偏好。書中出現過數次以上的人體電漿化(笑) 。雖然那些情境百分百不可能發生在你我身上，但也令人欽佩作者居然能找到這麼多推論用的科學立論來描述這些胡思亂想。從書中看到的人體組織結構的小常識，或多或少能解答一些我們曾經困惑但沒去用心找解答的問題。

像是小朋友為何跌倒不會怎麼樣，但大人跌倒卻會出人命。(參考:踩到香蕉皮滑倒會怎樣？)在掉落的電梯中觸地的最後一刻跳起來，能不能避免受傷。(參考:電梯纜線斷了會怎樣？)常見的人體排毒說法，真的確有其事嗎？毒素又是從何而來？(參考:睡不著會怎樣？)上述只是舉一兩個有趣的案例，整本書中充斥著相當有用的生物學知識，當然是覆蓋在作者略帶黑色幽默的文筆之下。

總得來說，這本書的風格非常像是「空想科學讀本」。但卻不會有「空想系列」後期太多數字描述令人感覺疲勞的敗筆。另外「空想系列」畢竟是著重於動畫卡通的科學知識討論，在實用性上也差了此書一節。推薦給每天有個幾分鐘空閒，想要閱讀風趣文字但又能學到新知的人。

大數據分析與應用-使用Hadoop與Spark

「天大、地大、台科大」果真名不虛傳！這本講述如何運用Spark平台做大數據分析與機器學習的書，可能是台科大圖書出版來當做教材的。如果能按步就班地把整本書學習完，學生在大數據與機器學習上的實作能力會有相當的水準。台科大果真是曖曖內含光。

話說回來，這兩三年都在弄大數據應用，因此相關的書買了不少也讀了不少。這本書被選中的理由是第九章的「大數據分析應用基礎」中，有一些之前沒看過的程式技巧令我感到興趣。諸如用Map/Reduce寫出「矩陣相乘」的答案、購物籃分析中常見的「頻繁項分析」、搜尋引擎中的「文件資料反向排序」。特別是「相似度計算」小節，正是我先前一直想找到的實作範例，內容十足珍貴。至於「One-hot編碼」部份因為在讀書會研讀的另一本書中已經講述了更有效率的做法，書中內容就略嫌簡單不好用了。

原本打算閱讀這本書時，同時把Scala語言做個深度的練習，因為恰好整本書都是用Scala當範例。不過看到後半段時發現自己已經太習慣用PySpark來撰寫大數據分析程式，有點受不了需要編譯過才能執行的Scala開發手順。後來就把所有後面章節裡的範例，全部改寫成Python語言版本的程式碼。結果整本看完了Scala還是不熟...

如果以要學習如何在Spark平台上做大數據分析與機器學習，這本書真的值得好好閱讀，不愧是台科大的教材。但其中還是有一點令人感到遺憾的，書中的內容有一部份是和林大貴出的「Hadoop+Spark大數據巨量分析與機器學習整合開發實戰」雷同。如果兩本書都有買的人，就會覺得這本書要去頭去尾抓中間了。

原來這才是日本

因為在網路上看到一篇名為「滅私奉公的武士道遺毒，令日本人停止不了賣命工作」的文章，內容講述日本上班族根深蒂固的加班文化。作者以淺顯而平實的文字，描述了日本職場上的氛圍與現實。我就對此書產生了一探究竟的念頭，想當然耳馬上在網路下單買回家慢慢讀(網路上的導購文章很有效，請重視)。

自311東日本大地震後，台日友好已成為兩地人民耳熟能詳的台詞。而台灣民眾年年不斷增加的遊日人數，在在也反應出台灣對日本所抱持的強烈好感。如同作者書中所言，台灣可謂是日本在世界上最親近的友人。然而在此同時，由於歷史文化的不同，台灣人卻不見得十足明瞭日本人在一言一行背後所沒傳達出來的言外之意。

日本人所重視的「讀空氣」和「形」等特殊文化，以華人來解讀總是有種隔靴瘙癢之感。作者以一位長期外派在台灣工作的日本人身份，用台灣人習慣的言詞做為媒介，替我們解析日本人獨特的思維。書中內容都是野島剛在不同網路媒體中曾發表的專欄文章，文字風格和見解有穩定的品質。藉由其以日本人的觀點切入命題，講述日本社會體制中與台灣文化的不同之處，每每都能讓讀者有獲得新知的樂趣。

網路時代，內容的獲利模式一直找不到方向，提供引人入勝的文字，日積月累後再集結成書出版，吸引想更進一步閱讀的目標讀者。此為作者替自己找到的方法，就不知廣大的消費者是否願意買單？

絕望工廠 日本：外國留學生與實習生的「現代奴工」實錄

說來也巧，在出發到日本旅遊前就買了這一本書，源由是一篇節錄內文的網路文章(文章推薦真的有效呦~)。不過書到的時候，已經是出發前一兩天了，想當然耳也沒心思把它看完。在東京的自由行中，吃喝玩樂買都讓我留下非常好的印象，一個沒有機車噪音的國度，耳朵也清靜了不少。

在走走看看的過程中，卻也發現超市、超商裡的服務人員不少是各式各樣的外籍人士。當下只覺得不愧是日本東京，有這麼多外國人願意從事藍領工作，只求能在這個國度中佔有一席之地。

回國後一邊抱持著對日本的好感，另一邊剛好也想瞭解那些日本"外勞"背後的故事。就把這本書翻閱完畢，才發現日本果然是個表裡不一的國度，用簡單的方法說就是一個超愛面子的國家啦。高齡化和少子化問題，對於台灣而言或許是近年來才被重視的社會議題。但在日本，這個問題已經持續了十年以上，因此引發的社會問題，更是提早浮現。

勞力工作人口的短缺，加上日本政府好面子的堅持立場。造成了大多數的藍領職缺，只能藉由外籍人士用留學打工的形式補足。在名不正言不順的制度之下，就充斥著許多遊走法律漏洞，欺騙與舞弊的模糊空間。書中描述的欺壓外勞案例，不時會讓人聯想到台灣外勞的處境，對於外勞政策的忽視倒是某方向的台日共識？

從這山望那山，外國的月亮總是比較圓，或許只是距離造成的美感。日本，問題也不少

30歲後你會站在哪裡？3：不想被「未來」淘汰，就必須搞懂「資本主義」的36個駭人真相

這算是書名取得很成功的例子，對於年紀超過三十的民眾來說，或許會好奇書裡中描述的內容為何？令人驚豔的是，書中對於資本主義所抱持的觀點和態度，可以說是忠言帶著些許的逆耳。畢竟實話多半不好聽，但如果靜下心來仔細想想，現今的社會好像就是這麼一回事。

資本主義社會下，資本家的遊戲規則是升斗小民接觸不到的，多半只能流於猜想。但也不表示我們不能嘗試理解陷阱所在，畢竟不少的資本家獲利來源，是源自於廣大的平凡老百姓。說來令人失望，在資本主義遊戲中，雙贏的模式幾乎不可見，相對著則是充斥著勝者全拿和優勝劣敗的叢林法則。

這本書的作者就是以淺顯易懂的文字，告知讀者們許多資本主義中常見的騙局與真相。個人覺得比較有建設性的概念像是「要清楚通貨膨脹對財富的長期影響」、「消費性商品是財團獲利的來源」，都是值得細細品味思考的內容。不過或許作者是從資本市場中成功獲利的少數人，多數章節都是藏有鼓吹讀者投入資本市場，以錢滾錢才是聰明人這種訴求。

台灣社會真的如作者所言，是個「99%的人都會以錢取人」，這點我想是無庸置疑。但如果想要賺錢的方法，僅限於從資本市場中進行標的物(不論是股票、土地房屋、資幣)交易從中取利，那社會所需要的實際生產又要由誰來做？一個只笑貧不笑娼的社會應該是病態的，但一個只講求結果(變得富有)不講究過程(藉由投機炒作)的人，也算不上健康。作者或許是一片好意，想用個人經驗告訴大家變得富有的一種可行方案。但如果整個社會的思考模式都像他一樣，感覺也不太妙...「慈不掌兵，義不經商」古之名言呀~