2019年6月29日 星期六
日本情感研究權威的人工智慧秒懂攻略
面對自己不理解的新事物時,不是出自恐懼而提前全盤否定,就是過於樂觀一味照單全收。在人工智慧崛起的時代,知識工作者如何理解、接納AI,更甚者能與AI攜手合作開創新局,一切都得源自於從正確地學習AI的優劣勢與相關的基礎觀念。而「日本情感研究權威的人工智慧秒懂攻略」就是讓讀者開始接近AI的一本佳作。
作者「坂本真樹」(女生)是日本人工智慧研究的專家,本書是她獲日本出版社之邀,為一般大眾專文撰寫的科普內容。內容從歷史上的三次AI熱潮談起(由深度學習帶起的今日,是第三次),又將人工智慧確切地定義分級:
第一級:相當於程式自動化的控制系統(搭載AI的家電產品、簡單邏輯推論)
第二級:可處理多重輸入對應複雜輸出的電腦系統(掃地機器人、資料庫比對、知識推論演算法)
第三級:以資料為基礎,為各種輸入與輸出建立關聯性(搜尋引擎、機器學習)
第四級:能在特定領域中發揮甚至能勝過人類(自動駕駛、特化型人工智慧)
第五級:不限定領域在各方法都能勝過人類(天網、強人工智慧)
如此將AI分級的見解,在其它書籍中很少見,卻是非常直觀、清楚的AI辨識標準。
後續重點在解說人工智慧擅長和不擅長的項目是什麼,解述的內容都非常淺顯易懂,即使不是擁有資訊背景的讀者們也能輕易地閱讀。第三章有關傳統的「機器學習」以及最近熱門的「深度學習」介紹,就需要更用心理解的論述內文,特別是針對深度學習的「感知器」、「誤差反向傳播法」等術語,對第一次接觸的人來說可能會有點消化不良,但中間穿插深度學習如何讓圖像識別系統自動尋找特徵量的描述,以及最後章節介紹的各項AI應用,都清楚地讓讀者體會Deep Learning帶來的第三次AI熱潮,是貨真價實地改變了全世界。
隨著雲端平台和開源工具的蓬勃發展,可預期的是AI技術門檻會不斷地下降。不論在企業或個人層面,能掌握人工智慧而取其所長、避其所害的關鍵,相信就是抱持著積極進取的態度與求知若渴的初心,才能成事。
2019年6月15日 星期六
統計學,最強的商業武器
作者「西內啟」在書中直言不諱地聲稱「大數據」熱潮背後,有著IT產業行銷炒作的商業動機。他指出單以傳統統計學的觀念,足以帶領企業達成「數據導向管理」的轉型,而數據時代的重點在於思維不在工具。接著以一則19世紀英國倫敦霍亂大流行時的流行病學事件,讓讀者對統計學的威力產生興趣。
我的後見之明認為「統計學,最強的商業武器」這本在2014年出版的統計科普著作,確實無法預料在五年後的今天,大數據經由資料探礦(機器學習)的推波助瀾,判隨著深度學習的熱帶性低氣壓,形成了史無前例的人工智慧風暴席捲全球。
在「統計學,最強的商業武器」書中,西內啟旨向讀者說明統計學中的核心觀念。他認為統計學是所有學問的基礎,在以數據和統計分析為基礎的「實證科學」中,實證科學主導了現代醫學的發展,隨後也被人文、教育與法律等領域採用。
統計分析最核心的不外乎「誤差」和「因果關係」兩項重點。西內啟批評當今許多商業顧問製作的商業分析報告,頂多只做到19世紀以前數據分析的水準,簡單講都只是在「彙總數字」,然後用精美的圖表呈現。沒有標示誤差值的統計數字,本質上根本無法做為推論母群體的依據。世界上也斥充著未考慮因果關係的分析結論,錯把「相關性」當成「因果關係」。
統計學之父「羅納德.費雪」所提出「隨機對照實驗」,是實證科學最重要的必殺技,其在IT業界則有另一個眾所皆知的稱呼「A/B測試」。很多需要科學方法來假設與實驗的命題,在種種限制下是無法做到控制單一自變數的實驗設計。而「A/B測試」便是在「只要讓其它條件隨機化,便能讓兩個比較的群組條件達到相同狀態」的假設前題下,藉由「隨機化」的分群做法(分兩群),將其它條件自變數散佈於大量的取樣個體中,製造出兩群樣本中唯一顯著的差異就僅剩下選定的操作自變數,因而做到實證科學需要的條件限制。
隨機化雖然好用,但也不是萬能的魔法石,西內啟指出它有三項障礙:
(1)「現實」。做不到隨機化這個動作:執行的成本太高,無法產生足夠的事件(ex:登陸月球)
(2)「道德」。隨機化的動作不被允許:法律上、道德上不被容許(ex:隨機投藥給病人)
(3)「情感」。執行上沒問題,但可能帶來龐大損失(ex:動態訂價造成消費者反感)
在無法採用隨機對照實驗的情況下,「病例對照研究法」是目前廣被採用的替代方案。利用大量數據進行分層分析,獲得近乎隨機化抽樣的兩個群組,並在群組內做對照分析。固然在「理論上」只要不是隨機對照實驗就不算是在類似群體間做比較,但相關研究也證實了「病例對照研究法」產生的結論其實和隨機對照實驗結果差不多。
中間花了許多章節說明統計學中用於「預測」的「回歸分析」的觀念。西內啟以一個簡單的例子向讀者解釋「回歸分析就是從一方資料預測另一方資料的方程式」。回歸有「回歸平均」的特性,在數字夠多的情況下,單一異常值將會回歸平均值。即使是回歸公式中的回歸係數也帶有變動性,要能正確的運用回歸方程式,得額外考慮回歸係數的信賴區間、P值。這裡有個相當重要的觀點,即便已經採用了隨機化的A/B測試來進行數據分析,
最終在檢驗結果數據時,也應該再次確認P值。
西內啟在書提出了一個重要又簡便的表格,「廣義的回歸分析」分類表:
透過這表格,可以讓不熟習回歸分析實作的分析者,能快速找到正確的統計分析方法來進行數據顯著性的驗證。
具體來說,回歸分析在數據分析工具中,因為其回歸係數的易解釋性,讓分析者在對利害關係者的溝通時較為便利,奠定了它一支獨秀的關鍵角色。能用在解決分層分析會遇到的數據量不足與組合複雜化問題的「多元回歸」,以及預測值為二元的「邏輯回歸」,則都是回歸分析家族的一份子。
最後的章節,西內啟介紹了六大主流的統計學派:
(1)目的在於掌握實際狀況的社會調查法
(2)目的在於找出原因的流行病學及生物統計學
(3)目的在於測量抽象概念的心理統計學
(4)目的在於機械式分類的資料探礦
(5)目的在於處理自然語言的文字探勘
(6)著重在推論的計量經濟學
各學派對機率觀念上的對立,主要分成「貝葉斯派」和「頻率派」,其中社會調查、流行病學、生物統計學及心理統計學領域,許些的誤差足以造成龐大的社會成本,為此追求絕對正確的數據結論,採用頻率論者多。而資料探礦、文字探勘和計量經濟學,則是採用帶有推理性質的貝葉斯派。
因為工作緣故,我前些時日在機器學習上投入不少心力研究,回過頭來閱讀這本傳統統計學科普書籍,從另一個觀點來認識數據分析,倒也是別有趣味。這本書非常適合從事數據分析、策略規劃的知識工作者參閱,用來奠定基礎的統計分析思維。
2019年5月26日 星期日
AIQ:不管你願不願意,現在已是AIQ比IQ、EQ更重要的時代
如同書背推薦文字所陳述,「AIQ:不管你願不願意,現在已是AIQ比IQ、EQ更重要的時代」是用七位在人工智慧發展史上有舉足輕重的人物故事來引導出此門學科最關鍵的一些思維。隨著人工智慧佔據媒體版面的比例增加,各式各樣的評論、分析、專書和新聞,都交錯使用著「機器學習」和「人工智慧」兩個名詞,精確地說「機器學習」是實踐「人工智慧」目標的一種技術,而在大數據時代,機器學習以數據趨動模型,利用模型來模擬人工智慧的做法,目前是CP值最高的,也因此兩者常常混為一談。
七個故事帶出了七位人物,也展現了七個影響數據分析領域的重要觀念,隨著閱讀「AIQ」的各個章節,讀者們也更為深入地理解AI的主成份。首先登場的是二次大戰中的統計學家「亞怕拉罕.沃德」,他針對盟軍安全返航的轟炸機所進行的統計作業,常常做為「倖存者偏差」的故事為人津津樂道。作者卻指出這個故事真正的價值不在於沃德天才地發現轟炸機引擎是最需要強化的部份(因為這種「發現」並非反常識),而是他對於遺失的數據資料進行了大量的重現,以完成轟炸機脆弱部份的「條件機率」統計,「條件機率」也是現今眾多電子商務推薦系統的核心觀念。提到推薦系統各式文章總會提到Netflix在其影片推薦系統所下的心力,並強調「協同過瀘法」的成果是如此的驚人,這部份我是持保留的態度,因為協同過瀘法本身是有許多問題點,讓它無法滿足各種推薦情境。
第二位是女天文學家「亨麗愛塔.勒維特」,她利用了大量的天文影像資料,歸納出一條預測脈動變星的線型公式。作者整理出此一壯舉帶出的兩個核心AI概念:1.在AI領域,「模式」指的是一種預測規則,使輸入產生預期的輸出。2.「學習模式」代表在數據集之中擬合良好的預測規則。後續內文更進一步地闡述「模型辨識」為何在今日變得如此強大,關鍵因素在於「更複雜的模型」」、「巨量數據」、「誤試(Try and error)」以及「深度學習」。在閱讀的過程中讓人進一步地體悟到在機器學習中「過擬」和「擬合」之間的交相關係。沒有「擬合」就沒有可以用來預測未知數據的模型,但「過度地擬合」反而招致充滿偏見的模型,無法用在實務的環境中。具體地說,機器學習的建模過程,就是試圖在擬合和過擬的現象之間,找出正確的「甜蜜點」。
美國海軍的「約翰.克雷文」則為我們帶來了「貝氏搜尋法」的觀念。呼應沃德章節中所介紹的「條件機率」,貝氏定理是更進一步應用條件機率的機率預測公式。其本質是:先驗信念+事實=修正後的信念。其實日常生活中我們隨時都在運用同一種思維來預測事物,只是英國牧師「湯馬斯.貝葉斯」將其具體而微地以公式呈現,並改變了全世界。雖然概念和實作相對容易,卻多半能帶來令人驚豔的準確度,因此貝氏分類法運用在數不清的人工智慧應用中。
身為程式設計人員,相信沒人不曉得「艾倫.圖靈」的大名,但是卻少有人知道發明程式編譯器的「葛麗絲.霍普」女士。文中借由描述霍普如何發明程式語言,帶出人類如何和電腦溝通的方法的雛形。利用大量的規則定義,讓自然語言轉換為電腦機器碼的作法,一度被認為是唯一讓電腦理解人類語言的手法。然而技術的創新總是在眾人的意料之外,以數據統計資料為基礎的自然語言處理,在1980年後就成功地完敗規則法。「技術知識」和「事實知識」兩種哲學觀念,各自曾活躍在自然語言處理的開發過程中,而今「事實知識」傲視群雄為眾人所擁護。章節最後也簡略地由Google研發出來,利用大數據來進行自然語言處理的非監督演算法「向量詞」技術。
「艾薩克.牛頓」人類史上的大天才,在書中卻述說了他罕為人知的失敗故事。從中可以習知藉由統計數字的平均值和變異數,如何實作出簡易的「異常檢測」系統。而在大數據時代中,此概念更是發展到無微不至,包含信用卡異常交易、犯罪偵測、F1賽車維護都用到了此章介紹的核心觀念。第六章介紹的「南丁格爾」則是把讀者的野視拉到醫療領域,說明適當地利用數據如何增進病人的福祉。作者更以今日醫藥界現況做討論,認為AI在改善醫療品質的議題上可以更積極,也適當地提及隱私權的負面問題。
最後一章中,作者則對於許多AI樂觀主義者潑了冷水,反駁他們預期的「未來的AI將從數據中學會人類未知的知識」。文中說明,目前的機器學習技術都僅只能協助人類找出假設所求的解答,AI本身無法自行建立假設,因此與其說是人類依靠AI,更正確地說是AI無法離開人類自我發展。最後提到的「Google流感預測」例子,提出了「模型鏽蝕」和相對的「模型防鏽」觀點,相當了不起。目前許多想建置AI方案的經理人尚未有機器學習模型會隨著時間劣化的認知,藉由「模型防鏽」名詞的使用,相信更能傳達此一觀念。
2019年5月1日 星期三
印刷業崩潰日記
我們處在一個充斥著印刷品的時代,書藉、報章、廣告傳單隨處可見也隨手可得。也就是那麼習以為常的事物,導致無法感受到印刷品是眾多從業人員用盡心力才製作完成。
「印刷業崩潰日記」就是一本旨在介紹印刷業工作秘辛的漫畫書。以印刷業務部的資深員工為主角,每話穿插著每天都可能遇到的突發狀況。在排除足以開天窗的大麻煩同時,也仔細講解了印務中的各項關鍵步驟和潛在危機。每頁還補充了「基本印刷用語」,看完整本書,大致就像上了一堂輕鬆愉快的印刷課。
雖然唸過廣告設計,也上過印刷課,但回想起來當初所學到的觀念遠不如「崩潰日記」這般清晰豐富。我想這就是目前台灣教育制度的核心問題之一,僅提供死板的課程綱要,無法引發學生對課程主題的興趣。
對於從事印刷產業的讀者,閱讀「崩潰日記」就像是偷看他人日記,有熟悉的環境又能看到不同的情節。而非印刷業的讀者們,則可以學到印務的相關知識,體悟到各行各業皆文章的道理。滿滿的印務知識中,最能用得上的是印QR Code時一定要確認的事項,而內容是什麼,就留得各位自己去書中確認了~
2019年4月8日 星期一
無用的日子
「佐野洋子」,日本著名的繪本作家。說來慚愧,她的著作我之前一本也沒看過。而這本「無用的日子」則是因為臉書上的朋友的朋友(有點遠)貼文推薦,好奇之下買來翻閱。
內文就是年長老太太的心情札記,隨性地談到街坊好友,買菜下廚生活大小事。由於佐野女士曾罹患乳癌,晚年又有點失智現象,當然書中也有穿插她自個對病症的嘮叨。從一篇篇文章裡呈現在我面前的老太太,不如作者自述般的負面能量滿點,反倒像是位充滿幽默感又嘴賤的老奶奶。
人生,如同佐野女士所說,沒有人教我們怎麼好好地變老。老年生活要怎麼過地安然自在,這堂課都只能自己慢慢摸索。
以世俗的觀點來看佐野女士,算得上是位成就非凡的一號人物,而藉由她毫不掩飾地文字描繪讓人可以體會到,面對人生的老病死,大家都是平凡無奇的老百姓。檯面上風風光光的名人巨富們,日常也是得柴米油鹽,想想,人生也不過這樣。
2019年3月30日 星期六
餐桌上的偽科學:加州大學醫學院教授破解上百種健康謠言和深入人心的醫學迷思
人到中年,會開始關注養生保健的資訊。就像一句老話「沒有代表健康的1,再多財富的0,都是沒意義的」。有年紀後就會曉得這真的是個硬道理,人們自然而然地留意起各種醫學保健消息。有吸睛率,新聞媒體也順理成章地報導著國內外的醫學新知。出版界當然不會錯過這個潛力市場,養生保健類型的書籍一直以來都是暢銷榜上的常勝軍。
「餐桌上的偽科學」是一本書很特別的保健書,內文是從林慶順教授成立的「科學的養生保健」網站中集結而成。換句話說,如果真的不想花錢買書,也可以到該網站看到相同的文章。閱讀林教授自述的內容,令人覺得其人有點臭屁有點老王賣瓜,不禁懷疑後續文章的真實性。但看完整本書後,會覺得內文的陳述都蠻公正客觀,文字又平易近人不賣弄學問。針對作者用心標注的參考資料來源,我則是程度不夠,無法一一驗證真實性。
書中取材自眾人曾聽聞的各種醫學保健迷思,其中不乏我從小就信以為真的說法。林教授引經據典地詳解相關實驗與研究結果,適時推翻毫無證據的謠言,像是醫學版的「謠言終結者」。而對於無法輕易獲得結論的問題,他也不會譁眾取寵地亂下定論,而是直接表明現有的科學證據尚無法對該迷思有定見。如此的醫藥常識好書,居然是出自台灣出版界(非翻譯書),令人相當開心,也期望好書不寂寞。
接下來將整理書中提到的各種迷思。就像有大量劇透,想要自己閱讀的人就別再看下去了。
- 不管現在炒作有多火熱,過量食用椰子油,對心血管有害的。
- 有機農產品一樣會使用農藥,有機農產品和維持健康之間,沒有顯著的相關性。
- 用水洗菜是最有效的做法,市面上的蔬果清潔劑不會增加清潔力。
- 基改和非基改食品,對健康與否沒有差異。基改手法早已存在於文明史中,以前稱為「育種」。
- 維他命市場是商機巨大的保健產業,但是額外補充維他命已被證實對健康有害。
- 酵素(酶)一被吃進肚子裡,經過消化會變成氨基酸,沒有任何生物功能,更不用說有任何保健效果。
- 自由基會造成動物老化,但自由基多的動物會活的比較久,自由基對人體的作用尚未有定論。
- 益生菌並不用額外補充,每個人有自己適合的菌叢,對健康的人無意義,但對生病的人可能會有害。
- 吃魚油保健品對健康有害,但來自食用魚類的魚油對健康有益。
- 膠原蛋白產品不論吃的抹的,都不會轉化成人體皮膚裡的膠原蛋白,用抹的頂多只有保溼的效果。
- 維骨力沒有療效,和安慰劑的效果差不多,最近連健保都承認此事,不納入健保給付。
- 醫學無法消滅癌症,癌變源自於生物細胞的進化本質,不過適當保健方法可以避免自身得癌的機會。
- 地瓜沒有抗癌效果,但是營養充足的超級食物。
- 微波不會造成食物的質變,進而影響人體健康。但微波食品可能本身就高油高鹽,對健康有害。
- 市面上一波接一波的非正規療法,如褪黑激素、葛森療法、生酮飲食都有極大的風險,要三思。
- 沒有酸鹼體質這回事,也無法改變人體的酸鹼度。
如果對上面的陳述想要進一步瞭解細節,就買一本「餐桌上的偽科學」吧~
2019年3月27日 星期三
資料科學的商業運用
我認為電腦資訊的書籍略分成兩種,一是教導語言、工具、框架的學習手冊,得搭配特定版本的軟體工具來閱讀。其次的是講解資訊應用的某種觀念、想法和核心理論,而這類型的書則是歷久彌新,像白酒一般越陳越香。「資料科學的商業運用」就是屬於後者的佳作,對於有志於數據分析(或更時髦的說法...資料科學)的人來說,是絕對不可錯過的殿堂級好書。
由於「資料科學的商業運用」內文中太多值得詳記的重點,就節錄部份精華穿插在讀後心得裡。開頭作者就先解釋了資據導向決策(Data-Driven Decision-making),是以數據為基礎來進行決策的一種思維。想要達成運用資料科學來增進商業價值之前,經營者必須先捨棄官大學問大的惡性,建立客觀、數字化的決策流程,按步就班的操作與修正,才有機會獲取數據推動營運的終極目標。
而書中也提及了資料採礦的九種典型任務,包含了:
1.分類(classification)
2.回歸(regression)
3.相似性比對(similarity matching)
4.聚類(clustering)
5.共生分群(co-occurrence grouping)
6.剖析/行為描述(behavior description)
7.連結預測(link prediction)
8.資料精簡(data reduction)
9.因果建模(causal modeling)
上述任務基本上就涵蓋了市面上常見的分析類型。
資料的「漏洞」指的是做為預測目標變數的相關變數值,在進行決策的當下是不可得的。例如預測誰是高端客戶的模型,如果採用的是消費者最後的結帳金額當做輸入變數(特徵),那就是漏洞。這部份在設計模型特徵時是潛藏的陷阱,把要預測的答案當成輸入值餵給模型,會得到超乎想像的準確度,但模型卻是不實用的。
這兩年來隨著人工智慧的火熱,機器學習、深度學習等名詞不斷地出現在報章媒體中,其實就技術層面來檢視,知識發掘與資料採礦(Knowledge Discovery and Data Mining)和機器學習在技術和演算法是共通的。但兩者還是有些許的差異,機器學習範圍還包含了機器人與視覺辨識等應用,而資料採礦則著重在將數據分析的成果應用在真實世界中,因此商業應用是歸屬在資料採礦。
在學習不同類型的建模演算法時,常會看到「超平面」(hyperplane)這個很高科技的字眼,其實它只是形容在N維空間裡分隔不同群組的的N-1維平面。而在二維的平面空間中,它就呈現為我們所熟悉的垂直/水平線,而以「決策線」(decision line)稱呼。
資料配適/資料擬合(fit),是機器學習建模中關鍵的步驟。參數學習(parameter learning)/參數化建模(parameter modeling)指的是先決定某些尚未確定數值參數的模型結構(ex: 線性模型 f(x) = a * x1 + b * x2 + c * x3 + ...),然後由數據採礦,依一組特定訓練資料集來算出最佳參數值(a, b, c...)。邏輯迴歸、支援向量機和線性迴歸都是這種線性建模技術,唯一差別是「目標函數」,最後就產生了完全不同的模型。
擬合是預測模式產生的原因,但過擬(overfitting)卻是模型喪失普遍化的成因。精確度和過擬是一體兩面的決則,利用「配適圖」的分析,可以正確找到最高準確度與最低過擬的「甜蜜點」。
用於檢視二元/多元分類模型結果的「混淆矩陣」,再轉換成「機率矩陣」後乘上另外定義出的「成本效益矩陣」,即可得算出總預期獲利值。預期值的概念對於預測模型的導入與否,提供了一種精確評估數字,不再落入一個模型自各表述的困境。
204頁的明確性公式居然寫錯!太令人失望了(正確寫法是: 明確性 = TP / (TP + FN) ),不過錯的太離譜馬上就查出來。
利用「獲利曲線」可以在目標市場行銷的實務,清楚描繪出適當的分類門檻,找出能獲取最大預期利益的最低正分類機率值(應該提供優惠的目標客戶)。當無法提供穩定的成本效益矩陣來計算預期值,獲利曲線也就無法計算,因此必須利用ROC圖/ROC曲線來評估模型好壞。書中循序漸近地說明ROC空間是什麼,分類器的門檻又如何在ROC空間中形成了ROC曲線。
書中值得深入吸收理解的資訊量實在太多,無法一一細數。不誇張地說,我認為能熟讀並活用這本「資料科學的商業運用」的讀者,足以擔任數據分析/資料科學領域的顧問了。
訂閱:
文章 (Atom)






