EP4 | AI 背後的巫術大解密 Feat. Vito

這集內容超精彩，包羅萬象，你想了解的所有 AI 問題都在這集，延續 EP3 我們邀請到 AI專家 Vito 幫我們揭開關於 AI 的神秘面紗💡 

本集主題 
• AI 的三大面向組成 
• 生成式 AI 的概念是甚麼，和 ML 機器學習、Deep Learning 深度學習有關係嗎? 
• 很常聽到的AI 需要很多算力，算力到底是甚麼意思? 
• 為甚麼算力不足、負載不足，會導致 AI 產出結果失敗? 
• 如果 Vito 可以改變 AI 伺服器的話，會想改變哪一個部份呢? 
• 一顆 GPU 要價多少? 為甚麼 OpenAI 想自己蓋晶圓廠? 很常聽到 AI 新創要各種籌錢?
🚀 記得訂閱我們的節目，每個月都有新的內容等著你發現。Take a Byte，讓我們開始這場數位之旅吧！🌟 

歡迎留言跟我們分享你的想法以及心得回饋歐~  

Transcript

0:01

Hello大家好 歡迎收聽Take a Byte科技咬一口 這次節目中我們會用輕鬆聊天的方式討論IT 網通技術以及產業大小事 You can also catch our content on Youtube with subtitles, link will be in the descriptions below 這是AI內容的第二集 如果還沒收聽第一集的朋友們可以先按下暫停 聽完後再回來 Johnny喜歡用ChatGPT 那你有沒有試過同樣 一個問題 在不同的AI模組上 去問的時候 得到的答案會一樣嗎？ 還有學會不一樣 而且會有時候會就是因為有些東西 我們可能比這些AI的所謂的 我把它稱之為可能是聊天機器人 我可能比他更瞭解那個東西 他答出來的答案 你就知道他在亂講 有時候真的會這樣 有沒有例子 我有例子 像比如說 那個時候我們就用 個微軟那個Bing不是很有內建 就是像ChatGPT那樣的 我就會問他說請問美國職棒史上打最多安打的人是誰？ 他講出鈴木一郎沒有錯 但是安打的數量跟他的時間是完全錯的 OK 對 就是會這樣 那我剛才有個問題是想問就是說 Vito哥有講到一件事情 就是說準確率這件事 那我們常常聽到算力算力這個名詞 那算力越好 是不是我們可以把它想象成當算力越好 越強的公司它算出來的這個結果會準確 可以像理解嗎？ 不見得耶其實以AI來說它有三大部分組成 硬體部分就是你所謂的算力 它也需要有一個數學公式 也就是演算法幫你完成這件事情 當然最重要它還是要有資料及大量的資料去幫助它 這個演算法算出來 資料越來越準確 這三個因素缺一不可 就像我們讀書一樣 你的腦袋就是你的算力 但是你的理解方式 就是可能就是你的演算法方式 你的數學 那是我們在算數學的時候 你的database 之前曾經看過多少 那就是你的參數你可以用多少進來過 所以其實每家做法都不太一樣 難怪我數學那麼差 應該是演算法這方面弄 應該老師的問題 不要不要怪老師 要怪自己 剛剛講到那個 Generative AI 生成式AI 它是怎麼樣的一個概念？ 生成式AI是什麼樣的概念？ 跟機器學習有關係嗎？ 有 生成式AI 其實是從機器學習延伸下來一個叫深度學習 它是屬於在深度學習裡面領域的東西喔！ 那它的資料分析量跟它的處理方式 就跟 我們認知的機器學習又有點不太一樣 但它所用的算力 跟它的所所謂的資料量會更大 所以我會想AI是一個最大外圈叫做AI 然後中間有一塊領域叫機器學習 然後再裡面有深度學習 是沒錯 還有更深嗎？ 目前沒有 深度學習主要用 的演算法大部分是我們神經內的演算法 就跟我們腦袋裡面神經元一樣 一個觸動 也就是說 一個資料 產生一個新的接近於原本的資料 然後一直持續的產生 最後變成一個全新的資料 原來如此 一聽到神經元 這個完全腦袋算力不夠 這對我們算力不夠 因為講算力然後剛才有講到AI 它是一個吃的怪獸 那 它算力這個名詞有一些抽象的 那可能要用怎麼樣的方式 能夠讓觀眾更加理解算力是什麼 雖然剛剛Vito哥有講到算力就像腦 但是我還是無法 理解我的腦跟你的腦差別是什麼 所以我們的算力不一樣嗎 嗯 計算機 也就是我們電腦來說它的算力 其實 我們腦袋算一加一這種簡單的數學應該是非常快速對吧？ 對那但是以電腦來說它算 一加一大概需要5到7個位元 五到七個 步驟去算它 我們通常算這個就叫算力 我們可能覺得一加一 等於二這件事情是一個理所當然 很快就可以算出來 但電腦需要經過這麼多步驟 纔能算出來它想要的結果 這些步驟我就稱為算力 那電腦的算力通常就是有單位來說好了 它就是現在流行 有兩個 一個是TOPS 那一個是FLOPS 這兩個其實對我來說都差不多 一個是是整數 一個是有小數點的 算力的單位？ 單位 對 我現在腦袋在算力已經有點不足了 現在再講什麼 這個比較偏向計算機概論 太複雜 那算力中間你說7個位元 中間如果有斷的話 是不是就有點像 我們問ChatGPT 有的時候會導致它突然就跳 錯誤出來 對 但是當你的算力不足的時候 或者你 負載過重的時候 它就會開始沒辦法控制 那它它是怎麼樣？ 為什麼會這樣 總是被背後的那些機器它過熱嗎？ 還是超載了太多使用？ 這個我想問題應該蠻多因素的第一個 可能當時的負載可能是過大的 它沒辦法 一次承受這麼多人同事間的詢問 它就像你們剛剛說的 我們可能問它一個簡單的問題 它需要用到多少算力？ 那萬一同時間有1萬20萬100萬人進來的時候 他的算力是不是可以負荷？ 這是一個問題 那第二個我們當時的網路品質 它是不是有辦法 直接接收到這些訊息我覺得也是一個問題 那我想想看 還沒有其他的因素 節能跟耗電有沒有關係？ 其實資料中心它們大部分裡面 現在用的這些的 像ChatGPT都是放在資料中心內 他們有專門自己的供電系統 那就我來看 比較容易發生的問題應該是你的算力 算力資源不足或者是算力資源不足 就可能衍生 出很多問題啊 那大部分都是硬體上的配置的問題 第二個就是網路延遲 嗯 對硬體上面 啊 你剛剛有問題要問 所以我就說就是有點像是說有的感覺 就像說我們人 比如說我們算1加1等於2很快的 但今天如果我跟你說 999減300 我們可能要經過很多步驟 這感覺是很像算力 就是比如說你問的越複雜 他需要算力要越多的過程 步驟越長的感覺 是的沒錯 但是現在的電腦因為它的算力都 已經像以TOPS來說的話就可以執行 得1000萬以上步驟了 所以對它來講 它是小case 我剛剛講那個才五個 七個對 但它一秒可以執行千萬 所以這時候我們的算力跟電腦要比 落差很大 真的要跟他們共存了 最明顯的譬如說電腦來算Pi 3.1415.... 那個 對吧？ 我們人去算算了 100年幾百年 現在好像小數點一下五十九幾位 200多位 它一下瞬間就可以算到千位去過 超厲害 因為Vito哥我知道 就是 你跟他講說是負責就是公司研發 AI伺服器的部分了 因為現在已經有很多AI伺服器 在產業上面 如果要讓你改變 它的一些設計 你會你會做出什麼樣的改變？ AI伺服器其實我個人認為有幾個面向可以去試著改變 第一個我們要提到節能 因為現在AI伺服器 太耗電了 上一集我們要講 它非常耗電 現在需要用很多比較新的一些冷卻技術 像是 液冷技術或浸沒式冷卻 去讓它的效率 這散熱的效率比較高一點 不然它過熱就只能電腦 就燒掉 就燒 不要這停擺 我們剛剛其實有提到ChatGPT 它大概結合了15 000臺的 我認知中的那個比較大型的AI伺服器 那個AI伺服器裡面會有八個GPU也就是說 它會 一次要同時兼跑十二萬個 一個GPU多少錢 現在27000美金 一顆27000美金 所以為什麼OpenAI需要大量資金 而且Sam Altman大家要自己蓋的晶圓廠 這是一個好生意 難怪大家都要做 所以我剛剛提到第一個能源效率上的改善 因為 其實你把越多的能源用在運算上 而不是花費 能源在冷卻啊其他的地方上 那你的算力整個 就可以提升更高 因為能源是固定的 我們的現在目前 可以產生的能源 一座核電廠可以產生能源固定的 其中20%或者30% 雖然可能10% 我不知道到底多少 你用在冷卻上 假如我有更好的方法 讓能源效率提升的話 我就可以把這些能源全部 用在算力上 所以我的算力就可以提升了 OK 嗯 那還有嗎？ 還有別的你覺得特別想過改變的第二個 其實現在的我們剛剛提到LLM和LAM 其實這些都需要大量的所謂資料 參考的資料 那以ChatGPT 來說它需要1750億個參數吧 1750億的這個概念什麼？ 你光數字我就不知道你要數多久 它花了快2年時間去跑 是1750億的參數的資料產生了ChatGPT 這個軟體出來 那以我來說這麼大的資料量 可能GPU自己處理 因為我剛剛有說 它的資料處理是有一個步驟的 當的原始資料 進來的時候 產生一個接近原始資料的新資料 一步一步一步一直去產生然後最後產生 出你預期的 它預期的要產生的資料 那這些過程裡面會有大量的資料在不同的GPU之間傳輸 那資料傳輸是我們的最大的 以我硬體角度來看是最大的瓶頸 也就是說這有點牽扯到計算機概論的領域啊 我們現在的資料傳輸必須得透過CPU 它只能PCIE一條通道去做資料傳輸 可能要簡單一點 好 大家腦袋的算力已經不夠了 用大小水管來講 我又在發呆了 過熱力過熱了 我們可能資料在不同的 之間傳輸的時候 就有點類似一條小水管 其實我們現在資料量太大了 那水管永遠的是塞滿 我們需要更大的水管 更大的水管對我來說 就是現在的網通 就是我們用800G這種Port之類的 現在到800G了 現在目前還沒有 到800G 現在主流是400G 雙400 當然我們要乘上時代的浪潮 800跟跟着這 跟著這個AI的浪潮 那我蠻好奇剛剛Vito哥有講到的 “參數” 參數概念要用什麼方法去理解它 比較好到什麼參數？ 我簡單舉個簡單例子 好了 2019年我在學習什麼叫做機器學習 那我像Microsoft租了Azur的平臺 做雲的那個？ 對 那我用最簡單的方式 我辨別什麼叫狗？ 狗 OK 帶他自己就上網站去找一堆的圖片來 學習他抓了多少圖片？ 從我下下指令 寫完Python 請他去抓 到我隔天總共十一個小時 他總共抓了700 我記得是790萬張圖片 795萬張圖片 790萬張就是 “參數” 那這跟剛剛講的那個ChatGPT 幾個億 1750億 差很多耶 代表他背後算的資料量 非常大 你資料量越大 它就越準確 因為有時候有些狗可能他正好長得像豹？ 就會誤解說這可能是豹 這可能是貓 讓你們猜猜 我十一個小時 訓練完 之後他的最後正確的辨別率是多少？ 我猜猜看%數嗎 1 2 3

Johnny: 95% Ray: 13:15

30% 答案是78% 78差點就是不能再高87% 差一點 我以為會很低耶 500萬張以圖片辨識來說 500萬以下可能達到你講的算很少的不算 500萬張以下可能就會像你講的 因為他會落差很大 對 可是你想想 你對人來講 500萬張 這是一個多麼大的數字 對啊 我要看500萬隻狗 我才認得出來 他是狗 你講的數字 可能要到3000萬張才有 好難以想像 太厲害 真的 那這一集節目到尾聲了 Vito哥 這邊有沒有什麼需要補充的部分呢？ 我覺得這集真的學習很多 而且Vito哥 用比較簡單的方式 讓大家懂 長知識到剛剛都有一點放空 我想因為AI興起 大家對AI 就是既期待又有點害怕了 因為害怕會去做 一些不正當的事 像戰爭這類的事情了 但是它又可以帶來給 我們人類蠻多的便利 提升了我們滿多的的效率 那我覺得我們應該是用比較正確的方式去認知它 因為它畢竟現在目前來看還有很多的極限 它沒辦法做成的事情 那我們當然希望AI 未來會越來越好 但是目前來說 我們應該是不管是在於愛護地球 我們剛剛講能源的事情 或者是我們新的 科技的發展中間去取得一個平衡 讓我們能夠 既愛護地球 又可以發展我們的科技 是的 而且它就是很重要的 就是所謂的科技監管 這些事情 就是AI它產生像剛才Vito哥講的道德上面的問題 對 那這個東西的話是不是也是一個其實我們大家要關注的事情 因為像馬斯克 他們之前他其實有針對這些事情經過討論過 是的 而且他以前原本是在OpenAI 後來他退出時是有部分原因 我記得也是跟這個東西有關 沒錯沒錯 也其實現在是大部分的无法可管 所以也沒人知道可以運用在什麼地方嘛 那現在目前來講最擔心的就是應用在戰爭 你無人機搭配AI的話 那真的是一個很可怕 要怎麼去防範的 所以需要有一些法律上的規範啊 尤其是大家有共識 後面怎麼變得那麼嚴肅 不是要開心輕鬆的嗎 我們來問一個簡單的問題好了 順便問一下觀眾那 收聽完這集顛覆了你原本對AI的想象了嗎？ A： 才沒有 我才是AI大師 B： 超級顛覆我知識了！ C： 你有其他的想法嗎？ 請在下方留言 OK 那有長知識嗎？ 學習這一集之後 你就不悲哀 會得到AI知識 你在押韻喔？ 就不悲哀了 雙壓這樣子 跟我想像的悲哀是同一個嗎？ 你是說哪個 你是只悲哀就悲哀 你想到的悲哀是什麼 有點冷掉 哈哈哈哈 反正會剪掉 沒有 應該不會 看她想不想剪 不要害我 那Vito哥想的悲哀是什麼 工廠的即使管理的BI 英文的是嗎 我有點忘了 Build-in system? Brandon Ingram 中距離 謝謝大家收聽今天的Take a Byte 科技咬一口還沒訂閱關注的朋友們 請花一秒鐘的時間揍爆訂閱按鈕 你也可以到各大Podcast平臺收聽我們的節目 點擊下方連結追蹤 我們的IG或搜尋Take a Byte 就能找到我們喔 好勒期待下次見面！ 掰掰～