AI實戰應用講座：Crucial T700 Pro SSD 與 DDR5 Pro 提升你AI生產力
這次的講座邀請了阿吉老師的「全面升級你的 AI 生產力！」與
TC 老師的「零售 / 餐飲 AI 分析實戰應用分享」二位講師來進行AI的分享。
筆者自已也做AI差不多4~5年的時間，做的內容比較偏像是TC老師的數值型AI，影像生成AI今年也用Stable Diffusion畫了不少老婆就是…所以這次就結合二位老師的內容一併來講。
▲阿吉老師的「全面升級你的 AI 生產力！」
▲TC 老師的「零售 / 餐飲 AI 分析實戰應用分享」
筆者覺得現在高階電腦的需求就二個
- 遊戲用
- 專業需求，像是影像處理，還有就是今天要提到的AI應用
先來聊聊，為什麼有線上平台，還要自已去架Server跑AI，最主要的原因就是資料的隱私性與生成的自由度。
這陣子ChatGPT很紅，相信也已經有不少朋友已經用在工作上了，但如果是跟筆者一樣待在科技業的應該都有收到禁止使用ChatGPT處理公事，因為ChatGPT可能會把你輸入的內容拿去再訓練，造成公司的機密外流。
另外也有些資料是受法律保護不可以外流，像是筆者之前做醫院的急診室的AI，病人的病歷不只是個資，還是特種個人資料，不要說是用外部平台，光用院內的平台就已經有繁複的申請程序。
撇開個資問題，即時推論時如果還要把資料送到線上平台，推論完再回來，就失去即時性，尤其是像急診室這種需要非常即時的資料時。
影像生成上，筆者工作接觸的影像AI大多是用在標註，用Prompt生成就都是業餘時間拿來畫畫老婆。
線上平台其實有很多禁用的Prompt，但是Prompt又是深深影嚮出圖的品質和內容，例如想畫個天空，如果你的Prompt只會下Beautiful sky，可以加上像Glamorous、Fantastic等Prompt出來效果會更好，題外話，有多少聽過Glamorous sky這首歌。
此外，阿吉老師就有舉例，有人在微軟的繪圖平台Prompt下川普上手拷，不但圖沒生出來，還直接整個帳號被Band。
筆者是沒政治立場啦！！！只會拿來畫老婆，就拿Stable Diffusion來舉例，就拿畫面上這隻小貓來說，除了下little cat外還可以下什麼？
▲有自架過Stable Diffusion對這張圖應該不陌生
其實小貓還有另一個專用的英文字叫pussy，更精確的描述可以加上品種，如Canadian Hairless，最後當然不能忘了把老婆帶上，所以加上1 girl。如果有畫到人的話，筆者通常會使用Chilloutmix這個model然後搭配Lora使用，如果你用的是自架平台，這些Prompt是可以生成圖片，但如果你用的是線上平台這些Prompt是不被接受。但如果把pussy改成puppy就可以正常畫出，也許…平台的工程師是犬派的吧！！！所以不給畫貓就是…
如果你真的想畫小貓建議下kitten這個字，上面那組關鍵字下多了筆者怕你真的會被Band。
▲上面關鍵字AI生成的，最後也不要忘了政治正確（我最討厭像你這種直覺敏銳的小鬼了）
如果要自架平台，那強大的硬體必不可少。所以就進入今天的另一個重點：美光 Crucial T700 Pro NVMe SSD 和 Crucial DDR5 Pro 記憶體。
先來看到的是Crucial T700 Pro NVMe SSD。這款 SSD 是 Crucial 的旗艦產品。SSD最重要的的就是寫入速度，這次的T700 Pro是PCIe 5.0 的固態硬碟，支援 NVMe 2.0 協定，讀寫速度極快，高達 12,400/11,800MB/s，是上一代 Gen4 SSD 的兩倍，並且具有高達 1,500K IOPS 的隨機讀寫速度。
容量的部份有支持1TB、2TB與4TB可選，其它像是使用市面上最先進的NAND技術，採用了美光自家開發的 232層TLC NAND 3快閃記憶體，這是目前市面上最先進的 NAND 技術，這個聽聽就好，這技術太深，不要說一般人，科班生都未必懂，總之就是很先進。
此外，有玩遊戲的朋友都知道，現今的遊戲越來越大，3A大作一定是上百G起跳。Crucial T700 Pro NVMe SSD 還支援 Microsoft DirectStorage 技術，可以讓 GPU 直接存取 SSD 中的資料，不需要經過 CPU 的轉換，這樣可以節省 CPU 的資源，提升遊戲的流暢度和畫面品質。
▲Crucial T700 Pro NVMe SSD
接著來看到DRAM方面，美光是全美唯一的DRAM製造商，同時DRAM三大廠中唯一非韓國的製造商，另二家為韓國的三星 (Samsung)、SK 海力士 (SK Hynix)。
然後昨天亞運棒球2：0輸韓國，我就問這時侯韓貨你買的下手嗎xd
Crucial DDR5 Pro支援最高6400MHz的頻率，相較於DDR4記憶體快了一倍。其次，採用了雙通道架構，提升效能和多工能力。最後，它採用了低電壓設計，只需要 1.1V 的電壓就可以運作，比DDR4記憶體省電20%。
這裡總結一下DDR 5比DDR 4好的二件事，一是速度比較快，二是比較省電。
▲Crucial DDR5 Pro
速度和省電為什麼重要，就在於AI在跑時要耗費大量的資源，大量的資源就是要耗大量的電，尤其是GPU Node一開下去，那耗電就是不小。通常我們GPU Node一台是12張顯卡，而且不只GPU還要有相對的散熱等系統都要耗電，所以可以加快運算完電費也會省上不少。
▲阿吉講師也有提到的，AI訓練要大量的電費
▲阿吉老師也有提到的，AI訓練要大量的電費
效能上，因為這次筆者是沒拿到產品，只在現場體驗了一下，所以下面直接放上二位講師提供的測試資料給大家參考。
▲阿吉講師的效能體驗
▲TC老師的效能體驗
體驗的部份，當天現場準備了二台美光Inside的電腦，皆搭截了Crucial DDR5 Pro 5600 16G*2與Crucial T700 Pro NVMe SSD 1TB。
分別安裝了阿吉老師所講的圖片生成AI與TC老師AI X 餐飲零售分析。
因為筆者工作上一直有在Spark去進行資料的ETL，然後進去到AI，最後到呈現的部份。
所以在體驗TC老師的這部份時，相較於平常筆者在用的GEN 4和DDR 4的機器速度上是很有感啦！！！畢竟也碰了資料這段那麼多年。
AI生成的部份，老實說體會沒那麼深，可能是訓練上會比較有感，生成上最有感的應該是GPU效能的差異。
▲阿吉老師為大家帶來的Stable Diffusion（AI生圖）效能體驗
▲TC老師的AI X 餐飲零售分析效能體驗
最後來總結一下，這次的體驗會可以看出美光 Crucial T700 Pro NVMe SSD 和 Crucial DDR5 Pro 記憶體都是非常值得推薦的高效能硬體，適合那些對遊戲和工作有高要求的使用者。
到底要不要花錢升級還有升級後有沒有感，這裡筆者提供些自已的經驗。
首先，先去看你的CPU有沒有吃滿，訓練或推論慢，然後CPU又沒吃滿，第一步先去看你的硬碟I/O，最常見就是硬碟的I/O爆了，卡到那裡，通常遇到這情況想一次解決，一般我們是直接換GEN 5 SSD加做RAID效能通常一下子就上來了。
I/O順了，一般CPU和訓練速度就會上來，如果還想加速，就分配多一些CPU，CPU給到上限無法加速時，再回去看一下硬碟的I/O，如果沒卡，就有二個可能，一是訓練的程式多工沒寫好，可以Review調一下Code，二是記憶體速度跟不上CPU，這時可以先看雙通道有沒開，沒開就先開雙通道試試，不過通常Server都已經是裝雙通道了，再來才是換DDR 5的記憶體。
如果你有以上的需求想要升級你的電腦，不妨考慮一下這兩款產品。
沒有留言: