※ 引述《hugh509 ((0_ 0))》之銘言： : 先說我不懂AI運算 : 只是看了林亦的新影片 : https://youtu.be/UsfmqTb2NVY 就鬼扯，我也懶的噴他。現在老黃是遙遙領先所有人，AI全吃，沒什麼好爭辯的。 現在所謂的DL，第一需要的是運算，第二才是記憶體頻寬。 M2Ultra的gpu就27.2tflops(fp32)，跟3080差不多，但ampere有兩倍的(fp16+fp32accumulate)還有4x的(fp16)。現在fp16訓練就很夠了，擔心你可以用fp16+fp32模式，那也是2x你m2 ultra。 https://images.nvidia.com/aem-dam/Solutions/Data-Center/l4/nvidia-ada-gpu-architecture-whitepaper-v2.1.pdf https://tinyurl.com/yuak5w5d 4090是82.6tflops(fp32)，330.3tflops(fp16)。m2ultra連車尾都看不到，可憐啊。 然後M2Ultra的31.6tops，那應該是int8無誤如果是int4那就更可憐。4090是660.6(int8)tops與1321.2(int4)tops。這已經是被超車好幾十圈了。(tops是inference用的) H100 datasheet https://resources.nvidia.com/en-us-tensor-core/nvidia-tensor-core-gpu-datasheet https://tinyurl.com/bdfuutbe h100 pcie是最低階的 756tflops(tf32) 1513tflop(fp16) h100是狠狠的虐了所有人包含a100。2x~4x(a100) https://www.mosaicml.com/blog/amd-mi250 AMD的mi250不到a100的80%，mi300的specs其實跟mi250差不多，mi300主要是apu功能。 只有google的tpu跟intel的gaudi2跟a100有輸有贏。 https://mlcommons.org/en/training-normal-30/ gaudi2在gpt3的訓練大概是h100的1/3性能。 intel為什麼要取消rialto bridge？現在ai當道，fp64強的hpc架構根本毫無用處。AMD因為只有mi300所以只能硬上了，但383tflops(fp16)要怎麼跟1500+tflops的h100比？ intel現在把資源集中在gaudi3/4，期望2年內可以看到老黃的車尾。 有人以為老黃只是因為cuda軟體贏。其實nn很容易移植到其它架構，老黃是硬體大贏＋長期耕耘ai。 -- ※ 發信站: 批踢踢實業坊(web-ptt.org.tw), 來自: 36.224.249.214 (臺灣) ※ 文章網址: https://web-ptt.org.tw/PC_Shopping/M.1688351283.A.3EF