<p class="ql-block">原文</p><p class="ql-block">當(dāng)然。算法和算力是人工智能，尤其是大模型時代的兩個核心支柱。</p><p class="ql-block">簡單比喻：算法是“菜譜”，算力是“灶臺火力”。</p><p class="ql-block">1. 算法：解決問題的步驟</p><p class="ql-block">算法是一套清晰、有限的指令，告訴計算機如何一步步解決問題。它的核心在于邏輯與效率。</p><p class="ql-block">生活化例子：要找通訊錄里的“張三”。低效算法是從頭翻到尾；高效算法（比如按拼音排序后二分查找）則能秒速定位。</p><p class="ql-block">算法好壞的評價標(biāo)準(zhǔn)是“復(fù)雜度”，即它消耗的時間和內(nèi)存資源。優(yōu)秀的算法（如Transformer）能讓復(fù)雜任務(wù)“從不可能變可能”。</p><p class="ql-block">2. 算力：計算的能力</p><p class="ql-block">算力是計算機每秒能處理的信息量，單位是FLOPS（浮點運算次數(shù)/秒）。它的核心是速度與規(guī)模。</p><p class="ql-block">生活化例子：算力就是灶臺的“總火力”。用小火慢燉一鍋湯要幾小時，而用工業(yè)猛火灶幾分鐘就能搞定，但消耗的“燃料”也成倍增加。</p><p class="ql-block">在實際應(yīng)用中，算力依賴于芯片（CPU/GPU等）和集群（成千上萬張GPU卡協(xié)同工作）。</p><p class="ql-block">3. 兩者的關(guān)系：相輔相成</p><p class="ql-block">· 優(yōu)秀算法可以“省”算力：同樣效果下，好的算法能用一半的算力完成訓(xùn)練，或者讓算力一般的手機也能運行。</p><p class="ql-block">· 強大算力可以“養(yǎng)”算法：許多突破性算法（如ChatGPT）是“大力出奇跡”的結(jié)果——先靠海量算力暴力試出來，再反哺算法優(yōu)化。</p><p class="ql-block">· 脫節(jié)困境：有好算法但算力不足，像頂級菜譜配了火柴；有強大算力但算法糟糕，像用火箭爐煮泡面——都很浪費。</p><p class="ql-block">未來趨勢</p><p class="ql-block">· 算法側(cè)：研究更高效的架構(gòu)（如Mamba模型），讓AI能在手機、手表上運行。</p><p class="ql-block">· 算力側(cè)：研發(fā)更強大的AI專用芯片，同時通過“算力網(wǎng)絡(luò)”匯聚閑散資源。</p><p class="ql-block">· 終極目標(biāo)：用最少的算力，跑出最好的算法。</p><p class="ql-block">如果你想了解具體算法的實現(xiàn)原理，或者如何評估軟硬件算力需求，我可以進一步為你解讀。好的，我們來深入一層。之前用“菜譜”和“火力”比喻，現(xiàn)在我們從技術(shù)實踐的角度，看看它們到底是怎么工作的。</p><p class="ql-block">一、算法：從“邏輯”到“數(shù)學(xué)”</p><p class="ql-block">算法不只是一串指令，在AI領(lǐng)域，它本質(zhì)是一個從數(shù)據(jù)到輸出的數(shù)學(xué)映射。</p><p class="ql-block">· 核心指標(biāo)：評價算法好壞，主要看時間復(fù)雜度（運算次數(shù)隨數(shù)據(jù)量增長的速度）和空間復(fù)雜度（占用的內(nèi)存）。比如，在兩個十億級的數(shù)據(jù)集中找共同元素，簡單算法的運算量是天文數(shù)字（10^{18}量級），而哈希算法可降至約30億次，差別巨大。</p><p class="ql-block">· AI算法實例：以訓(xùn)練圖像識別模型為例：</p><p class="ql-block"> · 前向傳播：輸入圖片像素，數(shù)據(jù)在神經(jīng)網(wǎng)絡(luò)各層（卷積層、激活函數(shù)等）中計算，最終輸出“貓”或“狗”的概率。本質(zhì)是一系列矩陣乘法。</p><p class="ql-block"> · 反向傳播：根據(jù)預(yù)測誤差，從后向前逐層計算梯度，指引每個參數(shù)如何修正。這依賴微積分中的鏈?zhǔn)椒▌t。</p><p class="ql-block"> · 優(yōu)化器：用梯度下降等算法，按一定學(xué)習(xí)率更新參數(shù)。這就像是決定“下山”的步長和方向。</p><p class="ql-block">· 高效算法的影響：經(jīng)典的Transformer架構(gòu)（大模型基石）能并行處理整個序列，效率遠超老式的RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）。而像FlashAttention這種新算法，又通過分塊計算等方法，讓訓(xùn)練同樣模型所需的算力大幅下降。</p><p class="ql-block">二、算力：從“芯片”到“集群”</p><p class="ql-block">算力是物理世界的能力上限。當(dāng)你看到AI芯片算力是“200 TFLOPS”，意思是一秒能進行200萬億次浮點運算。</p><p class="ql-block">· 精度與算力：不同計算精度下，芯片算力不同。FP32（單精度） 是標(biāo)準(zhǔn)精度，算力值通常較低；INT8（整數(shù)精度） 適合推理，算力可以非常高。FP16/BF16（半精度） 是訓(xùn)練大模型的主流選擇，在精度和范圍上取得平衡。</p><p class="ql-block">· 從單卡到集群：GPT-4這類模型訓(xùn)練需要上千張H100（高端AI加速卡）并行工作。這不僅僅是堆卡，還面臨巨大挑戰(zhàn)：</p><p class="ql-block"> · 并行策略：要把模型和數(shù)據(jù)切分到不同卡上，比如數(shù)據(jù)并行（每張卡拿一份完整模型，分看不同數(shù)據(jù)）、模型并行（模型太大一張卡裝不下，得切開放）。</p><p class="ql-block"> · 通信開銷：卡與卡之間需要極高速網(wǎng)絡(luò)（如NVLink、InfiniBand）交換信息。通信一旦成為瓶頸，算力就會浪費。</p><p class="ql-block"> · 穩(wěn)定性：上千張卡一起跑幾天甚至幾周，幾乎必然有卡會壞掉。這就需要斷點續(xù)訓(xùn)和自動容錯機制。</p><p class="ql-block">三、算法與算力的協(xié)同演進</p><p class="ql-block">大模型的“涌現(xiàn)”現(xiàn)象，本質(zhì)就是兩者螺旋式上升的結(jié)果。</p><p class="ql-block">· 算法適配算力：GPU之所以能加速，是因為它的核心適合做大規(guī)模并行矩陣乘法。所有AI算法都要被重寫成這種形式，才能發(fā)揮算力優(yōu)勢。</p><p class="ql-block">· 算力倒逼算法變革：當(dāng)算力上來了，研究者才會去嘗試以前被認定為“太暴力”的新算法。ChatGPT的成功就是靠海量算力，先得到驚艷效果，再去研究背后的新原理。</p><p class="ql-block">· 經(jīng)典的“Scaling Law”（規(guī)模定律）：研究人員發(fā)現(xiàn)，模型的性能與算力（計算量）、數(shù)據(jù)量和參數(shù)量這三個因素，在指數(shù)尺度上呈線性關(guān)系。簡單說，把這三者同時翻倍，模型能力就會穩(wěn)定提升。</p><p class="ql-block">四、現(xiàn)實的脫節(jié)與未來</p><p class="ql-block">· 現(xiàn)實挑戰(zhàn)：我們經(jīng)常面臨結(jié)構(gòu)性的不匹配。比如，高校研究團隊有好的新理論，但湊不齊訓(xùn)練大模型的上千張H100卡；而互聯(lián)網(wǎng)大廠擁有萬卡集群，但可能缺乏底層算法創(chuàng)新。</p><p class="ql-block">· 未來方向：</p><p class="ql-block"> · 算法側(cè)：研究MoE（混合專家模型）——每次只激活模型的一小部分；研究更高效的線性注意力，來替代復(fù)雜的標(biāo)準(zhǔn)注意力。</p><p class="ql-block"> · 算力側(cè)：設(shè)計存算一體芯片，減少數(shù)據(jù)搬運的能耗；發(fā)展量子計算用于特定計算類型；建設(shè) “算力網(wǎng)絡(luò)” ，像電網(wǎng)提供電力一樣，讓人們能按需調(diào)用算力。</p><p class="ql-block">總結(jié)：算法定義解決問題的上限，算力決定逼近這個上限的程度。真正的突破，總是發(fā)生在一方取得巨大進步后，另一方迅速追趕的過程中。</p><p class="ql-block">好的，我們繼續(xù)深入。既然前兩個部分已經(jīng)建立了“算法與算力”的基本框架和協(xié)同關(guān)系，接下來聚焦于工程實踐中的具體挑戰(zhàn)和最前沿的技術(shù)突破。這樣你就能理解，為什么在實際落地中，兩者結(jié)合的難度遠超理論。</p><p class="ql-block">---</p><p class="ql-block">一、算法與算力之間的“摩擦”：通信與存儲</p><p class="ql-block">即便你有完美的算法和龐大的算力集群，實際運行效率可能只有理論峰值的30%～50%。原因在于兩個瓶頸：</p><p class="ql-block">1. 通信墻</p><p class="ql-block">· 問題：將一張H100算力算作“1”，那么1000張H100的峰值算力就是1000。但數(shù)據(jù)在卡間傳輸（通過NVLink、InfiniBand）的速度，遠慢于每張卡內(nèi)部的計算速度。當(dāng)計算只花0.1秒，但等待數(shù)據(jù)卻要0.3秒時，算力就被“餓死”了。</p><p class="ql-block">· 典型指標(biāo)：通信計算比。如果模型參數(shù)切分到多卡，每計算一次就需要同步一次梯度，通信時間占比過高。解決方法：計算與通信重疊，即在傳輸上一批數(shù)據(jù)的梯度時，同時計算下一批數(shù)據(jù)的前向。</p><p class="ql-block">· 前沿方案：全對全（All-to-All）通信優(yōu)化（例如NVIDIA的SHARP技術(shù)）；在網(wǎng)計算（在交換機上聚合梯度，減少數(shù)據(jù)量）。</p><p class="ql-block">2. 存儲墻（內(nèi)存墻）</p><p class="ql-block">· 問題：GPU的計算速度比從顯存中讀取數(shù)據(jù)的速度快幾十倍。即便數(shù)據(jù)已經(jīng)在顯存里，計算單元也經(jīng)?？辙D(zhuǎn)等待。</p><p class="ql-block">· 例子：H100算力約2000 TFLOPS（FP16），但其顯存帶寬約3 TB/s。若每個操作都需要讀一次數(shù)據(jù)，算力利用率不到1%。因此算法必須數(shù)據(jù)重用：從顯存讀一組數(shù)據(jù)到寄存器后，盡可能多次使用。</p><p class="ql-block">· 經(jīng)典優(yōu)化：FlashAttention。標(biāo)準(zhǔn)Attention需要從顯存讀取 N \times N 的矩陣（N為序列長度），造成O(N2)訪存。FlashAttention通過分塊計算、將中間結(jié)果留在高速SRAM中，減少了10~40倍的訪存次數(shù)，從而讓算法在相同硬件上跑出數(shù)倍速度。</p><p class="ql-block">---</p><p class="ql-block">二、從“訓(xùn)練”到“推理”的不同追求</p><p class="ql-block">算法和算力在訓(xùn)練階段和推理階段的目標(biāo)截然不同。</p><p class="ql-block">階段 目標(biāo) 算法側(cè)重點 算力側(cè)重點</p><p class="ql-block">訓(xùn)練 盡快收斂，找到最優(yōu)參數(shù) 加速收斂（優(yōu)化器如AdamW）、穩(wěn)定梯度 高精度（FP32/FP16）、大規(guī)模并行（模型/數(shù)據(jù)并行）</p><p class="ql-block">推理 瞬時響應(yīng)，降低延遲和能耗 模型壓縮（量化、剪枝、蒸餾） 低精度（INT8/INT4）、極低延遲的專用芯片（LPU、TPU）</p><p class="ql-block">推理端的極致優(yōu)化</p><p class="ql-block">· 量化：將模型參數(shù)從FP16變成INT4。算力需求降為1/16，但精度損失可控。LLaMA.cpp等工具能讓大模型跑在手機上。</p><p class="ql-block">· 投機性解碼：用小模型快速生成多個候選詞，再用大模型并行驗證。利用算力的“并行性”來彌補算法低效。</p><p class="ql-block">· 算力新形態(tài)：LPU（語言處理單元），專為矩陣乘法和注意力設(shè)計的架構(gòu)，推理性能比GPU高數(shù)倍。</p><p class="ql-block">---</p><p class="ql-block">三、決定成敗的“可擴展性”</p><p class="ql-block">當(dāng)你從一張卡擴展到千張卡，算力不是線性增長的。定義強擴展性和弱擴展性：</p><p class="ql-block">· 強擴展性：固定問題規(guī)模，增加算力，求解時間能否成比例縮短？例如，本來10小時的任務(wù)，1000張卡是否能在36秒內(nèi)跑完？現(xiàn)實中，通信開銷讓這幾乎不可能。</p><p class="ql-block">· 弱擴展性：算力和問題規(guī)模同步增加，單位算力處理的子問題耗時是否不變？這是大模型訓(xùn)練的常態(tài)：每增加一張卡，批量大小也相應(yīng)增加。</p><p class="ql-block">著名的“Scaling Law”背后的工程現(xiàn)實</p><p class="ql-block">之前提到模型性能 = f(\text{算力}, \text{數(shù)據(jù)}, \text{參數(shù)量})。但實際中：</p><p class="ql-block">· 當(dāng)算力放大1024倍，性能提升往往只有50～100倍。</p><p class="ql-block">· 原因：梯度更新頻率、批次大小、學(xué)習(xí)率調(diào)節(jié)需要重新搜索，否則會發(fā)散。谷歌的PaLM和Meta的LLaMA都花費大量精力調(diào)優(yōu)這些超參數(shù)。</p><p class="ql-block">---</p><p class="ql-block">四、前沿突破：算法與算力的共生設(shè)計</p><p class="ql-block">未來不再是“先有算法再適配算力”，而是協(xié)同設(shè)計。</p><p class="ql-block">1. 稀疏計算：跳過不必要的計算</p><p class="ql-block">· 傳統(tǒng)算力芯片（GPU）擅長稠密矩陣乘法。但人的大腦極度稀疏（只有少數(shù)神經(jīng)元活躍）。</p><p class="ql-block">· 新算法：混合專家模型（MoE），每個token只激活模型中一部分“專家”。訓(xùn)練時算力需求降低，但需要解決“負載不均衡”（某些專家過忙）的問題。</p><p class="ql-block">· 新算力：Cerebras WSE-3、Groq等芯片原生支持稀疏矩陣計算，跳過零值運算，能效比提高10倍。</p><p class="ql-block">2. 混合精度與自定義數(shù)據(jù)類型</p><p class="ql-block">· 除了FP16，業(yè)界開始用FP8甚至MX6（6位浮點）。硬件需提供對新型數(shù)據(jù)的原生支持。</p><p class="ql-block">· 算法同時要設(shè)計動態(tài)縮放策略，防止精度過低導(dǎo)致梯度消失。</p><p class="ql-block">3. 可微算力：將硬件瓶頸融入損失函數(shù)</p><p class="ql-block">· 一些研究將“通信延遲”或“緩存未命中率”作為可微罰項，讓神經(jīng)網(wǎng)絡(luò)自動學(xué)習(xí)出既能降低損失、又通信友好的結(jié)構(gòu)（例如減少跨設(shè)備同步的層）。</p><p class="ql-block">---</p><p class="ql-block">五、現(xiàn)實案例：訓(xùn)練GPT-4需要多少“有效算力”</p><p class="ql-block">根據(jù)公開信息推測（非官方）：</p><p class="ql-block">· 理論峰值算力：約2.5 × 102? FLOPS（FP16）。</p><p class="ql-block">· 實際有效算力：考慮到通信開銷、故障重啟、優(yōu)化器開銷等，利用率（MFU） 可能在30～40%。</p><p class="ql-block">· 成本：單次訓(xùn)練電費約5000萬美元。這其中，算法低效導(dǎo)致的額外算力浪費，可能超過2000萬美元。</p><p class="ql-block">這也是為什么OpenAI、DeepMind投入大量人力從算法層面提升MFU。一個微小改動（如重排計算順序）可能節(jié)省數(shù)百萬美元。</p><p class="ql-block">---</p><p class="ql-block">還想繼續(xù)了解哪個方向？</p><p class="ql-block">1. 具體算法優(yōu)化案例（FlashAttention的數(shù)學(xué)原理、MoE的負載均衡策略）</p><p class="ql-block">2. 算力硬件的微觀架構(gòu)（H100的Transformer引擎、存內(nèi)計算原理）</p><p class="ql-block">3. 分布式訓(xùn)練的容錯與調(diào)度系統(tǒng)（如何千卡穩(wěn)定跑一周）</p><p class="ql-block">4. 綠色算力與算力經(jīng)濟學(xué)（碳足跡、算力期貨市場）</p><p class="ql-block"><br></p> <p class="ql-block">《美篇文》</p><p class="ql-block">算法是菜譜，算力是灶火——這話我第一次聽時，正蹲在老家廚房里看奶奶熬梨膏。她不用電子秤，全憑手抖三下、眼瞄半秒、火候聽聲：水沸前轉(zhuǎn)小火，氣泡從“咕嘟”變“浮珠”，再等那層薄霧浮上來，才算到了“文火慢煨”的臨界點。</p><p class="ql-block"><br></p><p class="ql-block">我那時還不懂，原來AI訓(xùn)練也這樣：再好的Transformer架構(gòu)，若沒把梯度下降的“火候”調(diào)準(zhǔn)，模型照樣糊鍋——不是發(fā)散，就是收斂成一鍋黏稠的、分不清貓狗的混沌。</p><p class="ql-block"><br></p><p class="ql-block">后來在實驗室跑第一個小模型，顯卡風(fēng)扇吼得像拖拉機，監(jiān)控里GPU利用率卻總在30%上晃蕩。導(dǎo)師敲敲我屏幕：“不是卡不夠，是你算法沒‘順’著硬件的脾氣來?！痹瓉鞧PU不愛聽“先算A，再算B，最后比大小”這種人話，它只認“把十萬組乘加塞進同一塊硅片，一口氣砸下去”。于是我們重寫代碼，把注意力矩陣切成豆腐塊，讓數(shù)據(jù)在寄存器里多轉(zhuǎn)幾圈再出門——就像奶奶把梨塊先用冰糖腌透，再下鍋，省火又入味。</p><p class="ql-block"><br></p><p class="ql-block">最難忘是調(diào)試MoE模型那晚。模型總在第七層“挑食”：八個專家里，三個忙成陀螺，五個在摸魚。我們盯著監(jiān)控圖，像看一群不肯排隊打飯的學(xué)生。最后加了個動態(tài)路由的“值日生”算法，讓token自己舉手選班，還給冷門專家發(fā)點“參與分”——算力沒多花一分，訓(xùn)練速度倒快了近一倍。原來聰明的算法，不是逼著機器拼命，而是教它偷懶的智慧。</p><p class="ql-block"><br></p><p class="ql-block">現(xiàn)在手機里跑著的LLaMA，當(dāng)年得用千張卡才敢想?？僧?dāng)它在我通勤地鐵上，三秒內(nèi)把會議錄音轉(zhuǎn)成帶重點標(biāo)亮的紀(jì)要，我忽然笑了：這哪是AI在干活？分明是奶奶把梨膏熬成了膏藥，貼在我生活的每道小傷口上——不喧嘩，不燙人，但溫溫地，一直護著。</p><p class="ql-block"><br></p><p class="ql-block">算法定邊界，算力填溝壑。而真正的手藝，永遠藏在那毫秒級的調(diào)度、零點幾的精度權(quán)衡、還有重啟第17次訓(xùn)練前，順手關(guān)掉空調(diào)省下的那一度電里。</p><p class="ql-block"><br></p><p class="ql-block">（我合上筆記本，窗外晚霞正燒得旺。灶臺上的新一鍋梨膏，剛浮起第一層薄霧。）</p>