隨著人工智慧（AI）運算需求爆炸性成長，傳統晶片設計在資料傳輸速度與頻寬上正面臨前所未有的挑戰。AI模型參動數從數十億躍升至兆級，運算單元與記憶體之間的資料搬運成為系統效能瓶頸。先進封裝技術如2.5D/3D IC、異質整合、矽中介層與微凸塊技術，正逐步改變晶片內部架構，但真正讓效能躍升的關鍵，在於儲存架構的同步革新。過去，運算與儲存分離的架構導致資料必須透過長距離匯流排傳輸，延遲與功耗居高不下。如今，業界轉向近記憶體運算（Near-Memory Computing）與記憶體內運算（In-Memory Computing），將儲存單元與邏輯晶片垂直堆疊，大幅縮短資料路徑。例如，HBM（高頻寬記憶體）透過TSV（矽穿孔）技術與邏輯晶片緊密整合，提供TB/s等級頻寬，但這僅是第一步。真正革命發生在儲存架構層級：從平面排列轉向三維堆疊，從被動儲存轉向主動運算，從獨立晶片轉向系統級整合。台積電的CoWoS（基板上晶片）與InFO（整合扇出）技術，以及英特爾的EMIB（嵌入式多晶片互連橋接）與Foveros 3D堆疊，皆在重塑資料傳輸路徑。更進一步，新興的非揮發性記憶體如MRAM、ReRAM與PCRAM，正嘗試取代部分DRAM與快閃記憶體，提供更高密度與更低功耗。這些技術的共同目標：消除資料傳輸瓶頸，讓AI晶片能在相同功耗下處理更多數據。然而，儲存架構的改變不僅關乎硬體，也需軟體與演算法配合，以動態調整資料佈局與存取模式。這場由先進封裝驅動的儲存革命，正在改寫半導體產業的遊戲規則，也為AI應用帶來前所未有的效能潛力。
從平面到立體：三維堆疊如何打破頻寬天花板
傳統晶片設計將邏輯、記憶體與其他功能分散在不同晶粒，透過印刷電路板上的導線連接，傳輸距離長、訊號衰減嚴重。三維堆疊技術將這些晶粒垂直整合，利用TSV或混合鍵合（Hybrid Bonding）實現超高密度互連。例如，AMD的3D V-Cache技術在運算晶粒上方直接堆疊額外L3快取，使快取容量倍增且延遲僅增加極微。這種立體結構不僅縮短資料傳輸路徑，更關鍵的是大幅增加I/O數量——從平面時代的數百個微凸塊，進展到三維時代的數萬個奈米級接點。頻寬因此從數百GB/s躍升至數TB/s，直接解決AI運算中記憶體頻寬不足的痛點。此外，三維堆疊也允許不同製程節點的晶粒混合整合，例如將高效能邏輯晶片與成熟製程的類比或感測器晶片堆疊，降低整體成本與功耗。然而，散熱問題是最大挑戰——高密度堆疊導致熱量集中，需依靠先進散熱方案如微流體通道或熱界面材料。目前，業界正開發更薄的晶粒與低溫鍵合技術，以在維持可靠性的前提下進一步提升堆疊層數。
近記憶體運算與記憶體內運算：資料不再遠行
傳統馮紐曼架構中，運算單元與記憶體分離，資料反覆搬運造成巨大的功耗與延遲——此即所謂的「記憶體牆」問題。近記憶體運算透過將運算邏輯整合至記憶體模組附近，例如將特殊運算單元放置於HBM基底晶片中，讓資料在記憶體端即可進行初步處理，僅將結果傳回主處理器。記憶體內運算則更進一步，直接在記憶體陣列內部執行運算，例如使用電阻式隨機存取記憶體（ReRAM）陣列進行矩陣乘法，實現類比運算。這兩種架構都能大幅減少資料傳輸量，尤其適合AI推論與訓練中的大量矩陣運算。台積電的3D Fabric平台已支援將邏輯晶片與SRAM或DRAM堆疊，實現多種近記憶體運算組態。新創公司如Mythic與SambaNova則專注於記憶體內運算架構，利用快閃記憶體或新型記憶體晶胞的物理特性來加速神經網路。然而，這類技術仍需克服記憶體單元的變異性與耐久性問題，並開發相應的編譯器與工具鏈。長遠來看，當資料傳輸瓶頸被徹底打破，AI晶片的效能將不再受限於頻寬，而是回歸到運算效率本身。
非揮發性記憶體崛起：改寫儲存階層的遊戲規則
在傳統儲存階層中，SRAM速度最快但密度低、成本高，DRAM次之，NAND快閃最慢但容量大。隨著AI模型尺寸暴增，系統需要更多高頻寬記憶體，但DRAM的微縮已接近物理極限，且功耗居高不下。新一代非揮發性記憶體（NVM）如MRAM（磁阻式隨機存取記憶體）、ReRAM（電阻式隨機存取記憶體）與PCM（相變化記憶體）正試圖填補SRAM與DRAM之間的空隙，甚至取代部分記憶體層級。MRAM具備近乎無限的寫入耐久性與極快存取速度，適合用作L4快取或嵌入式記憶體；ReRAM則具有高密度與低功耗特性，可用於儲存類別神經網絡權重；PCM則在持久性與速度間取得平衡，Intel的Optane技術即採用PCM，但已於2022年停產，顯示市場仍在尋找最佳方案。這些新興記憶體可與先進封裝技術結合，直接堆疊在運算晶片上方或整合至封裝基板中，形成客製化的儲存子系統。例如，將ReRAM陣列與邏輯晶片進行三維異質整合，可在晶片內部實現即時的模型參數更新與稀疏化處理。儘管量產成熟度與成本仍是障礙，但隨著AI應用對記憶體頻寬與容量的需求持續攀升，非揮發性記憶體在未來儲存架構中的角色將愈發重要，成為突破資料傳輸瓶頸的關鍵拼圖。
【其他文章推薦】
電動堆高機、柴油堆高機怎麼選？差異一次比較
貨櫃屋優勢特性有哪些?
零件量產就選CNC車床
消防工程交給專業來搞定
塑膠射出工廠一條龍製造服務
堆高機租賃怎麼選最划算？掌握 3 大隱形成本，每年幫公司省下萬元！