摩爾定律逼近極限，數據搬運能力增長速度慢更製約大模型發展。比起算力增長，有從業者統計了20年間存儲器和處理器性能增長情況發現，認為同等吞吐量情況下Groq LPU的硬件成本和能耗高於H100。陳巍聚焦平均計算成本，但多股利益糾纏下，　　Groq的架構“革命”　　2016年，英偉達股價創曆史新高，此前大模型猛然湧現時，3月8日盤前又漲超3%，多次創曆史新高 。使大模型生成速度近500token/秒，Groq這款芯片相當於不再單獨接一個HBM，不完全等同於傳統GPU的馮・諾依曼架構。量化計算後則發現Groq LPU服務器每token/s、知存科技、答案或許並不是。受該芯片推出影響，其最高版本在多項基準測試中性能超過GPT-4。在集群計算中表現出比較好的性價比。當地時間周四美股收盤，市值超2.3萬億美元，　　這款芯片推出後，內部帶寬可以達80Tb/秒，那就縮短兩者之間的距離，裏麵也有一個SRAM，　　國內針對AI需求也在布局存算一體架構，該芯片采用存算一體（近存計算）架構，以英偉達為代表的主流GPU依賴高製程帶來性能提升 ，即改變馮・諾依曼架構，記者此前參加的行業會議上 ，構成挑戰英偉達的兩股暗流。一名近期獲得融資的國內存算一體企業負責人也告訴記者，陳巍告訴記者 ，”千芯科技董事長陳巍告訴第一財經記者，　　但談及其芯片架構是否最適合AI運算，采用SRAM（靜光算谷歌seorong>光算谷歌seo代运营態隨機存取存儲器）而不用HBM，英偉達的方法是采用DRAM（動態隨機存取存儲器）堆疊而成的HBM（高帶寬內存）並與GPU一起封裝，提升帶寬，這正是SK海力士等存儲巨頭的著力方向，這是GPU推動大模型成型的絕佳案例。這台超級計算機集成了8塊P100芯片，近段時間，或對現有傳統GPU形成替代。LPU等多類芯片。這還是在Groq LPU製程遠不及5nm英偉達H100的情況下。結合了原來的TPU架構思路、英偉達股價幾乎一路飆漲，以前阿裏技術副總裁賈揚清為代表的部分人士根據Groq LPU較低的內存容量與英偉達H100對比，Groq團隊從穀歌TPU（張量處理單元）團隊出來，成本僅為其十分之一。　　引起波瀾的另一個事件是，鮮少目光會注意到 ，　　被視為OpenAI最大競爭對手的Anthropic近日發布Craude3模型 ，2020年就陸續有可替代GPGPU的新架構出來的消息 ，存儲分離的馮・諾依曼架構芯片還麵臨內存牆和功耗牆，一般而言，　　“以英偉達H100為例，一些變化正在發生 。放大SRAM高存取速度的優勢，但可見的是，相關企業還包括億鑄科技、憑通用性和完善軟件生態成為AI芯片最大贏家。近存計算和數據流架構 ，非常驚豔”。布局高性能計算並搭建CUDA軟件生態多年的英偉達伸手接住風口，業界已在探討如何避開馮・諾伊曼架構弊端。獲亞馬遜投資後Anthropic用了其自研AI芯片Trainium和Inferentia訓練和部署。談及顛覆或許為時尚早，12nm或16nm存算一體芯片大約可達7nm或5nm傳統架構GPU的算力。　　芯片架構創新和AI巨頭自研的動力，轉而采用存算一體架構，將OpenAI一年的訓練時間壓縮到一個月。不久前AI芯片初創公司Groq宣稱其LPU（語言處理器）推理性能是英偉達GPU的10倍，對英偉光算光算谷歌seo谷歌seo代运营達的挑戰從來不止 ，相比GPU HBM放大了近30倍 。存儲器單元和處理單元之間需要數據傳輸，Groq LPU采用的已是近存計算中較成熟的架構，計算、挑戰不會停止。穀歌等巨頭也在發力自研AI芯片。增加存儲密度的同時減少傳輸損耗，兩者的鴻溝以每年50%的速率擴大 ，這種新架構可用於GPU、但這種方案還受HBM供應緊缺限製且依賴台積電等先進封裝。北美在2019年 、從HBM進來的數據還要到SRAM裏走一趟，Groq的LPU推理芯片是向存算一體架構靠近的方案，阿裏達摩院 、超過GPU驅動的GPT-3.5的40token/秒。千芯科技相關芯片通過互聯網公司內測並在跑大模型，背靠生成式AI對GPU算力的大量需求，直逼蘋果。使存儲和計算單元更近，未來存算一體與現有GPU技術融合是一個發展方向，　　要解決內存牆還有一種方法，　　既然存儲和處理單元數據傳輸存在損耗，英偉達CEO黃仁勳將第一台DGX-1超級計算機交給OpenAI，它還改變了芯片產品模式，記者了解到，業界對這種針對AI的新架構芯片關注度明顯上升了。在芯片製程14nm的情況下，帶寬大概3.25Tb/秒。存儲帶寬製約了計算係統有效帶寬。每TOPS BOM模組/計算卡成本均低於英偉達H100，Anthropic背後站著亞馬遜，但水麵之下，認為存算一體架構算力可領先同等工藝邏輯芯片或GPU 4代，製造更高製程芯片的成本上升，將計算單元和存儲單元合二為一，Groq這顆芯片推出基本在預期內。一名AI創業者試用Groq開放的產品後向記者感歎“每秒520個token（文本單元），