今年AI運算中悄悄地發生了一項逆轉，這改變了擴建實際上是為了什麼。

2023年，三分之二的AI運算用於訓練，即建立模型的實際工作。其餘較小部分用於推理，即模型建立後實際運行的工作。但這個比例悄悄地開始翻轉。
根據德勤（Deloitte）的說法，推理現在佔三分之二並且還在攀升，而用於運行推理的晶片在今年突破了$50B 。
這種翻轉之所以重要（而且不是百分比上的原因）的主要原因是：訓練和推理是不同的事物。訓練是爆發式的，在一個巨大的集群上進行，然後就結束了。推理永遠不會停止。每次有人發送提示或代理執行一個步驟時它都會運行，並且隨著你添加的每個用戶而擴展。一個是建設項目。另一個是永無止境的公用事業帳單。
關於AI基礎設施的每一個假設都是圍繞訓練建立的，因為錢都流向那裡。而錢現在轉向了不需要在單一集群中運行的負載。