在巴基斯坦,大多數開發者、初創企業和小型企業都卡在沒有GPU的筆記本電腦上,幾乎沒有機會運行本地大型語言模型(LLM),來自OpenAI和Anthropic的全球API已經變得完全令人難以承受,影響代理工作。


一個不錯的自主代理每天的代幣成本可以累積到20到50美元。這還未包括外匯、銀行手續費和PKR波動的影響。
解決方案就擺在我們面前:我們自己的ISP和電信公司應該在他們已經運行的邊緣伺服器上托管量化的開源模型(Llama 3.1、Qwen2.5、Mistral系列),提供廉價的本地API密鑰,以盧比計費。這樣可以降低延遲、保障數據主權,並提供與我們現實情況相符的價格。這雖然不是前沿技術,但已經足夠滿足80%的實際代理應用需求。
那麼,為什麼到2026年這一切還沒有實現呢?基礎設施、人才和迫切的需求都在喀拉拉和拉合爾這裡——但我們仍然迫使巴基斯坦的開發者和用戶,要么自己搭建較小的LLM,要么在加州的主要AI公司花大錢。
我們的ISP在銷售光纖升級或過時的雲計算方案,這當然不錯,但為什麼不打包一個真正的LLM API,讓每個寬帶用戶一夜之間變成AI用戶或開發者?
真正做出這一點的先行者,將擁有本地AI經濟的主導權。別再等待了,誰來站出來?
來源:Tariq Mustafa 在LinkedIn
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 留言
  • 轉發
  • 分享
留言
請輸入留言內容
請輸入留言內容
暫無留言