Tether Data Mengumumkan QVAC Fabric: Kerangka Inferensi dan Fine-Tuning LLM untuk Model AI Modern

Singkatnya

Tether Data telah meluncurkan kerangka kerja QVAC Fabric LLM yang memungkinkan inferensi dan fine-tuning LLM di berbagai perangkat konsumen dan perangkat keras multi-vendor, mendukung pengembangan AI yang terdesentralisasi, berfokus pada privasi, dan skalabel.

Perusahaan Department of Financial Services, Tether, yang berfokus pada mempromosikan kebebasan, transparansi, dan inovasi melalui teknologi, Tether Data mengumumkan peluncuran QVAC Fabric LLM, sebuah kerangka kerja runtime inferensi dan fine-tuning large language model (LLM) yang komprehensif. Sistem baru ini memungkinkan pengguna untuk menjalankan, melatih, dan menyesuaikan large language model secara langsung di perangkat keras standar, termasuk GPU konsumen, laptop, dan bahkan smartphone, menghilangkan ketergantungan sebelumnya pada server cloud kelas atas atau pengaturan khusus NVIDIA.

QVAC Fabric LLM mendefinisikan ulang inferensi dan fine-tuning LLM berkinerja tinggi, yang secara tradisional hanya dapat diakses oleh organisasi dengan infrastruktur mahal. Ini merupakan sistem pertama yang terpadu, portabel, dan sangat skalabel yang mampu melakukan eksekusi inferensi LLM secara penuh, adaptasi LoRA, dan instruction-tuning di berbagai sistem operasi mobile (iOS dan Android), serta seluruh lingkungan laptop, desktop, dan server umum (Windows, macOS, Linux). Hal ini memungkinkan pengembang dan organisasi untuk membangun, menerapkan, menjalankan, dan mempersonalisasi AI secara mandiri, tanpa bergantung pada cloud, vendor lock-in, atau risiko data sensitif keluar dari perangkat.

Inovasi penting dalam rilis ini adalah kemampuan untuk melakukan fine-tuning model di GPU mobile, seperti Qualcomm Adreno dan ARM Mali, menandai kerangka kerja siap produksi pertama yang memungkinkan pelatihan LLM modern di perangkat keras kelas smartphone. Kemajuan ini memfasilitasi AI personal yang dapat belajar langsung dari pengguna di perangkat mereka, menjaga privasi, dapat beroperasi secara offline, dan mendukung generasi baru aplikasi AI on-device yang tangguh.

QVAC Fabric LLM juga memperluas ekosistem llama.cpp dengan menambahkan dukungan fine-tuning untuk model kontemporer seperti LLama3, Qwen3, dan Gemma3, yang sebelumnya tidak didukung. Model-model ini kini dapat di-fine-tune melalui alur kerja yang konsisten dan sederhana di seluruh platform perangkat keras.

Dengan memungkinkan pelatihan di berbagai GPU, termasuk AMD, Intel, NVIDIA, Apple Silicon, dan chip mobile, QVAC Fabric LLM menantang anggapan lama bahwa pengembangan AI tingkat lanjut memerlukan perangkat keras khusus dari satu vendor. GPU konsumen kini layak untuk tugas AI signifikan, dan perangkat mobile menjadi platform pelatihan yang sah, memperluas lanskap pengembangan AI.

Bagi perusahaan, kerangka kerja ini menawarkan keunggulan strategis. Organisasi dapat melakukan fine-tuning model AI secara internal di perangkat keras yang aman, menghilangkan kebutuhan untuk mengekspos data sensitif ke penyedia cloud eksternal. Pendekatan ini mendukung privasi, kepatuhan regulasi, dan efisiensi biaya sembari memungkinkan penerapan model AI yang disesuaikan untuk kebutuhan internal. QVAC Fabric LLM memindahkan fine-tuning dari kluster GPU terpusat ke ekosistem perangkat yang sudah dikelola perusahaan, membuat AI tingkat lanjut lebih mudah diakses dan aman.

Tether Data Merilis QVAC Fabric LLM Sebagai Open-Source, Memungkinkan Kustomisasi AI Terdesentralisasi

Tether Data telah membuat QVAC Fabric LLM tersedia sebagai perangkat lunak open-source di bawah lisensi Apache 2.0, disertai dengan binary multiplatform dan adapter siap pakai di Hugging Face. Kerangka kerja ini memungkinkan pengembang untuk mulai melakukan fine-tuning model hanya dengan beberapa perintah, mengurangi hambatan kustomisasi AI yang sebelumnya sulit diatasi.

QVAC Fabric LLM menandai langkah praktis menuju AI yang terdesentralisasi dan dikelola pengguna. Sementara sebagian besar industri masih memprioritaskan solusi berbasis cloud, Tether Data fokus pada memungkinkan personalisasi tingkat lanjut langsung di perangkat edge lokal. Pendekatan ini mendukung kelangsungan operasional di wilayah dengan jaringan latensi tinggi, seperti pasar berkembang, sekaligus menawarkan platform AI yang mengutamakan privasi, tangguh, dan skalabel yang mampu berfungsi secara mandiri dari infrastruktur terpusat.