Jakarta – Red Hat mengumumkan pembaruan portofolio produk dan layanan yang didesain untuk mempercepat pengembangan dan penerapan solusi artificial intelligence/AI (kecerdasan buatan) di seluruh hybrid cloud.
“Red Hat menyadari bahwa perusahaan akan membutuhkan cara untuk mengelola biaya yang meningkat dari penerapan AI generatif mereka, seiring dengan semakin banyaknya use case yang mereka hadirkan ke dalam produksi dan berjalan dalam skala besar. Mereka juga perlu mengatasi tantangan dalam mengintegrasikan model-model AI dengan data privat di perusahaan dan mampu menerapkan model-model tersebut di mana pun data mereka berada,” kata Vice President and General Manager, AI Business Unit, Red Hat, Joe Fernandes.
“Red Hat membantu perusahaan mengatasi tantangan tersebut dengan memungkinkan mereka memanfaatkan model-model yang lebih efisien, yang dibuat khusus dan dilatih dengan data mereka, dan memungkinkan inferensi yang fleksibel di lingkungan on-premise, di cloud, maupun di edge.”
Red Hat AI menyediakan platform enterprise AI untuk pelatihan model dan inferensi dengan efisiensi yang lebih baik, penggunaan yang lebih simple, dan fleksibilitas untuk menjalankannya di lingkungan hybrid cloud.
Jika perusahaan mencari cara untuk mengurangi biaya penerapan large language models (LLMs) dalam skala besar untuk menangani berbagai use case yang semakin banyak, maka mereka masih dihadapkan pada tantangan untuk mengintegrasikan model-model tersebut dengan data mereka.
Hal lainnya untuk mendorong use case tersebut sekaligus dapat mengakses data tersebut di mana pun data itu berada, baik itu di pusat data di public cloud atau edge.
Red Hat OpenShift AI dan Red Hat Enterprise Linux AI (RHEL AI) mengatasi tantangan ini dengan menyediakan platform enterprise AI yang membuat pengguna mengadopsi model yang lebih efisien dan lebih optimal.
Langkah ini disesuaikan dengan data yang spesifik untuk bisnisnya dan bisa bermanfaat bagi seluruh hybrid cloud untuk pelatihan dan inferensi pada berbagai arsitektur komputasi yang terakselerasi.
“Dengan Red Hat OpenShift AI, kami dapat mencapai semua tujuan tersebut, yang berujung pada use case bisnis pertama kami untuk AI. Visi Red Hat untuk AI sejalan dengan tujuan bisnis kami dan memungkinkan kami untuk mencapainya dengan tetap menjaga fleksibilitas, aksesibilitas, dan transparansi,” ujar Advanced Analytics and AI Innovation Manager, Digital Innovation, Airbus Helicopters, Régis Lesbarreres.
Red Hat OpenShift AI menyediakan platform AI yang lengkap untuk mengelola siklus hidup AI prediktif dan generatif (gen AI) di seluruh hybrid cloud. Langkah ini termasuk kemampuan machine learning operations (MLOps) dan LLMOps.
Platformnya memiliki fungsi untuk mengembangkan model prediktif dan menyetel model gen AI, bersama dengan tool untuk menyederhanakan pengelolaan model AI, mulai dari data science dan model pipeline serta model monitoring, hingga tata kelola.
Red Hat OpenShift AI 2.18 merupakan rilis terbaru yang memiliki beberapa pembaruan dan kemampuan terbaru untuk mendukung target Red Hat AI membawa model AI yang lebih optimal dan lebih efisien ke hybrid cloud.
Fitur-fitur platform ini meliputi penyajian terdistribusi (distributed serving) yang dikirimkan melalui server inferensi vLLM, penyajian terdistribusi membuat tim TI untuk membagi penyajian model (model serving) di beberapa unit pemrosesan grafis (GPUs).
Hal ini membantu mengurangi beban pada satu server, mempercepat pelatihan dan penyempurnaan, serta memanfaatkan sumber daya komputasi dengan lebih efisien, sekaligus membantu mendistribusikan layanan di node untuk model AI.
Kemudian, fitur penyetelan model menyeluruh dengan menggunakan InstructLab dan pipeline data science dari Red Hat OpenShift AI. Fitur ini menyederhanakan penyetelan LLM, menjadikannya lebih scalable dan efisien, bisa diaudit dalam lingkungan produksi yang besar, serta pengelolaan melalui dashboard Red Hat OpenShift AI.
Selanjutnya, fitur AI Guardrails yakni Red Hat OpenShift AI 2.18 meningkatkan akurasi, performa, latensi dan transparansi LLM melalui pratinjau teknologi AI Guardrails.
Langkah ini untuk memonitor dan melindungi interaksi input pengguna dan output model dengan lebih baik.
AI Guardrails menawarkan titik pendeteksian tambahan dalam membantu tim IT mengidentifikasi dan mitigasi potensi kata-kata yang penuh kebencian, melecehkan, atau tidak senonoh, informasi personal, informasi kompetitif, atau data lain yang dibatasi oleh kebijakan perusahaan.
Berikutnya, evaluasi model dengan menggunakan komponen language model evaluation (lm-eval) untuk memberikan informasi penting mengenai kualitas keseluruhan model.
Selain itu evaluasi model memungkinkan data scientist untuk membandingkan performa LLM mereka di berbagai tugas yang berbeda seperti penalaran logis dan matematis hingga ke adversarial natural language
Terakhir, menciptakan model AI yang lebih efektif, responsif dan sesuai kebutuhan.
RHEL AI merupakan platform model dasar untuk mengembangkan, menguji, dan menjalankan LLM secara lebih konsisten untuk mendukung aplikasi enterprise.
Platform ini memberikan tool penyelarasan model Granite LLMs dan InstructLab yang dikemas dalam bentuk image server Red Hat Enterprise Linux yang bisa di-boot dan bisa digunakan di seluruh hybrid cloud.
Dengan menggabungkan kemampuan Red Hat AI, yang meliputi RHEL AI dan Red Hat OpenShift AI untuk menghadirkan platform aplikasi AI yang menyeluruh, dengan keahlian AI terkemuka dan layanan infrastruktur kognitif dari HCLTech, yang merupakan bagian dari solusi HCLTech AI Foundry, para pelanggan akan mendapatkan jalur yang lebih mudah untuk membuka inovasi AI, yang akan membantu mereka mengatasi berbagai tantangan seperti keamanan data, meningkatkan beban kerja AI, dan meminimalkan biaya infrastruktur,” tutur Executive Vice President and Global Head of Ecosystems HCLTech, Anand Swamy.
RHEL 1.4 juga telah menambahkan sejumlah peningkatan pada Februari 2025 seperti dukungan model Granite 3.1 8B untuk penambahan terbaru pada rangkaian model Granite berlisensi open-source.
Model ini mendukung multibahasa untuk inferensi dan penyesuaian taksonomi/pengetahuan (pratinjau pengembang) bersama dengan context window 128k untuk meningkatkan hasil perangkuman dan tugas-tugas retrieval-augmented generation (RAG).
Antarmuka pengguna grafis baru untuk kontribusi keterampilan dan pengetahuan tersedia sebagai pratinjau pengembang.
Langkahnya untuk menyederhanakan konsumsi data dan pemecahan data serta bagaimana cara pengguna menambahkan keterampilan dan kontribusi mereka sendiri ke model AI.
Terakhir, Document Knowledge-bench (DK-bench) memudahkan perbandingan model AI yang sudah disetel dengan baik pada data pribadi yang relevan dengan kinerja model dasar yang tidak disetel.
Sementara itu banyak perusahaan mencari solusi AI yang memprioritaskan akurasi dan keamanan data, sekaligus menjaga biaya dan kerumitan serendah mungkin.
Red Hat AI InstructLab digunakan sebagai layanan di IBM Cloud untuk menyederhanakan, menskalakan, dan meningkatkan jejak keamanan untuk pelatihan dan penerapan model AI.
Dengan menyederhanakan penyetelan model InstructLab organisasi bisa membangun model yang lebih efisien yang disesuaikan dengan kebutuhan unik organisasi dan tetap memegang kendali atas data mereka.
“Menggabungkan keahlian IBM Consulting di domain kami, teknologi, dan industri, dengan teknologi Red Hat, kami membantu klien kami untuk meningkatkan ROI dari investasi teknologi mereka,” tutur Global Managing Partner, Hybrid Cloud and Data, IBM Consulting, Javier Olaizola Casin.
Pada sisi lain Red Hat menawarkan kelas pelatihan online AI Foundations tanpa biaya dengan dua sertifikat pembelajaran AI. Langkah ini dirancang untuk para pemimpin senior yang sudah berpengalaman dan para pemula di bidang AI.
Dengan begitu mengedukasi pengguna di semua tingkatan tentang bagaimana AI dapat mentransformasi operasi bisnis, memudahkan pembuatan keputusan, dan mendorong inovasi.
Pelatihan AI Foundation memandu pengguna menerapkan pengetahuan ini saat memanfaatkan Red Hat AI. (adm)
