Cara Install Ollama di Ubuntu 24.04: Jalankan AI Lokal dengan Mudah

Ollama menjadi salah satu software paling populer di dunia Artificial Intelligence karena memungkinkan siapa saja menjalankan Large Language Model (LLM) secara lokal tanpa harus bergantung pada layanan cloud.

Dengan Ollama, Anda dapat menjalankan berbagai model AI seperti:

• Llama

• Mistral

• DeepSeek

• Gemma

• Qwen

langsung dari VPS atau komputer pribadi Anda.

Pada tutorial ini, kita akan membahas cara install Ollama di Ubuntu 24.04 mulai dari instalasi hingga menjalankan model AI pertama Anda.

Apa Itu Ollama?

Ollama adalah platform open-source yang memudahkan pengguna menjalankan Large Language Model (LLM) secara lokal.

Keunggulan Ollama:

✅ Instalasi mudah

✅ Mendukung berbagai model AI

✅ API bawaan

✅ Cocok untuk AI Agent

✅ Cocok untuk Self-Hosted AI

✅ Dapat dijalankan di VPS

Mengapa Menggunakan Ollama?

Sebelum Ollama hadir, menjalankan model AI lokal cukup rumit.

Biasanya memerlukan:

• Python

• CUDA

• Framework AI

• Konfigurasi kompleks

Dengan Ollama:

Install
↓
Download Model
↓
Jalankan AI

Hanya membutuhkan beberapa perintah terminal.

Persyaratan Sistem

Minimal:

Untuk model besar:

Update Sistem

Sebelum instalasi:

sudo apt update && sudo apt upgrade -y

Install Ollama

Cara termudah:

curl -fsSL https://ollama.com/install.sh | sh

Proses instalasi biasanya hanya memerlukan beberapa menit.

Verifikasi Instalasi

Cek versi:

ollama --version

Contoh output:

ollama version 0.x.x

Cek Status Service

Pastikan service aktif:

systemctl status ollama

Jika belum aktif:

sudo systemctl enable ollama
sudo systemctl start ollama

Cek kembali:

sudo systemctl is-active ollama

Output:

active

Menjalankan Model AI Pertama

Salah satu model ringan yang direkomendasikan:

ollama run llama3

Saat pertama kali dijalankan:

Downloading model...

Ollama akan mengunduh model secara otomatis.

Setelah selesai:

>>>

Anda dapat langsung mengobrol dengan AI.

Contoh:

>>> Apa itu Artificial Intelligence?

Melihat Daftar Model yang Terinstal

ollama list

Contoh:

NAME        SIZE
llama3      4.7GB
mistral     4.1GB

Menghapus Model

Jika ruang penyimpanan mulai penuh:

ollama rm llama3

Menjalankan Model Lain

DeepSeek

ollama run deepseek-r1

Mistral

ollama run mistral

Gemma

ollama run gemma

Qwen

ollama run qwen

Menjalankan Ollama Sebagai API

Secara default Ollama menyediakan REST API.

Tes:

curl http://localhost:11434/api/tags

Output:

{
  "models": [...]
}

Mengakses Ollama dari Server Lain

Secara default:

127.0.0.1:11434

hanya dapat diakses secara lokal.

Untuk membuka akses jaringan:

Edit service:

sudo systemctl edit ollama

Tambahkan:

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

Reload:

sudo systemctl daemon-reload
sudo systemctl restart ollama

Membuka Port Firewall

Jika menggunakan UFW:

sudo ufw allow 11434/tcp

Atau lebih aman:

sudo ufw allow from 103.xxx.xxx.xxx to any port 11434

Integrasi dengan Open WebUI

Jika ingin tampilan seperti ChatGPT:

Install menggunakan Docker:

docker run -d \
--name open-webui \
-p 3000:8080 \
-v open-webui:/app/backend/data \
--restart always \
ghcr.io/open-webui/open-webui:main

Akses:

http://IP_SERVER:3000

Kemudian hubungkan ke Ollama.

Integrasi dengan AI Agent

Ollama sering digunakan bersama:

• n8n

• Open WebUI

• Flowise

• Langflow

untuk membangun AI Agent dan chatbot AI lokal.

Kelebihan Ollama

Gratis

Tidak perlu biaya API per token.

Data Lebih Privat

Data tetap berada di server sendiri.

Open Source Friendly

Mendukung banyak model open-weight.

Mudah Digunakan

Instalasi sangat sederhana.

Cocok untuk Self-Hosted AI

Menjadi fondasi berbagai implementasi AI lokal.

Kekurangan Ollama

Membutuhkan Hardware

Model besar memerlukan RAM yang cukup besar.

Performa CPU Terbatas

Tanpa GPU, inferensi bisa lebih lambat.

Penyimpanan Besar

Setiap model dapat berukuran beberapa gigabyte.

Troubleshooting

Port 11434 Tidak Bisa Diakses

Periksa:

sudo ss -tulpn | grep 11434

Pastikan service berjalan.

Model Tidak Bisa Diunduh

Periksa koneksi internet:

ping google.com

RAM Habis

Gunakan model yang lebih kecil:

ollama run gemma:2b

atau

ollama run qwen:1.5b

FAQ

Apakah Ollama gratis?

Ya, Ollama dapat digunakan secara gratis.

Apakah Ollama membutuhkan GPU?

Tidak wajib. Ollama dapat berjalan menggunakan CPU, meskipun GPU akan memberikan performa yang jauh lebih baik.

Apakah Ollama bisa dijalankan di VPS?

Ya. Banyak pengguna menjalankan Ollama di VPS Ubuntu untuk membuat AI pribadi atau AI Agent.

Model apa yang cocok untuk pemula?

Biasanya:

• Llama 3

• Gemma

• Qwen

• Mistral

karena relatif ringan dan mudah dijalankan.

Kesimpulan

Ollama adalah solusi paling sederhana untuk menjalankan AI lokal di Ubuntu 24.04. Dengan hanya beberapa perintah, Anda dapat menginstal Ollama, mengunduh model AI, menjalankan chatbot pribadi, hingga membangun AI Agent dan aplikasi AI self-hosted tanpa bergantung pada layanan cloud.

Baca Juga: Cara Install Open Web UI di Ubuntu 24.04