---
title: Ollama
author: Frederic AOUSTIN
version: 1.O
---

# Ollama

![category](developpement)
![tag](python)
![tag](ia)

Un petit article pour rappeler les différents usages de ollama

## Installation

Le plus simple est de passer par Docker 

```
  ollama:
    volumes:
      - ./data/ollama_models:/root/.ollama
    container_name: ollama
    pull_policy: always
    tty: true
    restart: unless-stopped
    image: ollama/ollama
    ports:
        - 11434:11434
    runtime: nvidia
    environment:
      - NVIDIA_VISIBLE_DEVICES=all
      - OLLAMA_CONTEXT_LENGTH=32768
```

Cette description dans un *docker-compose.yml* permet de stipuler

- on enregistre les models sur disque (ce qiu simplifie le redémarrage)
- on aura accès au serveur par le port 11434
- on stipule l'usage de carte graphique nvidia en spécifiant qu'on utilise toutes les cartes trouvées et on indique une longeur de contexte


## Usage

liste des models sur le serveur

> ollama list

récupération d'une image model

> ollama pull <name-of-model>

suppression d'un model

> ollama rm <name-of-model>

visualisation de l'usage des models et répartition entre GPU et CPU

> ollama ps

pour voir l'usage des cartes nvidia

> docker run --rm --gpus all nvidia/cuda:12.4.0-base-ubuntu22.04 nvidia-smi

identification des truncatures côté ollama du contexte

> docker logs ollama 2>&1 | grep -i truncat