DALL-E to rodzina modeli sztucznej inteligencji opracowanych przez OpenAI do generowania obrazów na podstawie opisów tekstowych. Nazwa nawiązuje do Salvadora Dalego oraz robota WALL-E z filmu animowanego. Użytkownik opisuje scenę, obiekt, kompozycję lub styl, a system tworzy na tej podstawie nową grafikę. DALL-E zalicza się do narzędzi generatywnej AI oraz systemów text-to-image, czyli rozwiązań zamieniających tekst na treść wizualną.
Zasada działania generowania text-to-image i ewolucja modeli
Jak działa DALL-E? Model analizuje prompt, czyli polecenie tekstowe i wykorzystuje zależności poznane podczas treningu na danych tekstowych oraz wizualnych. Na tej podstawie tworzy obraz odpowiadający opisowi, uwzględniając między innymi obiekty, kolory, perspektywę, oświetlenie, układ sceny i wskazany styl. Wygenerowana grafika nie jest po prostu wyszukanym obrazem z Internetu, lecz nową treścią utworzoną przez model na podstawie instrukcji. DALL-E rozwijał się w kilku generacjach. Pierwsza wersja została zaprezentowana przez OpenAI w 2021 roku i pokazała, że model może łączyć pojęcia zapisane w języku naturalnym z tworzeniem obrazów. DALL-E 2 zwiększył jakość i realizm generowanych grafik oraz rozszerzył możliwości modyfikowania istniejących obrazów. DALL-E 3 został opracowany z większym naciskiem na zgodność obrazu z bardziej rozbudowanym opisem tekstowym.
Obszary zastosowań: od koncepcji do edycji grafik
Do czego służy DALL-E? Narzędzie może tworzyć ilustracje, grafiki koncepcyjne, wizualizacje produktów, obrazy do prezentacji, projekty reklamowe oraz materiały artystyczne. Modele z tej rodziny mogą także wspierać edycję istniejących grafik, na przykład przez zmianę fragmentu obrazu, dodanie nowego elementu lub rozwinięcie kompozycji. DALL-E może być więc używany zarówno do tworzenia obrazu od podstaw, jak i do przekształcania materiału wizualnego.
Rola promptu oraz różnica między DALL-E a ChatGPT
Ważnym pojęciem związanym z DALL-E jest prompt. Może to być krótkie zdanie albo szczegółowy opis zawierający informacje o postaciach, tle, kolorystyce, świetle, kadrze, perspektywie i nastroju. Im więcej istotnych cech zostanie opisanych, tym więcej wskazówek otrzymuje model podczas generowania grafiki. Polecenie może również określać rodzaj obrazu, na przykład ilustrację, fotografię, plakat, szkic lub grafikę o określonej estetyce.
Czy DALL-E jest tym samym co ChatGPT? Nie, ponieważ nazwy te odnoszą się do różnych rodzajów rozwiązań OpenAI. ChatGPT jest systemem konwersacyjnym przeznaczonym do pracy z językiem, natomiast DALL-E oznacza rodzinę modeli zaprojektowanych do tworzenia obrazów. Funkcje generowania grafiki mogą być integrowane z interfejsami konwersacyjnymi, dzięki czemu opis obrazu można przekazać w formie zwykłego polecenia tekstowego.
DALL-E bywa określany jako generator obrazów AI, generator grafiki AI, model text-to-image lub system generatywnej sztucznej inteligencji. Jego znaczenie polega na umożliwieniu tworzenia treści wizualnych przy użyciu języka naturalnego bez konieczności ręcznego rysowania każdego elementu. Użytkownik może opisać pomysł, określić wygląd sceny i rozwijać rezultat przez kolejne instrukcje. DALL-E jest jednym z rozpoznawalnych przykładów technologii, która połączyła generowanie obrazów z opisem tekstowym.