Po měsících očekávání OpenAI konečně spustila Sora, svůj nástroj pro generátor videa AI. Čekali jsme na přístup k Sora a generování videí AI, abychom zjistili, zda to odpovídá humbuku. Nyní jsme testovali Sora na různých výzvách a také jsme použili jeho funkci image-to-video. Nyní si projděte naše praktické zkušenosti se Sorou, abyste se dozvěděli o jejích možnostech a omezeních.
Vytvořte video člověka, který sfoukává svíčky
Abych Sora otestoval, začal jsem jednoduchou výzvou, abych zjistil, jak zvládá pohyb vzduchu a obecnou fyziku. Spustil jsem níže uvedenou výzvu na Sora, ale odmítl generovat video. Ukázalo se, že kvůli slovu „úder“ ve výzvě Sora odmítla vytvořit video. Tak jsem to změnil na „zhasíná“ a video se snadno vytvořilo. Ukazuje, že Sora byla silně omezena, aby se zabránilo vytváření škodlivého videa.
Nevadí, když jsem se dostal k vygenerovanému videu, nedodrželo mé pokyny. Osoba na videu nesfoukla svíčky. Po několika pokusech a po spálení více než 100 kreditů Sora nemohla vytvořit video, o které jsem žádal.
Člověk sfoukne všechny svíčky na narozeninovém dortu
Vygenerujte video z kriketového zápasu
Ukazuje, že zatímco Sora dobře rozumí prostorové koherenci – vytváří konzistentní jednotlivé snímky – postrádá časovou koherenci, což je schopnost generovat sekvence, které se řídí logickými pravidly založenými na čase. Například míč může padat nekonzistentní rychlostí, protože model nerozumí gravitaci nebo obecněji fyzikálním zákonům.
Všiml jsem si, že když jsou do toho zapojeni lidé, Sora se snaží udržet časovou koherenci. Připomíná mi to rané modely generování obrázků, které často selhávaly při vykreslování lidských rysů, jako jsou prsty, ruce, oči atd.
Indie hraje kriket proti Austrálii
Generování obrázku na video
Vzhledem k tomu, že Sora umožňuje uživatelům nahrávat fotografie (nyní nikoli lidí), využil jsem této příležitosti a otestoval, jak převádí statické obrázky na videa. Nahrál jsem obrázek horské stezky a požádal Soru, aby na základě obrázku vytvořila video. Přidal jsem výzvu instruující Soru, aby se posouvala a ukázala okolí.
Sora opět nedodržela mé pokyny. Ze snímku vytvořilo jakési živé video a vůbec neukazovalo okolí.
Zkusil jsem tedy jinou metodu a použil funkci Sora’s Remix k vytvoření něčeho nového na základě vygenerovaného videa. Požádal jsem Soru, aby kolem hory přidal řeku a změnil sílu Remixu na Mírnou. Zatímco Sora přidala tekoucí řeku, změnila celkovou scénu a výstup vypadal jako akvarel.
Vytvořte abstraktní video
Na Doporučená stránka Sorynajdete mnoho vizuálně úžasných videí, většinou abstraktního charakteru. Zkusil jsem tedy vytvořit abstraktní video hravé lišky v lese. A Sora odvedla skvělou práci. Vytvořila magickou scénu, která ve filmovém světle předvádí velké detaily. Pro taková videa je Sora skvělým nástrojem. Můžete se vyřádit ve své fantazii a vytvářet surrealistická videa. Pro lepší výsledky nezapomeňte přidat podrobné výzvy.
Vytvořte animované video
V závěrečném testu vytvořila Sora nádhernou animovanou scénu jelena, běžícího v mystickém lese. Miloval jsem pomalý pohyb a tentokrát byl dokonale vykreslen bez jakéhokoli zkreslení. Opět, pokud chcete generovat animované scény, Sora je hodný generátor videa AI.
Vzhledem k tomu, že se jedná o první model vydaný OpenAI pro generování videa, lze očekávat určité nedokonalosti. Víme, že běží na modelu Sora Turbo, který je rychlejší, ale nenabízí plné možnosti většího modelu. Nicméně je to slibný vývoj v oblasti generativní umělé inteligence. Od této chvíle můžeme očekávat, že už to bude jen lepší.
