Google včera oznámil řadu aktualizací, včetně modelu Gemini 2.0 Flash, Deep Research a dalších. Kromě toho vyhledávací gigant zobrazil náhled svých nadcházejících agentů AI, jako jsou Project Mariner, Project Astra a Jules. Google uvedl, že vylepšuje Project Astra a jeho funkce budou integrovány do aplikace Gemini.
Spolu s tím Google v tichosti vydal „Stream Realtime“ na Google AI Studio, které funguje velmi podobně jako Project Astra. Tato funkce je určena pro vývojáře k testování API, ale běžní uživatelé ji mohou také snadno a zdarma používat. Pomocí fotoaparátu můžete ukázat své okolí a mluvit s Gemini 2.0 v reálném čase. Nejlepší na tom je, že můžete sdílet obrazovku notebooku a komunikovat pomocí hlasu v reálném čase.
Latence byla výrazně snížena a opravdu máte pocit, jako byste mluvili s Gemini 2.0 v reálném čase. Můžete použít fotoaparát svého chytrého telefonu nebo webovou kameru notebooku a ukázat Blížencům, na co se díváte. Obrazovku můžete také sdílet na svém notebooku. Zde je návod, jak si můžete vyzkoušet časný náhled něčeho jako Project Astra pomocí Google AI Studio.
- Pokračujte a spusťte aistudio.google.com/live v prohlížeči na mobilu nebo notebooku/stolním počítači.
- Nyní se přihlaste pomocí svého účtu Google. Google AI Studio je zdarma pro každého.
- Poté klepněte nebo klikněte na „Zobrazit Gemini“ a povolte použití vaší živé kamery a mikrofonu.
- Nyní můžete ukázat své okolí a mluvit s Gemini 2.0 v reálném čase. Testoval jsem to pomocí svého smartphonu a správně identifikoval moje desky Raspberry Pi v reálném čase.
- Dále jsem na svém notebooku sdílel svou obrazovku s Gemini 2.0 a fungovalo to docela dobře. Při hledání notebooku analyzoval můj displej a dal mi několik návrhů. To je fakt super.
Pro pomoc s kódováním v reálném čase by se mohla hodit funkce sdílení obrazovky. ChatGPT již vidí vaši obrazovku na macOS, ale je omezen na několik vybraných kódovacích aplikací. OpenAI již dříve oznámilo, že Live Camera přichází na ChatGPT, ale zatím nedošlo k žádné oficiální aktualizaci. Možná, že uprostřed probíhajících oznámení „12 dní OpenAI“ by společnost mohla spustit Live Camera na ChatGPT.
Mimochodem, Microsoft také testuje Copilot Vision, který může vidět vaši obrazovku při procházení webu, ale je opět omezen na několik schválených webových stránek a je dostupný pouze uživatelům s předběžným přístupem.
Se Stream Realtime předvádí Google něco velmi blízkého projektu Astra. Vylepšený Project Astra samozřejmě může využívat data z Map Google, Google Lens a Google Search v reálném čase pro ještě hladší zážitek, ale zatím není k dispozici. Řekl bych, že i bez živého webového přístupu je Stream Realtime skvělým demo Project Astra. Kdo zná Stream Realtime, může být v zákulisí Project Astra.
