- Jev je model umělé inteligence specializovaný na vracení strukturovaných a napsaných rozhodnutí namísto generování konverzačního textu.
- Je založen na konceptu „System One“, který upřednostňuje rychlost a efektivitu při třídění, bodování a směrování úkolů.
- Ve srovnání s tradičními LLM drasticky snižuje náklady a latenci tím, že eliminuje generování výstupních tokenů.
Pokud trávíte dny zápasením s výzvami, abyste od LLM dostali nepoškozený soubor JSON, nebo se snažíte zabránit tomu, aby se při klasifikaci tiketu zhroutila , měli byste se podívat, co dělá TypeSafe AI. Spustili Jev, model , který se zcela rozchází s logikou ChatGPT nebo Claude, protože zcela ignoruje psaní vět a zaměřuje se výhradně na rozhodování, která si jakýkoli program dokáže přečíst bez námahy.
V podstatě mluvíme o nástroji určeném pro software, ne pro lidi. Zatímco konvenční umělá inteligence se snaží být mnohostranným asistentem, který uvažuje a píše, Jev se prezentuje jako ultrarychlá rozhodovací vrstva . Je to chybějící článek mezi deterministickým kódem (typické příkazy „if“ a „else“) a sémantickou silou jazykových modelů, což umožňuje mnohem plynulejší a levnější automatizaci.
Filozofie Systému Jedna
Abychom pochopili Jeva, musíme se podívat na psychologii Daniela Kahnemana. TypeSafe AI nazvala svůj výtvor modelem Systému Jedna . Jednoduše řečeno, Systém 1 je rychlé, intuitivní a téměř automatické myšlení, které používáme pro každodenní úkoly, zatímco Systém 2 je pomalé, záměrné a nákladné uvažování. Současné LLM jsou čistým Systémem 2; snaží se uvažovat skrze každé slovo, což je činí pomalými a nákladnými i pro jednoduché úkoly.
Jev dělá pravý opak: specializuje se na rychlé, opakující se úsudky . Jeho název je odkazem na Williama Stanleyho Jevonse a jeho ekonomický paradox, který naznačuje, že když náklady na rozhodnutí prudce klesnou, počet rozhodnutí, která můžeme učinit, exploduje. Vyvinul ho Diogo Almeida, který již měl značné zkušenosti s OpenAI, pracoval na InstructGPT, a projekt má silné financování ve výši 40 milionů dolarů pod vedením DCVC.
Jak se to vlastně liší od LLM?
Rozdíl není ve velikosti modelu, ale ve způsobu, jakým informace poskytuje . LLM generuje text token po tokenu a vy musíte doufat, že formátování je správné. Jev na druhou stranu používá paralelní vzorkování. Nezapisuje, vybírá. Definujete možnosti a model vrací přesnou hodnotu, čímž eliminuje potřebu parsovat text a v širším smyslu eliminuje chyby typu . Pokud se ho zeptáte na booleovskou hodnotu, obdržíte booleovskou hodnotu, nikoli vysvětlení, proč je pravdivá.
Dalším klíčovým bodem je trénink. Zatímco většina umělých inteligencí je optimalizována pomocí RLHF, aby se líbila lidem, Jev používá RLCD (Reinforcement Learning for Calibrated Decisions) . Cílem zde není, aby odpověď byla „hezká“, ale spíše aby pravděpodobnost spojená s rozhodnutím byla upřímná. To znamená, že když Jev říká, že má 90% jistotu, je toto číslo spolehlivým ukazatelem přesnosti – něco zásadního pro rozhodování, zda by měla být akce provedena automaticky, nebo zda ji musí zkontrolovat člověk.
Tři základní nástroje: Primitivní prvky
Veškeré Jevovo kouzlo lze shrnout do tří typů otázek, které mu můžete položit v jediné žádosti:
- Výběr: Model vybere jednu možnost ze seznamu až 255 možností. Nejenže vám nabídne vítěze, ale také mapu pravděpodobnosti všech možností a skóre spolehlivosti. Zahrnuje také možnost „jiná“, aby se zabránilo vynucení nesprávné odpovědi modelem.
- Skóre: Přiřadí hodnotu na definované stupnici (od 2 do 10 úrovní). Zajímavé je, že vrací desetinné hodnoty (například 1.4), což umožňuje zachycení... nuance mezi kategoriemi které by celé číslo ignorovalo.
- Noul (Hodnocení): Je to zjednodušená verze odpovědi ano nebo ne. Vrací pravděpodobnost mezi 0 a 1. Čím blíže k 1, tím důraznější je „ano“.
Nejsilnějším aspektem je, že se můžete ptát na všechny tyto otázky současně ohledně stejného stavu (text, JSON nebo pole). Například v rámci pracovního postupu podpory se můžete současně zeptat na kategorii problému, míru frustrace zákazníka a zda požaduje vrácení peněz – to vše v rámci jediné síťové cesty a během zlomku sekundy.
Výkon, náklady a detaily „drobným písmem“
Čísla, která TypeSafe uvádí, jsou upřímně řečeno šílená. Mluví se o latencích v rozmezí od 70 do 500 milisekund a ceně 0,042 dolaru za milion tokenů pro vstup, přičemž výstup je zcela zdarma. Podle jejich vlastních benchmarků může být Jev stokrát rychlejší a levnější než front-endové modely jako GPT-4 nebo Claude.
Tato čísla je však třeba brát s rezervou. Samotná společnost připouští, že její testy byly provedeny interně a že výsledky se mohou lišit. Externí testy nicméně potvrzují, že u úloh s vysokou propustností třídění jsou úspory enormní. Například zpracování tisíců problémů s GitHubem může s Jevem stát pár haléřů ve srovnání s desítkami dolarů s generativními modely, a to při zachování podobné nebo i vyšší přesnosti na známých cestách.
Případy použití: Kde to vyniká a kde to selhává?
Jev je perfektní nástroj pro směrování leadů, moderování obsahu , třídění tiketů nebo vytváření ochranných pásek pro další umělé inteligence. Obzvláště zajímavým případem použití je webová navigace (jako v projektu jev-ultrafast), kde Jev rozhoduje, na který prvek stránky klikne, aniž by musel popisovat obrazovku, což automatizaci činí neuvěřitelně agilní.
Nepokoušejte se ho ale používat na všechno. Jev neumí psát kód , negeneruje kód a nedokáže logicky procházet složité kroky. Navíc má zjevné slabiny: není dobrý v matematice, plete se v datech a může selhat, pokud je kontext příliš zašumělý. Také to není bezpečnostní systém; může říct, že něco „vypadá nebezpečně“, ale konečná autorizace musí být v kódu , nikoli v umělé inteligenci.
Technická integrace a ekosystém
Pro vývojáře je začátek s Jevem poměrně jednoduchý. Existuje oficiální SDK pro JavaScript a Python (verze 0.6.0) a lze jej také integrovat pomocí jednoduchého POST požadavku. Navíc je již k dispozici ve Vercelově AI Gateway, což výrazně zjednodušuje správu klíčů a fakturaci, pokud již toto prostředí používáte.
Doporučená architektura je rozhodovací vodopád : Jev filtruje a klasifikuje obrovské množství dat nákladově efektivně, kód zpracovává deterministická pravidla a pouze ty nejnejednoznačnější nebo nejsložitější případy jsou odesílány do drahého LLM. Tímto způsobem optimalizujete rozpočet a snižujete celkovou latenci systému, přičemž Jev používáte jako monitora v první linii.
Tato nová kategorie modelů transformuje umělou inteligenci z chatbota, který se nás snaží napodobit, do chirurgicky přesného softwarového nástroje. Oddělením rozhodování od generačních schopností umožňuje Jev konstrukci mnohem robustnějších agentů, kde kalibrovaná důvěra diktuje pracovní postup a náklady přestávají být překážkou rozsáhlé automatizace.
