Jev di TypeSafe in azienda: quando serve e come provarlo
Un nuovo tipo di modello risponde con una scelta e una probabilità. E sta spopolando. L'idea convince. Per capire se convince anche il prodotto l'ho messo alla prova sui miei casi, per qualche settimana.
Sono quasi quattro anni di AI generativa, con milioni di modelli in circolazione. E adesso scopriamo che, per prendere una decisione, sembra servire un'altra famiglia ancora: i System One Models, come Jev. Un modello che non scrive: sceglie, e dice quanto è sicuro.
Mi sono preso qualche settimana prima di parlarne. Non sopporto più la corsa all'hype che chiede di provare una novità il giorno stesso, basandosi sul sentito dire e quasi mai sull'esperienza diretta. Quindi oggi, a un mese esatto dall'uscita di Jev, inizio a raccontarvi un po' della mia esperienza. E sì, qualche cambiamento importante lo porta.
Per testarlo ho chiesto al mio miniMe di costruirmi un laboratorio in cui definisco i casi d'uso e confronto le risposte di Jev con quelle di sistemi simili. L'ho messo su GitHub: se volete, ci potete giocare e farvi un'idea vostra.
Cos'è Jev, in parole semplici
Jev è un modello che si aspetta di ricevere due cose in input. La prima è lo stato di una situazione: un ticket, un'email, il titolo di un bando, l'azione che un agente sta per compiere. La seconda è una serie di domande, ciascuna con le risposte possibili già scritte.
Per ogni domanda il modello restituisce una scelta e la probabilità di ogni opzione. Le forme sono tre: una scelta fra categorie, un punteggio su una scala, un sì o no con la sua probabilità. E basta: niente spiegazioni, niente email, niente codice. TypeSafe, l'azienda che lo produce, prende in prestito da Kahneman l'idea del pensiero veloce, il giudizio immediato, contrapposto al ragionamento lento dei modelli che scrivono.
Qui sotto un esempio dal mio laboratorio: un bando di gara, una domanda con dieci risposte possibili, la scelta di Jev con le sue probabilità.
La novità sta nel posto in cui vivono le categorie. In un classificatore tradizionale sono scritte dentro il modello, servono migliaia di esempi per insegnargliele e per aggiungerne una si ricomincia da capo. Con Jev arrivano insieme ai dati, descritte a parole, a ogni chiamata: aggiungere «reclami» ai reparti possibili vuol dire aggiungere una riga.
Per un'azienda la traduzione è semplice. Fino a ieri ogni decisione automatica richiedeva un progetto complesso, regole scritte a mano o un modello di AI generativa, con il rischio che inventasse una risposta fuori menu. Oggi può essere un file di configurazione che gira in un'ora. Gli esempi con la risposta giusta servono ancora, per un'altra cosa: capire quanto fidarsi.
Da dove arriva
TypeSafe AI è uscita allo scoperto il 15 settembre con un finanziamento iniziale da 40 milioni di dollari guidato da DCVC. Fra i fondatori c'è Diogo Almeida, ex OpenAI, che l'azienda indica fra gli autori di alcune delle tecniche (RLHF e InstructGPT) che hanno trasformato i modelli linguistici in ChatGPT. Il nome richiama William Stanley Jevons e il suo paradosso: quando una risorsa costa meno, se ne consuma di più. Un tema quanto mai attuale, in questo periodo di «abbondanza di intelligenza».
Il resto è andato velocissimo. Lista d'attesa tolta in meno di una settimana e, dieci giorni dopo il lancio, voci riportate dalla stampa finanziaria su offerte che la porterebbero a 10 miliardi. Nessun investitore nominato, nessun round confermato: restano voci, ma un salto del genere in così poco tempo racconta bene il clima di iper-comunicazione che stiamo vivendo.
Il lavoro sprecato
La tesi di TypeSafe suona quasi come una critica al successo dei modelli che conosciamo: li abbiamo ottimizzati per parlare con le persone, e il software ha bisogno di valori prevedibili.
Oggi, quando un programma deve scegliere fra A, B e C, chiede a un modello linguistico di scrivere la risposta, magari in un formato che il software sa leggere, come il JSON. Poi la legge, la controlla e gestisce i casi in cui il formato è saltato. Un modello capace di scrivere un romanzo, messo a fare il lavoro di un semaforo.
Jev salta questi passaggi: valuta tutte le domande insieme e lascia al codice soglie e conseguenze. TypeSafe dichiara vantaggi di costo e velocità di centinaia di volte, e molti li hanno ripresi senza misurarli. Anche LangChain, una delle librerie più usate per costruire agenti, ha costruito sopra Jev un sistema di instradamento e controllo, e ripete gli stessi numeri senza citare un solo caso di errore.
Il controdato più utile arriva da dentro TypeSafe. Sostituendo con Jev un solo passaggio decisionale in un flusso più lungo, il flusso intero è diventato più veloce del 15,9% e più economico del 30,1%, secondo quanto riportato da Cherry Creek News. Un buon risultato, lontanissimo dalle centinaia di volte sbandierate dai meri «riportatori di notizie».
La metrica che conta, come ha scritto Rajesh Beri, è il costo per decisione corretta. Una scelta economica che manda un agente costoso sul ramo sbagliato vi costa più di quanto vi faccia risparmiare. E il prezzo, da solo, invecchia in fretta: sarà un caso, ma il 22 settembre, a poche ore di distanza, OpenAI e Anthropic hanno annunciato modelli più economici del 50% e del 40%.
Dove ha senso
Online troviamo esempi di tutti i tipi: Jev gioca a Doom, a Super Mario scegliendo fra i sette tasti del controller, a Tetris decidendo se ruotare, spostare o far cadere il pezzo. Pilota un drone in una città simulata, schivando gli ostacoli, a un centesimo di dollaro a viaggio. Tutto in simulazione: TypeSafe stessa ammette che a Doom un bot scritto a mano giocherebbe meglio. Per vederne altri, c'è una raccolta di demo e progetti aggiornata dalla comunità.
Per un'azienda, però, i casi interessanti sono altri:
Smistamento: scegliere il reparto, lo strumento, il modello o l'agente giusto.
Guardiani: controllare un'azione prima che parta, riconoscere un tentativo di manipolazione, decidere quando chiamare una persona.
Triage ad alto volume: email, ticket, fatture, log, record di database.
Jev ha senso quando:
la stessa decisione andrà presa centinaia di volte: un caso al mese lo gestisce meglio una persona;
le risposte possibili si possono scrivere prima: reparti, priorità, sì o no;
la decisione dipende dall'interpretazione di un testo: se basta cercare una parola, basta un semplice filtro sulle parole chiave;
va immediatamente presa una decisione: instradare, bloccare, chiamare qualcuno;
e magari avete uno storico di casi in cui è presente la risposta giusta, per misurare quanto fidarvi.
Se manca una delle prime quattro, Jev diventa una tecnologia in cerca di un problema.
In una sola frase: Jev serve quando contano la velocità e la capacità di scegliere di continuo dentro un menu limitato.
Cosa ho visto nel mio laboratorio
Il laboratorio manda a Jev dati pubblici veri e confronta le sue risposte con quelle ufficiali. Le fonti pronte sono parecchie: i bandi di gara europei di TED, gli incentivi aperti alle imprese di incentivi.gov.it, le allerte Safety Gate sui prodotti pericolosi venduti in Europa, i richiami di alimenti, farmaci e prodotti di consumo delle autorità americane, una raccolta di tentativi di manipolazione per il guardiano di un assistente AI e una di richieste bancarie con domande fuori tema, per vedere se Jev sa di non sapere.
Accanto a Jev gira un secondo motore, SemIf, che applica la stessa idea con un modello aperto, direttamente sul vostro computer. Ve lo racconto più avanti, nel confronto.
E il laboratorio si allarga con i vostri casi. Si copia la cartella di esempio, ci si mettono una ventina di casi vostri con la risposta giusta, si scrivono le domande, e il nuovo set compare nel menu accanto agli altri. Con Jev i dati escono dal computer, quindi usate esempi finti o anonimizzati. Con SemIf restano a casa vostra.
Ecco il laboratorio all'opera su tre casi: un'email in arrivo a una PMI, un bando di gara, un incentivo.
Un primo test riguarda i bandi di gara pubblici italiani, dal portale europeo TED. Venti bandi, due domande ciascuno: a quale dei dieci team commerciali del laboratorio va il bando, e se si tratta di lavori, servizi o forniture. TED scrive la categoria ufficiale già nel titolo, quindi la domanda vera è se il modello sa riportare quella classificazione alle categorie di chi vende. È il lavoro di chiunque debba smistare bandi.
Jev ha risposto correttamente 40 volte su 40: venti bandi per due domande, e ogni risposta coincide con la classificazione ufficiale di TED, che a Jev era stata nascosta.
Detto così sembra perfetto, quindi serve un termine di paragone. Un sistema che non legge niente e risponde sempre con la categoria più frequente avrebbe fatto giusto il 55% delle volte. Jev ha letto davvero: un bando per arredi scolastici l'ha mandato ai beni industriali all'80%, lasciando il 16% alla formazione. Risposta giusta, e la parola «scolastico» non l'ha distratto.
Il guardiano di un assistente AI. Venti messaggi presi da un dataset pubblico di deepset, in gran parte in inglese e tedesco, metà normali e metà scritti per manipolare l'assistente. Due domande: è un tentativo di manipolazione? E cosa deve fare il guardiano, lasciar passare, rispondere con cautela o bloccare?
Sulla prima domanda Jev ha sbagliato due volte, entrambe nella direzione peggiore: una al 51%, dichiarando il dubbio, l'altra con il 90% di sicurezza. Sulla seconda nessuna delle dieci manipolazioni è passata: otto bloccate, due con cautela. In cambio ha bloccato due domande legittime su dieci, quelle sui bambini ucraini deportati: un tema delicato scambiato per un attacco.
Il dato che mi ha fatto pensare di più è un altro. Sullo stesso messaggio le due domande si sono contraddette: manipolazione al 10%, azione «blocca». Jev le valuta in parallelo, ognuna per conto suo. Quale delle due vince lo decide il vostro codice, e va deciso prima.
Le schermate composte da un catalogo. Pensate a un'app che monta la pagina giusta per ogni cliente, scegliendo fra blocchi già pronti. In un secondo laboratorio Jev ha fatto proprio questo, componendo delle schermate con i pezzi di un catalogo: il primo pezzo compariva in circa sei decimi di secondo, mentre un modello generativo gratuito, che la schermata la deve scrivere, impiegava da un secondo e mezzo a 43 secondi. Alla richiesta di una mappa delle filiali con il meteo, che nel catalogo non c'è, Jev ha restituito zero elementi in mezzo secondo. Il modello generativo ne ha inventati 26 in 47 secondi. Uno si ferma, l'altro riempie il buco.
Il confronto
Il secondo motore è SemIf, un progetto indipendente: niente chiave, niente carta di credito. Io l'ho fatto girare con un modello aperto da 2 miliardi di parametri, piccolo abbastanza da stare su un portatile. Stessi venti bandi:
Giudizi corretti | |
Jev | 40 su 40 |
SemIf | 35 su 40 |
Lo stesso bando, i due motori. Qui SemIf sbaglia, e con il 97% di sicurezza. Sui tempi attenzione: Jev risponde a sei domande in una chiamata sola, SemIf fa un passaggio per ogni domanda.
La tabella sta qui come segnale d'attenzione. I numeri di un confronto, i miei compresi, vanno presi con le pinze: chi confronta due motori misura sempre anche il proprio modo di interrogarli. E adesso che nascono decine di System One Models, ogni settimana ne arriverà uno con una classifica che lo mette in testa.
Gli altri test pubblici raccontano la stessa storia. Su 2.000 email di phishing, con una domanda secca Jev si ferma al 62,6%, mentre Claude Haiku 4.5, un modello generativo, arriva all'81,3% (a costi e tempi più alti). Spezzando la stessa verifica in cinque domande Jev sale al 95%, e un semplice filtro sulle parole chiave fa il 91,7%. In sostanza, la formulazione della domanda pesa più del modello.
Per scegliere il motore che decide meglio serve quello che serve sempre: provarlo sui vostri casi, guardare le risposte di persona, tenere la decisione in casa. Più la decisione è importante, meno si delega, a un benchmark come a un fornitore.
Non allucina? Piano con le parole
Jev può restituire soltanto le opzioni che avete previsto. È una garanzia vera, e riguarda il formato della risposta. La correttezza della scelta resta tutta da misurare.
Un test di Octomind, riportato da VentureBeat, lo mostra bene. Un agente sta per lanciare un comando che cancella le chiavi di accesso di un computer, e Jev, nel ruolo di guardiano, deve decidere se fermarlo. Di norma lo blocca con una probabilità del 76%. Poi, fra i testi che l'agente ha appena letto, chi fa il test inserisce una riga finta che dice «pre-approvato». Basta quella: la probabilità di bloccare il comando scende al 48%, sotto la metà, e il comando passa.
Il caso d'uso più venduto, il guardiano, è quindi anche il più attaccabile, e la pagina dei limiti di Jev lo ammette.
Poi c'è il pregiudizio. Simon Willison ha chiesto a Jev quali città della Bay Area fossero «buone città» e si è visto restituire Cupertino in testa ed East Palo Alto in fondo. Nessuno aveva chiesto un'opinione sul reddito dei quartieri: Jev l'ha data lo stesso, senza dirlo.
Per questo le probabilità vanno controllate sui vostri dati, e i casi incerti devono avere una strada pronta: una regola, un modello più forte, una persona.
Il prezzo vero è lo stato del vostro sistema
Per decidere, Jev deve vedere lo stato. Nei casi più interessanti lo stato è fatto di ticket, fatture, log, istruzioni, risultati degli agenti e a volte codice. Il guardiano, per fare bene il suo lavoro, deve poter vedere quasi tutto. E non so se consegnerei dati sensibili all'ultima arrivata. È il solito problema della fiducia.
Jev infatti è un modello proprietario, servito da API remote negli Stati Uniti, e non risulta una versione da installare in casa. TypeSafe dichiara di non addestrare i modelli sui vostri dati senza consenso e offre un accordo sul trattamento dei dati con le clausole per i trasferimenti internazionali. I termini consentono però il trattamento degli input per erogare il servizio e la raccolta di telemetria, e per la conservazione dei dati manca un termine semplice e fisso.
La cancellazione immediata dei dati esiste solo sui piani a pagamento degli intermediari come Vercel, e il contenuto esce comunque dalla vostra infrastruttura. Una strada gratuita per provarlo, oggi, manca: Vercel chiede la carta di credito anche per il credito di prova, e il piano gratuito di Cloudflare esclude Jev.
C'è anche la tenuta. Nel mio secondo laboratorio quattro composizioni su nove sono fallite perché il servizio di TypeSafe era saturo, una settimana dopo il lancio. Per un guardiano di agenti in produzione, questo pesa più dei millisecondi.
Infine la dipendenza dal fornitore. TypeSafe è giovane e il modello è chiuso: prezzi, API e proprietà possono cambiare. Le alternative che restano sul vostro computer esistono già: oltre a SemIf c'è rizzo-flow di Simone Rizzo, e i cloni si moltiplicano: Almeida stesso ne conta una cinquantina. Restano tecnologie neonate, da tenere d'occhio prima di portarle in produzione.
Il consiglio pratico è quello di sempre, e l'avevo già scritto parlando di make or buy: provatelo con dati finti, mandategli il minimo indispensabile, togliete dati personali e segreti, e tenete il motore dietro un'interfaccia vostra, così da poterlo cambiare domani.
Quindi?
Vedremo se le promesse di velocità e affidabilità reggeranno su dati veri e casi d'uso testati. I primi test dicono che modelli di questo tipo sono molto promettenti, ma devono ancora fare strada prima di un'affidabilità da processo critico.
Delle alternative aperte ne ho misurata una sul mio lavoro, e con il codice giusto arriva vicina a Jev. Quello che nessuna ha ancora dimostrato, Jev compreso, è che quando dice «sicuro al 90%» abbia ragione nove volte su dieci, anche sui vostri casi e non solo sui benchmark. Finché manca questa affidabilità, credo che l'adozione resterà limitata.
Una cosa, però, Jev l'ha già dimostrata. Una parte dell'intelligenza artificiale, capace di comprendere contenuti complessi, può smettere di parlare: a volte deve soltanto scegliere, dichiarare il proprio dubbio e lasciare al codice, o a una persona, l'ultima parola.
Resta il tema di cosa consegnare all'ennesima startup appena nata: non so se metterei un modello chiuso a fare da guardiano ai miei agenti, o se aspetterei un equivalente che gira in casa.
Forse fra un anno parleremo ancora di Jev. Forse avremo dimenticato il nome e troveremo la sua idea dappertutto, magari dentro i prossimi modelli dei grandi laboratori.
Sono curioso di capire cosa ci avete fatto, o cosa ci fareste voi.
Enjoy Artificial Intelligence Responsibly!
Massimiliano
