Man mano che gli LLM sono diventati più potenti, le allucinazioni si sono rivelate ostinatamente difficili da evitare. Gli errori compaiono anche nei modelli più intelligenti e, sebbene esistano modi per rilevarli, l’industria sta ancora cercando il modo migliore per farlo.
Probabilmenteche ha appena raccolto 9 milioni di dollari in finanziamenti iniziali da Andreessen Horowitz, sta cercando di costruire un modo più rigoroso per individuare questi errori.
Come afferma il fondatore Peter Elias (nella foto sopra), l’obiettivo dell’azienda è impedire che allucinazioni e semplici errori concreti raggiungano l’utente e raggiungere il tipo di precisione del 99,99% comune nei sistemi deterministici ma molto più difficile da raggiungere con l’intelligenza artificiale. A quanto pare, per portare gli LLM a quel livello di precisione è necessario ripensare molti dei presupposti di base dell’ingegneria dell’intelligenza artificiale.
Il primo prodotto probabilmente è uno strumento di data science, creato per produrre risposte rapide da set di dati complessi. Ogni risultato viene fornito con una citazione e una traccia di controllo su come è stato sviluppato, una pratica sempre più comune tra gli strumenti di intelligenza artificiale.
Ma evitare che gli errori si insinuassero in quei riepiloghi richiedeva un elaborato sistema di cablaggio che Elias descrive come una “tuta mech per la scienza dei dati”. Le risposte di primo passaggio del LLM vengono confrontate con un sistema di validazione deterministico, che restituisce eventuali risultati che non corrispondono al set di dati. Fondamentalmente, il LLM è stato addestrato rispetto al validatore e l’intero sistema è ottimizzato per risposte rapide e precise, ha affermato la società.
“Ciò che abbiamo imparato costruendo questo è che quanto migliore è l’ingegneria del cablaggio, tanto più debole può essere il modello”, afferma Elias. “Se riesci a perfezionare sufficientemente il contesto, il modello non deve lavorare molto per fare la cosa giusta. Fondamentalmente, è un esercizio per ridurre l’ambiguità.”
Ciò consente allo strumento di data science di Probabilmente di funzionare su modelli di intelligenza artificiale significativamente più piccoli. Elias afferma che la versione attuale funziona su un modello che è “quattro classi più deboli rispetto ai modelli di frontiera”, il che significa che può essere eseguito su hardware locale (ovvero, un computer desktop anziché un data center), il che riduce enormemente i costi dei token associati all’uso dell’intelligenza artificiale.
È un’idea gradita in un momento in cui i costi dei token stanno aumentando e molti clienti stanno rivalutando i propri budget per l’intelligenza artificiale. Inoltre, l’idea di Elias non si esaurisce con la scienza dei dati, poiché lo stesso motore può essere esteso per coprire casi d’uso come la contabilità o i servizi medici – come dice Elias, “qualsiasi caso d’uso sensibile alla precisione”.
“Penso che sia davvero interessante che i grandi laboratori di intelligenza artificiale non abbiano nemmeno tentato di farlo”, afferma Elias. “Sono incentivati a non farlo, perché guadagnano più volte che devi correggere il modello.”
Quando acquisti tramite i link presenti nei nostri articoli, potremmo guadagnare una piccola commissione. Ciò non pregiudica la nostra indipendenza editoriale.
