OpenAI sta lanciando silenziosamente una nuova piattaforma per sviluppatori che consente ai clienti di eseguire i nuovi modelli di machine learning dell’azienda, come GPT-3.5 , su capacità dedicate. Negli screenshot della documentazione pubblicata su Twitter dagli utenti con accesso anticipato, OpenAI descrive l’imminente offerta, chiamata Foundry, come “progettata per clienti all’avanguardia che eseguono carichi di lavoro più grandi”.

Se si deve credere agli screenshot, Foundry, ogni volta che viene avviato, fornirà una “allocazione statica” della capacità di calcolo (forse su Azure, la piattaforma cloud pubblica preferita di OpenAI) dedicata a un singolo cliente. Gli utenti saranno in grado di monitorare istanze specifiche con gli stessi strumenti e dashboard utilizzati da OpenAI per creare e ottimizzare i modelli. Inoltre, Foundry fornirà un certo livello di controllo della versione, consentendo ai clienti di decidere se eseguire o meno l’aggiornamento a versioni di modelli più recenti, nonché una messa a punto “più solida” per gli ultimi modelli di OpenAI.

Foundry offrirà anche impegni a livello di servizio, ad esempio tempi di attività e supporto tecnico in calendario. I noleggi saranno basati su unità di calcolo dedicate con impegni trimestrali o annuali; l’esecuzione di una singola istanza del modello richiederà un numero specifico di unità di calcolo (vedere il grafico seguente).

Le istanze non saranno economiche. L’esecuzione di una versione leggera di GPT-3.5 costerà $ 78.000 per un impegno di tre mesi o $ 264.000 per un impegno di un anno. Per metterlo in prospettiva, uno dei supercomputer di nuova generazione di Nvidia, la DGX Station, costa $ 149.000 per unità.

Gli attenti utenti di Twitter e Reddit hanno notato che uno dei modelli di generazione di testo elencati nella tabella dei prezzi delle istanze ha una finestra di contesto massima di 32k. (La finestra di contesto si riferisce al testo che il modello considera prima di generare testo aggiuntivo; finestre di contesto più lunghe consentono essenzialmente al modello di “ricordare” più testo.) GPT-3.5, l’ultimo modello di generazione di testo di OpenAI, ha una finestra di contesto massima di 4k, suggerendo che questo misterioso nuovo modello potrebbe essere il tanto atteso GPT-4 – o un trampolino di lancio verso di esso.

OpenAI è sotto crescente pressione per realizzare un profitto dopo un investimento multimiliardario da parte di Microsoft. Secondo quanto riferito, la società prevede  di guadagnare $ 200 milioni nel 2023, una miseria  rispetto agli oltre $ 1 miliardo che sono stati finora destinati alla startup.

I costi di elaborazione sono in gran parte da biasimare. La formazione di modelli di intelligenza artificiale all’avanguardia può costare fino a milioni di dollari e gestirli in genere non è molto più economico. Secondo il co-fondatore e CEO di OpenAI Sam Altman, eseguire ChatGPT, il chatbot virale di OpenAI costa pochi centesimi a chat, una cifra non trascurabile considerando che ChatGPT aveva oltre un milione di utenti lo scorso dicembre.

Nelle mosse verso la monetizzazione, OpenAI ha recentemente lanciato una versione “pro” di ChatGPT, ChatGPT Plus , a partire da $ 20 al mese e ha collaborato con Microsoft per sviluppare Bing Chat , un controverso chatbot (per usare un eufemismo) che ha catturato l’attenzione del pubblico. Secondo Semafor e The Information , OpenAI prevede di introdurre in futuro un’app mobile ChatGPT e portare la sua tecnologia del linguaggio AI in app Microsoft come Word, PowerPoint e Outlook.

Separatamente, OpenAI continua a rendere disponibile la sua tecnologia tramite il servizio Azure OpenAI di Microsoft , una piattaforma di servizi di modelli incentrata sul business, e mantiene Copilot , un servizio di generazione di codice premium sviluppato in collaborazione con GitHub.

Fausto Pitzalis

Blogger dal 2001, Nativo Digitale, Developer.
Da 12 anni mi occupo di IT per una grande Azienda.
Lavoro per abbattere il Digital Divide.
Visita i miei altri progetti
sardiniamobility.com
www.cyberness.it