Miglioramento delle funzionalità dell'intelligenza artificiale: Google Cloud integra la ricerca vettoriale nei database gestiti

InfoQ Homepage Notizie Miglioramento delle capacità di intelligenza artificiale: Google Cloud integra la ricerca vettoriale nei database gestiti

09 luglio 2023 2 minuti di lettura

di

Renato Losio

Google Cloud ha recentemente aggiunto il supporto per pgvector su Cloud SQL per PostgreSQL e AlloyDB per PostgreSQL. L'estensione porta le operazioni di ricerca vettoriale nei database gestiti, consentendo agli sviluppatori di archiviare incorporamenti di vettori generati da modelli linguistici di grandi dimensioni (LLM) ed eseguire ricerche di somiglianza.

Cloud SQL e AlloyDB possono ora essere abbinati a servizi di intelligenza artificiale generativa su Vertex AI, aiutando a creare applicazioni abilitate all'intelligenza artificiale che sono consapevoli dell'applicazione e dello stato dell'utente. Sandhya Ghai, product manager senior di Google, e Bala Narasimhan, product manager di Google, spiegano:

Gli incorporamenti di vettori sono rappresentazioni numeriche generalmente utilizzate per trasformare contenuti complessi generati dagli utenti come testo, audio e video in una forma che può essere facilmente archiviata, manipolata e indicizzata. Queste rappresentazioni sono generate da modelli di incorporamento tali che, se due pezzi di contenuto sono semanticamente simili, i rispettivi incorporamenti si trovano uno vicino all'altro nello spazio vettoriale di incorporamento. Gli incorporamenti di vettori vengono quindi indicizzati e utilizzati per filtrare in modo efficiente i dati in base alla somiglianza.

Ad esempio, gli sviluppatori possono utilizzare i modelli preaddestrati di Vertex AI su testo e immagini per generare incorporamenti e archiviarli e indicizzarli in un database, semplificando la ricerca di record simili.

L'estensione pgvector può ora essere installata all'interno di un database esistente utilizzando il comando CREATE EXTENSION:

Fonte: https://cloud.google.com/blog/products/databases/using-pgvector-llms-and-langchain-with-google-cloud-databases

La nuova funzionalità può anche aiutare gli sviluppatori a sfruttare i LLM pre-addestrati, come spiegano Ghai e Narasimhan:

Una cosa da notare sugli LLM è che non hanno il concetto di stato. (...) Gli incorporamenti ti consentono di archiviare contesti di grandi dimensioni come documentazione o cronologie di chat a lungo termine nel tuo database e filtrarli per trovare le informazioni più rilevanti. È quindi possibile inserire nel modello gli elementi più rilevanti della cronologia o della documentazione della chat per simulare la memoria a lungo termine e la conoscenza specifica dell'azienda.

Google Cloud ha rilasciato un notebook Colab e un video per creare app basate sull'intelligenza artificiale utilizzando pgvector, il framework open source LangChain e LLM. Mostrando come aggiungere funzionalità di intelligenza artificiale generativa a un'applicazione Python di esempio, Saket Saurabh, ingegnere informatico senior presso Google, scrive:

L'estensione pgvector introduce anche nuovi operatori per eseguire corrispondenze di somiglianza sui vettori, consentendo di trovare vettori semanticamente simili. Due di questi operatori sono:'<->': restituisce la distanza euclidea tra i due vettori. (...)'<=>': restituisce la distanza coseno tra i due vettori.

Google Cloud non è l'unico fornitore di servizi cloud a prendere di mira i database vettoriali negli ultimi mesi, con Amazon RDS per PostgreSQL che supporta l'estensione pgvector e Microsoft che mostra come Azure Data Explorer (ADX) può essere utilizzato come database vettoriale e discute di diversi connettori per database vettoriali .

Codifica, distribuisci e scala Java a modo tuo.Microsoft Azure supporta il tuo carico di lavoro con numerose scelte, sia che tu stia lavorando su un'app Java, un server di app o un framework. Saperne di più.

Scrivere per InfoQ ha aperto molte porte e aumentato le opportunità di carriera per me. Ho avuto la possibilità di interagire profondamente con esperti e leader di pensiero per saperne di più sugli argomenti trattati. E posso anche diffondere le mie conoscenze alla più ampia comunità tecnologica e capire come le tecnologie vengono utilizzate nel mondo reale.

Ho scoperto il programma per collaboratori di InfoQ all'inizio di quest'anno e da allora mi sono divertito! Oltre a fornirmi una piattaforma per condividere l'apprendimento con una comunità globale di sviluppatori di software, il sistema di revisione peer-to-peer di InfoQ ha migliorato significativamente la mia scrittura