1. Oracle Italia
  2. Cloud
  3. Intelligenza artificiale

Hub di soluzioni AI

Entra in una nuova era di produttività con soluzioni di intelligenza artificiale generativa per la tua azienda. Sfrutta l'intelligenza artificiale, integrata in base alle tue esigenze, nell'intero stack.

Parla con un esperto di AI

Intelligenza artificiale

Visione artificiale

Estrazione e sintesi

Generazione

Inferenza

Sviluppo di modelli

Elaborazione del linguaggio naturale

Retrieval Augmented Generation

Analisi del sentiment

Riconoscimento vocale

Inferenza

Sviluppo di modelli

Estrazione e sintesi

Risultati contestuali (tramite RAG)

Elaborazione del linguaggio naturale

Visione artificiale

Riconoscimento vocale

Analisi del sentiment

Scenari tipici

Crea con l'AI generativa OCI

Guarda il video della soluzione di esempio (1:36)

Sfrutta la potenza degli LLM in un servizio gestito

Nel frenetico mondo dello sviluppo software, rimanere informati è fondamentale. Immagina di avere un assistente AI in grado di trasformare rapidamente una pagina Web complessa in contenuti di dimensioni ridotte, facilmente fruibili e condivisibili. Questa è una delle tante cose che l'AI generativa di Oracle Cloud Infrastructure (OCI) può aiutarti a fare.

Di seguito è riportato un esempio di creazione di un assistente AI con l'AI generativa OCI.

Il riepilogo dei progetti GitHub di tendenza basato sull'AI è un motore di generazione di contenuti personali che recupera e riepiloga automaticamente i primi 25 progetti GitHub di tendenza. L'AI generativa OCI consente di estrarre, leggere e compilare il file README di ogni progetto in un riepilogo conciso, coinvolgente e informativo che può essere condiviso con altri utenti.

Provalo con la procedura dettagliata e il codice di esempio su GitHub.

Scelta dei modelli

Per passare tra i vari LLM offerti attraverso l'AI generativa OCI, puoi modificare la variabile model_id in summarize_llm.py.

  • cohere.command-r-16k: un modello versatile per le attività in lingua generale, come la generazione di testo, il riepilogo e la traduzione, con una dimensione del contesto di 16.000 token. Ideale per creare un'AI conversazionale con il miglior compromesso tra performance ed efficacia.
  • cohere.command-r-plus: una versione avanzata con informazioni più sofisticate e funzionalità di linguaggio più approfondite. Ideale per attività complesse che richiedono risposte diversificate e una maggiore capacità di elaborazione.
  • meta.llama-3.1-70b-instruct: un modello di parametri 70B con lunghezza del contesto di 128.000 token e supporto multilingue.
  • meta.llama-3.1-405b-instruct: il più grande LLM disponibile pubblicamente (parametri 405B) con eccezionali funzionalità di ragionamento, generazione di dati sintetici e uso degli strumenti. Ideale per le applicazioni aziendali che richiedono le massime performance.

Quanto sopra menzionato è un sottoinsieme di modelli disponibili. Rendiamo sempre disponibili nuovi modelli.

Di seguito è riportato uno snippet di codice per chiamare l'AI generativa OCI:

content.text = """Generate an abstractive summary of the given Markdown contents. Here are the contents to summarize: {}""".format(summary_txt)


chat_detail.content = content.text 

chat_detail.serving_mode = oci.generative_ai_inference.models.OnDemandServingMode(model_id="meta.llama-3.1-405b-instruct") # configurable model chat_response = generative_ai_inference_client.chat(chat_detail)

Utilizza agenti dell'AI generativa OCI con RAG

Guarda il video della soluzione di esempio (1:44)

Migliora l'accesso alle Knowledge Base

La Retrieval-Augmented Generation (RAG) è uno dei casi d'uso più importanti per l'AI. La RAG consente di affinare le conoscenze di un LLM senza doverlo riaddestrare. Per l'LLM, rappresenta un modo per estrarre nuove informazioni, da un database o altrove, e presentarle rapidamente all'utente finale.

Ciò consente all'LLM di acquisire conoscenze aggiornate indipendentemente dalla data di addestramento del modello e dalla data di esecuzione dell'inferenza. I dati aggiornati possono quindi rendere il tuo LLM più intelligente con poco o nessuno sforzo.

Una volta caricati i documenti negli agenti GenAI di Oracle Cloud Infrastructure (OCI), il servizio elaborerà i dati e ne consentirà l'utilizzo attraverso un chatbot.

Provalo con la procedura dettagliata e il codice di esempio su GitHub.

Di seguito è riportato uno snippet di codice per l'uso dell'agente RAG in OCI:

# ask a question to RAG agent question = "What steps do I take if I have a new patient under the patient admission recommendations?" # Initialize service client with default config file agent_runtime_client = GenerativeAiAgentRuntimeClient(config)


chat_response = agent_runtime_client.chat( agent_endpoint_id="ocid1.test.oc1..<id>", chat_details=ChatDetails(user_message=question)) 

# Get the data from response print(chat_response.data)

Crea con Oracle HeatWave GenAI

Guarda il video della soluzione di esempio (3:54)

Velocizza AppDev con la GenAI integrata

L'AI generativa può essere particolarmente utile per aiutare a riassumere il sentiment, come mostra questo scenario. Un sito di e-commerce può avere centinaia di unità di stoccaggio, o SKU, con decine di recensioni per ciascuna. Per riassumere rapidamente le recensioni dei prodotti, gli sviluppatori possono sfruttare le funzionalità integrate di HeatWave GenAI, utilizzando modelli linguistici di grandi dimensioni nel database e una memoria di vettore automatizzata nel database.

HeatWave GenAI può anche aiutare a tradurre e analizzare il sentiment su richiesta. Tutte le operations possono essere automatizzate con HeatWave GenAI, aggiornando i riepiloghi man mano che vengono aggiunte nuove recensioni.

Mantenendo i dati e l'elaborazione all'interno di HeatWave, gli sviluppatori possono scalare le soluzioni in base alle loro esigenze di GenAI, rendendo l'AI semplice come una query di database.

Provalo con la procedura dettagliata e il codice di esempio su GitHub.

Di seguito è riportato uno snippet di codice che illustra come riassumere le recensioni positive:

SELECT "################### Computing summaries for EXISTING reviews on a product ###################" AS "";

SELECT "" AS "";

CALL SUMMARIZE_TRANSLATE(1, "POSITIVE", "en", @positive_english_summary);
SELECT @positive_english_summary AS "--- English summary of positive reviews on the T-Shirt ---";

Crea con modelli open source su OCI

Guarda il video della soluzione di esempio (1:30)

Sfrutta i modelli GenAI open source su una piattaforma unificata

Gli LLM open source, come quelli creati da Hugging Face, sono strumenti potenti che consentono agli sviluppatori di provare le soluzioni GenAI in tempi relativamente rapidi. Kubernetes, in combinazione con Oracle Cloud Infrastructure (OCI), consente di scalare le soluzioni GenAI, garantendo al contempo flessibilità, portabilità e resilienza.

In questa demo, scoprirai quanto può essere facile implementare container di inferenza LLM ottimizzati su OCI Kubernetes Engine, un servizio Kubernetes gestito che semplifica le distribuzioni e le operations su larga scala per le aziende. Il servizio consente agli sviluppatori di conservare il modello e i set di dati personalizzati nella propria tenancy senza fare affidamento su un'API di inferenza di terze parti.

Per esporre gli LLM, utilizzeremo l'Inferenza di generazione del testo come framework di inferenza.

Provalo con la procedura dettagliata e il codice di esempio su GitHub.

Di seguito è riportato uno snippet di codice che illustra come implementare un LLM open source:

# select model from HuggingFace

model=HuggingFaceH4/zephyr-7b-beta


# deploy selected model
docker run ghcr.io/huggingface/text-generation-inference:2.0 --model-id $model

# invoke the deployed model
curl IP_address:port/generate_stream \
    -X POST \
    -d '{"inputs":"What is Deep Learning?","parameters":{"max_new_tokens":50}}' \
    -H 'Content-Type: application/json'

Crea con Oracle Code Assist

Guarda il video della soluzione di esempio (3:40)

Aumenta la produttività degli sviluppatori e migliora la coerenza del codice

Oracle Code Assist è un compagno di codice AI progettato per rendere gli sviluppatori più veloci e migliorare la coerenza del codice. Supportato da modelli linguistici di grandi dimensioni (LLM) su Oracle Cloud Infrastructure (OCI) e ottimizzato per lo sviluppo di Java, SQL e applicazioni su OCI, Oracle Code Assist offre agli sviluppatori suggerimenti specifici del contesto. Puoi personalizzarlo in base alle best practice e ai codebase della tua organizzazione.

Attualmente disponibile in versione beta per JetBrains IntelliJ IDEA e Microsoft Visual Studio Code, il plugin può fornire assistenza per la documentazione, la comprensione del codice legacy e il completamento del codice.

Per scoprire come iscriversi al programma beta e iniziare a utilizzarlo, visita il nostro repository di GitHub.

Progetti AI OCI

Implementa, ridimensiona e monitora i carichi di lavoro GenAI in pochi minuti con i progetti AI di Oracle Cloud Infrastructure (OCI), completi di consigli hardware, componenti software e monitoraggio pronto all'uso.

    • Implementa e ridimensiona in modo efficace gli LLM con vLLM: inferenza velocissima, integrazione perfetta e senza problemi.

    • Scegli tra modelli personalizzati o una varietà di modelli open source su Hugging Face.

    • Esegui automaticamente il provisioning dei nodi GPU e memorizza i modelli nello storage degli oggetti OCI.

    • Ottieni un endpoint API pronto all'uso per l'inferenza immediata del modello.

    • Abilita il ridimensionamento automatico in base alla latenza di inferenza per applicazioni mission-critical.

    • Integra e ridimensiona facilmente i carichi di lavoro di inferenza senza competenze tecniche approfondite.

    • Monitora le prestazioni con strumenti di osservabilità integrati, come Prometheus e Grafana.

    • Ottimizza le prestazioni del benchmark in modo più intelligente e non più difficile e la formazione sull'intelligenza artificiale con insight basati sui dati.

    • Prestazioni di ottimizzazione del benchmark tramite la metodologia MLCommons.

    • Ottimizza un modello Llama 2 70B quantizzato con un set di dati standardizzato.

    • Monitora i tempi di addestramento, l'utilizzo delle risorse e le metriche delle performance.

    • Registra automaticamente i risultati in MLflow e visualizza gli insight in Grafana.

    • Prendi decisioni sull'infrastruttura basate sui dati per lavori ottimizzati.

    • Potenzia l'ottimizzazione degli LLM con l'adattamento a basso livello (LoRA), più veloce, più efficiente e pronto per l'implementazione.

    • Utilizza LoRA per ottimizzare in modo efficiente gli LLM con un sovraccarico computazionale minimo.

    • Sfrutta i tuoi data set personalizzati o i data set disponibili pubblicamente in Hugging Face per l'addestramento.

    • Monitora e analizza metriche di addestramento dettagliate registrate in MLflow durante tutto il processo di ottimizzazione.

    • Memorizza il modello ottimizzato e i risultati dell'addestramento in un bucket di storage degli oggetti per una distribuzione perfetta.

    • Ottimizza le prestazioni con un design che garantisce un adattamento rapido ed efficace dei modelli senza un uso intensivo delle risorse.

    • Ridimensiona la soluzione in base alle esigenze, dai piccoli set di dati all'ottimizzazione dei modelli su larga scala.