Alcuni appunti riguardo all’installazione di una versione privata di un software GPT come ChatGPT.
- Ho provato ad installare Imartinez su Github, ma si è bloccato il procedimento (dopo la lettura di diversi articoli ho seguito i passi indicati qui, oltre che sul github ufficiale). Da riprovare.
- Un altro progetto testato è quello di SamurAI EmbedAI, che è anche dotato di un’interfaccia web che lo rende più facilmente utilizzabile. L’installazione è andata a buon fine, ho scaricato il modello e gli ho fatto indicizzare qualche testo txt di prova. Tuttavia la risposta esce in qualche modo codificata (sembrano caratteri a caso) ed è quindi inutilizzabile. Si vede che sta facendo cose perché riporta come link il documento corretto a cui rispondeva la domanda. Non ho capito/verificato se può gestire documenti in italiano. L’errore è presente anche in altri commenti di utenti, contattato il supporto non ho ottenuto supporto.
- Trovato quest’altro software che utilizza sempre OpenAI ma nasconde i dati prima di passarli in un db locale in cui vengono sostituiti con codici numerici… furbo!
- https://towardsdatascience.com/private-gpt-fine-tune-llm-on-enterprise-data-7e663d808e6a
- altro da provare: https://gpt4all.io/ – provato ma scarsissimi risultati sui propri documenti, da approfondire perché ha un ecosistema di modelli
