KI Chatbot OHNE ChatGPT! Llama Python Tutorial

in diesem Video zeige ich dir wie du dir mit Hilfe eines lokalen sprachmodells einen eigenen Chatbot in Python programmieren kannst dazu verwenden wir ein quelloffenes Sprachmodell wie Lama 2 von Meta das wir in dem Programm LM Studio herunterladen und starten mein Video zu LM Studio und wie man sich das ganze einrichtet habe ich dir unten in der Videobeschreibung verlinkt der Clue bei unserem Programm besteht darin dass wir die Python Bibliothek open ai verwenden Moment wir wollen das ganze doch Lokal laufen lassen und ohne die Nutzung einer kostenpflichtigen API das stimmt doch was ist wenn wir statt des sprachmodells Lama später doch einen Vertreter der GPT Familie von Open ai verwenden wollen und genau deshalb bauen wir das Programm so auf dass man sichch das Hinzufügen von nur einer einzigen Codezeile auf ein lokales Modell wechseln kann zuerst installieren wir uns jedoch mit dem Befehl PIP install open ai das Python Modul zur Kommunikation mit der Open ai API und importieren es in unser Programm keine Sorge wir werden die API von Open ai später nicht verwenden sondern nur das Konstrukt bauen indem man dann ganz einfach zwischen den verschiedenen sprachmodellen wechseln kann alle Leser meines Buches hacking und Service Security mit KI können also beruhigt sein alles was wir darin mit der API von openi programmieren kannst du auch mit einem lokalen Sprachmodell machen ihr müsst dann nur eine einzige ile hzufügen doch dazu später mehr wir definieren uns nun eine String variable indem wir den API Key speichern wie gesagt du kannst dort auch einfach api key eintragen denn wir brauchen den eigentlich nicht und er dient nur dazu das Programm auf die mögliche Verwendung der Open API vorzubereiten jetzt definieren wir eine Liste namens talk in der wir die Chat Historie speichern als System instruction verwenden wir so etwas wie ur Chat GPT das heißt wir gauken unserem chatbard vor er sei chatgbt du kannst dort aber auch jede beliebige andere System instruction verwenden und die K verhält sich dann entsprechend im Hauptprogramm fragen wir vom Benutzer einen prompt ab und speichern ihn in einer Variable namens prompt wir verwenden den wahlrossoperator um die Eingabe direkt gegen einen bestimmten Wert zu prüfen nämlich x das heißt wenn der Benutzer ein X eingibt wird das Programm beendet dies wird durch eine W erreicht wir fügen den prompt anschließend mit der Rolle User der chattorie hzu danach rufen wir auf openi.chat completion die Funktion create auf dieser übergeben wir als Sprachmodell GPT 3.5 Turbo keine Sorge dort könnte auch sortad online stehen es ist völlig egal was dort drin steht weil wir nicht die API von Open ai verwenden wenn du jedoch einfach zwischen den verschiedenen Modellen wechseln willst kannst du den Eintrag jedoch steh lassen das gleiche gilt auch für den API Key wichtig ist jedoch dass du den Parameter messages die Liste mit der Chat Historie zuweist das Ergebnis wird in einer Variable mit dem Namen response gespeichert wir lesen anschließend aus der Respons Variable die eigentliche Antwort als Text aus und fügen Sie ebenfalls der chatistorie hinzu damit der Kontext der Konversation erhalten bleibt zum Schluss geben wir die Antwort des sprachmodells noch aus aktuell würde das Programm noch nicht funktionieren weil es derzeit noch versuchen würde mit der Open API zu kommunizieren das ändern wir jetzt starte das Programm LM Studio und klicke auf dieses pilsymbol hier wähle hier oben im Dropdown eines der sprachmodelle aus dass du dir zuvor heruntergeladen hast klicke anschließend auf den grünen Button Start Server jetzt läuft das Sprachmodell bei dir auf dem localhost an Port 1234 also lokal auf deinem Rechner bzw in deinem Netzwerk du könntest bei Bedarf auch den Port anpassen für unser Python Programm benötigen wir noch diesen Pfad hier den du dir in die Zwischenablage kopierst Wechsel nun wieder zurück in das Python prramm und ergänze direkt hinter dem Start des Hauptprogramms die Instruktion die du dir zuvor kopiert hast wichtig diese Zeile muss vor dem ersten Aufruf der API stehen denn genau diese Codezeile ist es mit der du das lokale Sprachmodell ansprichst ansonsten telefoniert das Programm raus zur API von Open ai also einfach diese Zeile hier hinzufügen zuvor natürlich noch das Sprachmodell über LM Studio starten und schon kann es losgehen hervorragend dann testen wir unser Programm doch einfach mal achte darauf dass dein lokales Sprachmodell im Hintergrund bereits läuft ich starte das Python Programm mit unserem KI Chatbot dass ich passenderweise chatbot.p genannt habe mit dem Befehl pythen chatbot.pie jetzt werde ich dazu aufgefordert eine Nachricht einzugeben ich entscheide mich für ein einfaches hallo nach einer kurzen Wartezeit antwortet mir chatgpt ich ich meine natürlich unser lokales Sprachmodell Lama 2 dass sich für chatgbt ausgibt unterhalte Dich gerne mal ein bisschen mit dem Chatbot und poste deine lustigsten chatverläufe hier unten in die Kommentare solltest du weitere Fragen haben kannst du sie natürlich auch gerne unten posten vielen Dank fürs zusehen und bis zum nächsten Video