39 GPTCache + LangChain 實現大模型響應的緩存

学习与实践
2 次觀看·2023年11月5日

GPTCache易於使用,可以通過以下兩個步驟將LLM查詢的延遲降低100倍:
- 構建緩存:您需要選擇嵌入函數、相似度評估函數、數據存儲位置和驅逐策略來構建您的緩存。
- 選擇LLM:GPTCache目前支持OpenAI的ChatGPT(GPT3.5-turbo)和Langchain。Langchain支持各種LLM模型,如Anthropic、Huggingface和Cohere模型。

相關鏈接

本期分享代碼
https://github.com/sugarforever/LangChain-Tutorials/blob/main/LangChain_Caching.ipynb

GPTCache
https://gptcache.readthedocs.io/en/dev/usage.html