36 LangChain入門 - LangChain緩存(Cache)類型與機制詳解

学习与实践
3 次觀看·2023年11月5日

LangChain框架為Chat Model和其他LLM提供了緩存層,幫助開發者儘可能的降低不必要的LLM的API調用,從而提高響應效率,也實現省錢的目的。

代碼
https://github.com/sugarforever/LangChain-Tutorials/blob/main/LangChain_Caching.ipynb

相關鏈接
LangChain的cache實現
https://github.com/langchain-ai/langchain/commits/v0.0.219/langchain/cache.py