面向开发者的LLM入门课程-对话缓存窗口储存

哈喽！伙伴们，我是小智，你们的AI向导。欢迎来到每日的AI学习时间。今天，我们将一起深入AI的奇妙世界，探索“面向开发者的LLM入门课程-对话缓存窗口储存”，并学会本篇文章中所讲的全部知识点。还是那句话“不必远征未知，只需唤醒你的潜能！”跟着小智的步伐，我们终将学有所成，学以致用，并发现自身的更多可能性。话不多说，现在就让我们开始这场激发潜能的AI学习之旅吧。

面向开发者的LLM入门课程-对话缓存窗口储存：

对话缓存窗口储存

随着对话变得越来越长，所需的内存量也变得非常长。将大量的tokens发送到LLM的成本，也会变得更加昂贵，这也就是为什么API的调用费用，通常是基于它需要处理的tokens数量而收费的。

针对以上问题，LangChain也提供了几种方便的储存方式来保存历史对话。其中，对话缓存窗口储存只保留一个窗口大小的对话。它只使用最近的n次交互。这可以用于保持最近交互的滑动窗口，以便缓冲区不会过大。

1.添加两轮对话到窗口储存

我们先来尝试一下使用 ConversationBufferWindowMemory 来实现交互的滑动窗口，并设置 k=1 ，表示只保留一个对话记忆。接下来我们手动添加两轮对话到窗口储存中，然后查看储存的对话。

from langchain.memory import ConversationBufferWindowMemory
# k=1表明只保留一个对话记忆
memory = ConversationBufferWindowMemory(k=1)
memory.save_context({“input”: “你好，我叫皮皮鲁”}, {“output”: “你好啊，我叫鲁西西”})
memory.save_context({“input”: “很高兴和你成为朋友！”}, {“output”: “是的，让我们一起去冒
险吧！”})
memory.load_memory_variables({})

{‘history’: ‘Human: 很高兴和你成为朋友！nAI: 是的，让我们一起去冒险吧！’}

通过结果，我们可以看到窗口储存中只有最后一轮的聊天记录。

2.在对话链中应用窗口储存

接下来，让我们来看看如何在 ConversationChain 中运用 ConversationBufferWindowMemory 吧！

llm = ChatOpenAI(temperature=0.0)
memory = ConversationBufferWindowMemory(k=1)
conversation = ConversationChain(llm=llm, memory=memory, verbose=False )
print(“第一轮对话：”)
print(conversation.predict(input=”你好, 我叫皮皮鲁”))
print(“第二轮对话：”)
print(conversation.predict(input=”1+1等于多少？”))
print(“第三轮对话：”)
print(conversation.predict(input=”我叫什么名字？”))

注意此处！由于这里用的是一个窗口的记忆，因此只能保存一轮的历史消息，因此AI并不能知道你第一轮对话中提到的名字，他最多只能记住上一轮（第二轮）的对话信息

嘿，伙伴们，今天我们的AI探索之旅已经圆满结束。关于“面向开发者的LLM入门课程-对话缓存窗口储存”的内容已经分享给大家了。感谢你们的陪伴，希望这次旅程让你对AI能够更了解、更喜欢。谨记，精准提问是解锁AI潜能的钥匙哦！如果有小伙伴想要了解学习更多的AI知识，请关注我们的官网“AI智研社”，保证让你收获满满呦！