小智头像图片
AI教程 2025年01月15日
0 收藏 0 点赞 557 浏览 1202 个字
摘要 :

面向开发者的LLM入门课程-对话缓存窗口储存: 对话缓存窗口储存 随着对话变得越来越长,所需的内存量也变得非常长。将大量的tokens发送到LLM的成本,也会变得更加昂贵,……

哈喽!伙伴们,我是小智,你们的AI向导。欢迎来到每日的AI学习时间。今天,我们将一起深入AI的奇妙世界,探索“面向开发者的LLM入门课程-对话缓存窗口储存”,并学会本篇文章中所讲的全部知识点。还是那句话“不必远征未知,只需唤醒你的潜能!”跟着小智的步伐,我们终将学有所成,学以致用,并发现自身的更多可能性。话不多说,现在就让我们开始这场激发潜能的AI学习之旅吧。

面向开发者的LLM入门课程-对话缓存窗口储存

面向开发者的LLM入门课程-对话缓存窗口储存:

对话缓存窗口储存

随着对话变得越来越长,所需的内存量也变得非常长。将大量的tokens发送到LLM的成本,也会变得更加昂贵,这也就是为什么API的调用费用,通常是基于它需要处理的tokens数量而收费的。

针对以上问题,LangChain也提供了几种方便的储存方式来保存历史对话。其中,对话缓存窗口储存只保留一个窗口大小的对话。它只使用最近的n次交互。这可以用于保持最近交互的滑动窗口,以便缓冲区不会过大。

1.添加两轮对话到窗口储存

我们先来尝试一下使用 ConversationBufferWindowMemory 来实现交互的滑动窗口,并设置 k=1 ,表示只保留一个对话记忆。接下来我们手动添加两轮对话到窗口储存中,然后查看储存的对话。

from langchain.memory import ConversationBufferWindowMemory
# k=1表明只保留一个对话记忆
memory = ConversationBufferWindowMemory(k=1)
memory.save_context({“input”: “你好,我叫皮皮鲁”}, {“output”: “你好啊,我叫鲁西西”})
memory.save_context({“input”: “很高兴和你成为朋友!”}, {“output”: “是的,让我们一起去冒
险吧!”})
memory.load_memory_variables({})

{‘history’: ‘Human: 很高兴和你成为朋友!nAI: 是的,让我们一起去冒险吧!’}

通过结果,我们可以看到窗口储存中只有最后一轮的聊天记录。

2.在对话链中应用窗口储存

接下来,让我们来看看如何在 ConversationChain 中运用 ConversationBufferWindowMemory 吧!

llm = ChatOpenAI(temperature=0.0)
memory = ConversationBufferWindowMemory(k=1)
conversation = ConversationChain(llm=llm, memory=memory, verbose=False )
print(“第一轮对话:”)
print(conversation.predict(input=”你好, 我叫皮皮鲁”))
print(“第二轮对话:”)
print(conversation.predict(input=”1+1等于多少?”))
print(“第三轮对话:”)
print(conversation.predict(input=”我叫什么名字?”))

注意此处!由于这里用的是一个窗口的记忆,因此只能保存一轮的历史消息,因此AI并不能知道你第一轮对话中提到的名字,他最多只能记住上一轮(第二轮)的对话信息

面向开发者的LLM入门课程-对话字符缓存储存
面向开发者的LLM入门课程-对话字符缓存储存:对话字符缓存储存 使用对话字符缓存记忆,内存将限制保存的token数量。如果字符数量超出...

嘿,伙伴们,今天我们的AI探索之旅已经圆满结束。关于“面向开发者的LLM入门课程-对话缓存窗口储存”的内容已经分享给大家了。感谢你们的陪伴,希望这次旅程让你对AI能够更了解、更喜欢。谨记,精准提问是解锁AI潜能的钥匙哦!如果有小伙伴想要了解学习更多的AI知识,请关注我们的官网“AI智研社”,保证让你收获满满呦!

微信打赏二维码 微信扫一扫

支付宝打赏二维码 支付宝扫一扫

版权: 转载请注明出处:https://www.ai-blog.cn/2664.html

相关推荐

AI写作-小说大纲格式与内容概述: 什么叫大纲?大纲是一本小说的根本。他为小说提供了精神主旨,主要…

小智头像图片
30

AI写作-如何利用日常生活写小说: 一、举例 1.身边之人是熟人,但是是关系平平的同事, 这种的大家…

小智头像图片
148

AI绘画-Liblibai简易上手教程​:prompt简易技巧: prompt简易技巧​ 认识prompt​ 好说,你就这么理…

小智头像图片
557

AI绘画-Liblibai简易上手教程​:简明操作流程: 简明操作流程​ 文生图​ 1.定主题:你需要生成一张…

小智头像图片
557

AI绘画-Liblibai简易上手教程​:功能说明: 本简易教程包含三部分​ 1.概念与功能说明(能看懂)​ 2…

小智头像图片
557

AI编程-trae使用教程:IDE 设置: 常规设置​ 在设置中心,你可以修改通用设置,包括修改主题和语言…

小智头像图片
557

AI编程-trae使用教程:源代码管理: 在 Trae 中,你可以使用源代码管理功能(Source Control)来管…

小智头像图片
557

AI编程-trae使用教程:多模态输入​: 你可以在会话中添加图片,例如报错截图、设计稿、参考样式等…

小智头像图片
557
发表评论
暂无评论

还没有评论呢,快来抢沙发~

助力原创内容

快速提升站内名气成为大牛

扫描二维码

手机访问本站

二维码
vip弹窗图片