小智头像图片
AI教程 2025年01月15日
0 收藏 0 点赞 403 浏览 1277 个字
摘要 :

面向开发者的LLM入门课程-使用GPT评估回答是否正确: 使用GPT评估回答是否正确 我们希望您能从中学到一个设计模式,即当您可以指定一个评估 LLM 输出的标准列表时,您实……

哈喽!伙伴们,我是小智,你们的AI向导。欢迎来到每日的AI学习时间。今天,我们将一起深入AI的奇妙世界,探索“面向开发者的LLM入门课程-使用GPT评估回答是否正确”,并学会本篇文章中所讲的全部知识点。还是那句话“不必远征未知,只需唤醒你的潜能!”跟着小智的步伐,我们终将学有所成,学以致用,并发现自身的更多可能性。话不多说,现在就让我们开始这场激发潜能的AI学习之旅吧。

面向开发者的LLM入门课程-使用GPT评估回答是否正确

面向开发者的LLM入门课程-使用GPT评估回答是否正确:

使用GPT评估回答是否正确

我们希望您能从中学到一个设计模式,即当您可以指定一个评估 LLM 输出的标准列表时,您实际上可以使用另一个 API 调用来评估您的第一个 LLM 输出。

from tool import get_completion_from_messages
# 问题、上下文
cust_prod_info = {
‘customer_msg’: customer_msg,
‘context’: product_info
}
def eval_with_rubric(test_set, assistant_answer):
“””
使用 GPT API 评估生成的回答
参数:
test_set: 测试集
assistant_answer: 助手的回复
“””
cust_msg = test_set[‘customer_msg’]
context = test_set[‘context’]
completion = assistant_answer
# 人设
system_message = “””
你是一位助理,通过查看客户服务代理使用的上下文来评估客户服务代理回答用户问题的情况。
“””
# 具体指令
user_message = f”””
你正在根据代理使用的上下文评估对问题的提交答案。以下是数据:
[开始]
************
[用户问题]: {cust_msg}
************
[使用的上下文]: {context}
************
[客户代理的回答]: {completion}
************
[结束]
请将提交的答案的事实内容与上下文进行比较,忽略样式、语法或标点符号上的差异。
回答以下问题:
助手的回应是否只基于所提供的上下文?(是或否)
回答中是否包含上下文中未提供的信息?(是或否)
回应与上下文之间是否存在任何不一致之处?(是或否)
计算用户提出了多少个问题。(输出一个数字)
对于用户提出的每个问题,是否有相应的回答?
问题1:(是或否)
问题2:(是或否)

问题N:(是或否)
在提出的问题数量中,有多少个问题在回答中得到了回应?(输出一个数字)
“””
messages = [
{‘role’: ‘system’, ‘content’: system_message},
{‘role’: ‘user’, ‘content’: user_message}
]
response = get_completion_from_messages(messages)
return response
evaluation_output = eval_with_rubric(cust_prod_info, assistant_answer)
print(evaluation_output)

助手的回应只基于所提供的上下文。是
回答中不包含上下文中未提供的信息。是
回应与上下文之间不存在任何不一致之处。是
用户提出了2个问题。
对于用户提出的每个问题,都有相应的回答。
问题1:是
问题2:是
在提出的问题数量中,有2个问题在回答中得到了回应。

面向开发者的LLM入门课程-评估生成回答与标准回答的差距
面向开发者的LLM入门课程-评估生成回答与标准回答的差距:评估生成回答与标准回答的差距 在经典的自然语言处理技术中,有一些传统的...

嘿,伙伴们,今天我们的AI探索之旅已经圆满结束。关于“面向开发者的LLM入门课程-使用GPT评估回答是否正确”的内容已经分享给大家了。感谢你们的陪伴,希望这次旅程让你对AI能够更了解、更喜欢。谨记,精准提问是解锁AI潜能的钥匙哦!如果有小伙伴想要了解学习更多的AI知识,请关注我们的官网“AI智研社”,保证让你收获满满呦!

微信打赏二维码 微信扫一扫

支付宝打赏二维码 支付宝扫一扫

版权: 转载请注明出处:https://www.ai-blog.cn/2638.html

相关推荐
04-16

告别机械回答!手把手教你微调DeepSeek-R1模型: 让大模型像我们一样回答问题,这几乎是所有大模型…

小智头像图片
68
04-16

通义千问Qwen2.5-VL详解之能够操作电脑和手机的视觉Agent​: 能够操作电脑和手机的视觉Agent​ 通过…

小智头像图片
150
04-16

通义千问Qwen2.5-VL详解之增强的视频理解​: 增强的视频理解​ 可以支持最长1小时视频理解​ Qwen2.5…

小智头像图片
403
04-16

通义千问Qwen2.5-VL详解之Qwen特色文档解析​: Qwen特色文档解析​ 在 Qwen2.5-VL 中,我们在设计了…

小智头像图片
403
04-16

通义千问Qwen2.5-VL详解之全面的文字识别和理解​: 全面的文字识别和理解​ Qwen2.5-VL 将 OCR 识别…

小智头像图片
403
04-16

通义千问Qwen2.5-VL详解之精准的视觉定位​: 精准的视觉定位​ Qwen2.5-VL 采用矩形框和点的多样化…

小智头像图片
403
04-16

通义千问Qwen2.5-VL详解之万物识别​: 万物识别​ Qwen2.5-VL 不仅擅长识别常见物体,如花、鸟、鱼…

小智头像图片
403
04-16

通义千问Qwen2.5-VL详解: Qwen2.5-VL​ ​ Qwen2.5-VL 模型-AI视觉智能体能力大幅增强​ 版本:3B、7…

小智头像图片
403
发表评论
暂无评论

还没有评论呢,快来抢沙发~

助力原创内容

快速提升站内名气成为大牛

扫描二维码

手机访问本站

二维码
vip弹窗图片