小智头像图片
AI教程 2025年01月15日
0 收藏 0 点赞 297 浏览 1966 个字
摘要 :

面向开发者的LLM入门课程-所有测试用例结果: 在所有测试用例上运行评估,并计算正确的用例比例 下面我们来对测试用例中的全部问题进行验证,并计算 LLM 回答正确的准确……

哈喽!伙伴们,我是小智,你们的AI向导。欢迎来到每日的AI学习时间。今天,我们将一起深入AI的奇妙世界,探索“面向开发者的LLM入门课程-所有测试用例结果”,并学会本篇文章中所讲的全部知识点。还是那句话“不必远征未知,只需唤醒你的潜能!”跟着小智的步伐,我们终将学有所成,学以致用,并发现自身的更多可能性。话不多说,现在就让我们开始这场激发潜能的AI学习之旅吧。

面向开发者的LLM入门课程-所有测试用例结果

面向开发者的LLM入门课程-所有测试用例结果:

在所有测试用例上运行评估,并计算正确的用例比例

下面我们来对测试用例中的全部问题进行验证,并计算 LLM 回答正确的准确率

注意:如果任何 API 调用超时,将无法运行

import time
score_accum = 0
for i, pair in enumerate(msg_ideal_pairs_set):
time.sleep(20)
print(f”示例 {i}”)
customer_msg = pair[‘customer_msg’]
ideal = pair[‘ideal_answer’]
# print(“Customer message”,customer_msg)
# print(“ideal:”,ideal)
response = find_category_and_product_v2(customer_msg,
products_and_category)
# print(“products_by_category”,products_by_category)
score = eval_response_with_ideal(response,ideal,debug=False)
print(f”{i}: {score}”)
score_accum += score
n_examples = len(msg_ideal_pairs_set)
fraction_correct = score_accum / n_examples
print(f”正确比例为 {n_examples}: {fraction_correct}”)

示例 0
0: 1.0
示例 1
错误
产品集合: {‘SmartX ProPhone’}
标准的产品集合: {‘MobiTech Wireless Charger’, ‘SmartX EarBuds’, ‘MobiTech
PowerCase’}
1: 0.0
示例 2
2: 1.0
示例 3
3: 1.0
示例 4
错误
产品集合: {‘SoundMax Home Theater’, ‘CineView 8K TV’, ‘CineView 4K TV’, ‘CineView
OLED TV’, ‘SoundMax Soundbar’}
标准的产品集合: {‘CineView 8K TV’}
回答是标准答案的一个超集
错误
产品集合: {‘ProGamer Racing Wheel’, ‘ProGamer Controller’, ‘GameSphere Y’,
‘GameSphere VR Headset’, ‘GameSphere X’}
标准的产品集合: {‘GameSphere X’}
回答是标准答案的一个超集
错误
产品集合: {‘TechPro 超极本’, ‘TechPro Desktop’, ‘BlueWave Chromebook’, ‘PowerLite
Convertible’, ‘BlueWave 游戏本’}
标准的产品集合: {‘TechPro Desktop’, ‘BlueWave Chromebook’, ‘TechPro Ultrabook’,
‘PowerLite Convertible’, ‘BlueWave Gaming Laptop’}
4: 0.0
示例 5
错误
产品集合: {‘SmartX ProPhone’}
标准的产品集合: {‘MobiTech Wireless Charger’, ‘SmartX EarBuds’, ‘SmartX MiniPhone’,
‘SmartX ProPhone’, ‘MobiTech PowerCase’}
回答是标准答案的一个子集
5: 0.0
示例 6
错误
产品集合: {‘SmartX ProPhone’}
标准的产品集合: {‘MobiTech Wireless Charger’, ‘SmartX EarBuds’, ‘SmartX MiniPhone’,
‘SmartX ProPhone’, ‘MobiTech PowerCase’}
回答是标准答案的一个子集
6: 0.0
示例 7
7: 1.0
示例 8
8: 1.0
示例 9
9: 1
正确比例为 10: 0.6

使用 Prompt 构建应用程序的工作流程与使用监督学习构建应用程序的工作流程非常不同。因此,我们认为这是需要记住的一件好事,当您正在构建监督学习模型时,会感觉到迭代速度快了很多。

如果您并未亲身体验,可能会惊叹于仅有手动构建的极少样本,就可以产生高效的评估方法。您可能会认为,仅有 10 个样本是不具备统计意义的。但当您真正运用这种方式时,您可能会对向开发集中添加一些复杂样本所带来的效果提升感到惊讶。这对于帮助您和您的团队找到有效的 Prompt 和有效的系统非常有帮助。

在本教程中,输出可以被定量评估,就像有一个期望的输出一样,您可以判断它是否给出了这个期望的输出。在下一教程中,我们将探讨如何在更加模糊的情况下评估我们的输出。即正确答案可能不那么明确的情况。

面向开发者的LLM入门课程-测试评估英文版
面向开发者的LLM入门课程-测试评估英文版:英文版 1. 找出产品和类别名称 import utils_en products_and_category = utils_en.ge...

嘿,伙伴们,今天我们的AI探索之旅已经圆满结束。关于“面向开发者的LLM入门课程-所有测试用例结果”的内容已经分享给大家了。感谢你们的陪伴,希望这次旅程让你对AI能够更了解、更喜欢。谨记,精准提问是解锁AI潜能的钥匙哦!如果有小伙伴想要了解学习更多的AI知识,请关注我们的官网“AI智研社”,保证让你收获满满呦!

微信打赏二维码 微信扫一扫

支付宝打赏二维码 支付宝扫一扫

版权: 转载请注明出处:https://www.ai-blog.cn/2628.html

相关推荐
04-16

告别机械回答!手把手教你微调DeepSeek-R1模型: 让大模型像我们一样回答问题,这几乎是所有大模型…

小智头像图片
68
04-16

通义千问Qwen2.5-VL详解之能够操作电脑和手机的视觉Agent​: 能够操作电脑和手机的视觉Agent​ 通过…

小智头像图片
150
04-16

通义千问Qwen2.5-VL详解之增强的视频理解​: 增强的视频理解​ 可以支持最长1小时视频理解​ Qwen2.5…

小智头像图片
297
04-16

通义千问Qwen2.5-VL详解之Qwen特色文档解析​: Qwen特色文档解析​ 在 Qwen2.5-VL 中,我们在设计了…

小智头像图片
297
04-16

通义千问Qwen2.5-VL详解之全面的文字识别和理解​: 全面的文字识别和理解​ Qwen2.5-VL 将 OCR 识别…

小智头像图片
297
04-16

通义千问Qwen2.5-VL详解之精准的视觉定位​: 精准的视觉定位​ Qwen2.5-VL 采用矩形框和点的多样化…

小智头像图片
297
04-16

通义千问Qwen2.5-VL详解之万物识别​: 万物识别​ Qwen2.5-VL 不仅擅长识别常见物体,如花、鸟、鱼…

小智头像图片
297
04-16

通义千问Qwen2.5-VL详解: Qwen2.5-VL​ ​ Qwen2.5-VL 模型-AI视觉智能体能力大幅增强​ 版本:3B、7…

小智头像图片
297
发表评论
暂无评论

还没有评论呢,快来抢沙发~

助力原创内容

快速提升站内名气成为大牛

扫描二维码

手机访问本站

二维码
vip弹窗图片