面向开发者的LLM入门课程-检查有害内容

哈喽！伙伴们，我是小智，你们的AI向导。欢迎来到每日的AI学习时间。今天，我们将一起深入AI的奇妙世界，探索“面向开发者的LLM入门课程-检查有害内容”，并学会本篇文章中所讲的全部知识点。还是那句话“不必远征未知，只需唤醒你的潜能！”跟着小智的步伐，我们终将学有所成，学以致用，并发现自身的更多可能性。话不多说，现在就让我们开始这场激发潜能的AI学习之旅吧。

面向开发者的LLM入门课程-检查有害内容：

检查结果

随着我们深入的学习，本教程将引领你了解如何评估系统生成的输出。在任何场景中，无论是自动化流程还是其他环境，我们都必须确保在向用户展示输出之前，对其质量、相关性和安全性进行严格的检查，以保证我们提供的反馈是准确和适用的。我们将学习如何运用审查(Moderation) API 来对输出进行评估，并深入探讨如何通过额外的 Prompt 提升模型在展示输出之前的质量评估。

检查有害内容

我们主要通过 OpenAI 提供的 Moderation API 来实现对有害内容的检查。

import openai
from tool import get_completion_from_messages
final_response_to_customer = f”””
SmartX ProPhone 有一个 6.1 英寸的显示屏，128GB 存储、
1200 万像素的双摄像头，以及 5G。FotoSnap 单反相机
有一个 2420 万像素的传感器，1080p 视频，3 英寸 LCD 和
可更换的镜头。我们有各种电视，包括 CineView 4K 电视，
55 英寸显示屏，4K 分辨率、HDR，以及智能电视功能。
我们也有 SoundMax 家庭影院系统，具有 5.1 声道，
1000W 输出，无线重低音扬声器和蓝牙。关于这些产品或
我们提供的任何其他产品您是否有任何具体问题？
“””
# Moderation 是 OpenAI 的内容审核函数，旨在评估并检测文本内容中的潜在风险。
response = openai.Moderation.create(
input=final_response_to_customer
)
moderation_output = response[“results”][0]
print(moderation_output)

{
“categories”: {
“harassment”: false,
“harassment/threatening”: false,
“hate”: false,
“hate/threatening”: false,
“self-harm”: false,
“self-harm/instructions”: false,
“self-harm/intent”: false,
“sexual”: false,
“sexual/minors”: false,
“violence”: false,
“violence/graphic”: false
},
“category_scores”: {
“harassment”: 4.2861907e-07,
“harassment/threatening”: 5.9538485e-09,
“hate”: 2.079682e-07,
“hate/threatening”: 5.6982725e-09,
“self-harm”: 2.3966843e-08,
“self-harm/instructions”: 1.5763412e-08,
“self-harm/intent”: 5.042827e-09,
“sexual”: 2.6989035e-06,
“sexual/minors”: 1.1349888e-06,
“violence”: 1.2788286e-06,
“violence/graphic”: 2.6259923e-07
},
“flagged”: false
}

如你所见，这个输出没有被标记为任何特定类别，并且在所有类别中都获得了非常低的得分，说明给出的结果评判是合理的。

总体来说，检查输出的质量同样是十分重要的。例如，如果你正在为一个对内容有特定敏感度的受众构建一个聊天机器人，你可以设定更低的阈值来标记可能存在问题的输出。通常情况下，如果审查结果显示某些内容被标记，你可以采取适当的措施，比如提供一个替代答案或生成一个新的响应。

值得注意的是，随着我们对模型的持续改进，它们越来越不太可能产生有害的输出。

检查输出质量的另一种方法是向模型询问其自身生成的结果是否满意，是否达到了你所设定的标准。这可以通过将生成的输出作为输入的一部分再次提供给模型，并要求它对输出的质量进行评估。这种操作可以通过多种方式完成。接下来，我们将通过一个例子来展示这种方法。

嘿，伙伴们，今天我们的AI探索之旅已经圆满结束。关于“面向开发者的LLM入门课程-检查有害内容”的内容已经分享给大家了。感谢你们的陪伴，希望这次旅程让你对AI能够更了解、更喜欢。谨记，精准提问是解锁AI潜能的钥匙哦！如果有小伙伴想要了解学习更多的AI知识，请关注我们的官网“AI智研社”，保证让你收获满满呦！