今年 3 月，当 OpenAI 推出第四版 ChatGPT 时，该公司提出了一个耸人听闻的说法。

OpenAI 称，其技术现在可以击败 90% 参加美国律师资格考试的法律专业学生。

这个想法让卧龙岗大学法学院讲师 Armin Alimardani 既着迷又怀疑。

阅读更多墨尔本市长发布人工智能生成的 “令人毛骨悚然 “的图片，描绘儿童身边的尸体

“OpenAI的说法令人印象深刻，可能会对高等教育产生重大影响，例如，这是否意味着学生可以直接将作业复制到生成式人工智能中，并在考试中取得优异成绩？阿利马尔达尼说。

“我们中的很多人都玩过生成式人工智能模型，但它们看起来并不总是那么聪明，所以我想为什么不自己做一些实验来测试一下呢？

Alimardani 去年曾担任大学刑法科目的协调员，他认为学期末的考试是检验 ChatGPT 的绝佳机会。

设置完考题后，Alimardani 使用不同版本的 ChatGPT 生成了五个人工智能答案。

他还利用各种提示工程技术生成了另外五个人工智能答案，以增强它们的反应。

“我和我的研究助理将人工智能生成的答案手写在不同的试卷上，并使用了假的学生姓名和学号。这些试卷与真试卷毫无区别，”Alimardani 博士说。

人工智能试卷与真实学生的测试混在一起，交给辅导员评分。

那么，与澳大利亚法律专业学生相比，他们的成绩如何呢？

研究结果发表在今天的《法律、创新与技术期刊》上。

共有 225 名真正的法律专业学生参加了测试，平均得分率为 66%。

阿利马尔达尼说，没有使用提示技术的人工智能论文结果非常糟糕。

“他说：”两个勉强通过，另外三个失败了。

他补充说，其中的佼佼者只击败了 14.7% 的学生。

阅读更多受到人工智能推动的澳大利亚产业

不过，使用了提示语的人工智能论文表现要好得多，尽管仍不及 OpenAI 最初宣称的 90%。

“其中三份试卷的成绩并不突出，但有两份试卷的成绩相当不错。其中一份试卷的得分率约为 73%，另一份约为 78%，”Alimardani 说。

“总体而言，这些结果与 OpenAI 模拟美国律师资格考试的亮眼基准不太相符，10 份人工智能试卷中没有一份的表现优于 90% 的学生”。

阿利马尔达尼说，有趣的是，没有一份人工智能论文引起导师的怀疑，大多数导师在发现这些论文是由 ChatGPT 撰写时都感到非常惊讶。

“其中三位导师承认，即使提交的论文是在线的，他们也不会发现。因此，如果学术界认为他们能发现人工智能生成的论文，那他们就应该三思而后行了”。

阿利马尔达尼说，他本以为人工智能程序会在回答中引入 “幻觉 “或捏造的信息，这是一个已知的问题，但事实并非如此。

虽然对人工智能的回答没有那么详细，但阿利马尔达尼说，他的研究结果表明，懂得如何使用人工智能的毕业生在就业市场上会有优势。

您有报道吗？请联系记者 Emily McPherson，电子邮件：emcpherson@nine.com.au