根据 8 月 22 日在《JAMA Network Open》在线发表的一项研究，ChatGPT 等大型语言模型 (LLM) 可以响应患者编写的眼科问题，并且通常会生成适当的响应。

加州斯坦福大学的 Isaac A. Bernstein 及其同事检查了法学硕士聊天机器人生成的眼科建议与眼科医生撰写的建议的质量。该研究使用了来自在线医学论坛的去识别化数据，其中患者的问题得到了眼科医生撰写的答复。由八名经过委员会认证的眼科医生组成的蒙面小组被要求区分 ChatGPT 聊天机器人生成的答案和眼科医生的答案。

评估了 200 对用户问题和答案。研究人员发现，区分人工智能(AI) 和人类反应的平均准确率为 61.3% 。在对聊天机器人编写的答案进行的 800 项评估中，分别有 21.0% 和 64.6% 被标记为人工编写和人工智能编写。与人类答案相比，聊天机器人的答案通常被认为可能或肯定是由人工智能编写的。聊天机器人答案包含不正确或不适当材料的可能性以及造成伤害的可能性与人类答案相当。

作者写道：“我们希望这项研究能够促进各种医疗保健利益相关者（包括患者、临床医生、研究人员和政策制定者）​​围绕眼科法学硕士的使用展开更广泛、更细致的对话和共同努力。” “主要目标是谨慎地利用这些早期研究结果来塑造法学硕士在眼科领域负责任的实施。”