ChatGPT修bug席卷,命中率达到78%!网友:程序员高兴-量子位,
ChatGPT要修复多少错误
这项研究终于正式开始了——
来自德国、英国的研究人员特意组成相扑场验证了ChatGPT的这一本领。
真的不比一比就不知道,比一比吓了我一跳。
ChatGPT对其中31个臭虫进行了精确修正,远远领先第二名(21个)获得了“AI臭虫修正界”的SOTA成绩!
首先我们来看一下这项研究。
ChatGPT并不是为了修正bug而制作的,但自从ChatGPT开发以来,我发现很多用户都有这个能力。
因此,研究人员引入标准的错误修正标准集QuixBugs进行了评估,以确定ChatGPT能够修正多少错误。
然后,在同一个相扑场比赛的AI选手是CodeX、CoCoNut、Standard APR。
研究者们从QuixBugs中选出了40个问题,让他们各自修正了错误。
请ChatGPT修正错误的方法是在对话框中提问如下
第一轮比赛的结果是这样的。
在第一次battle结果中,ChatGPT修正了19件,CodeX修正了21件,CoCoCoNut修正了19件,Standard APR修正了7件。
研究人员还发现,ChatGPT的答案与CodeX最为相似。那是因为两个来自同一语言模式的家族
那个时候,有孩子问我“ChatGPT还不是CodeX吗”。
不要着急,不要忘记,ChatGPT的一个特点就是越听越“上道”。
例如,此标准集存在bitcount问题。ChatGPT在刚才的修正第一轮中给出了错误的答案。
本来ChatGPT应该进行第7行的n^=n#8211;将1更改为n amp。=n#8211;1。
第一个答案是:
我给了你更多信息,ChatGPT回答说
通过这种方式,ChatGPT对第一次无法正确回答的问题提供了更多信息,结果大大提高了错误修正能力。
最终ChatGPT在奎克斯巴克斯的40道题中答对了31道。
对于这样的实验结果,网友对ChatGPT修复bug获得SOTA的反应是不同的。
也有意见认为程序员应该感到高兴,而不是感到危机。
换句话说,有了这么多工具,程序员的工作就更有效率了。
但这也有另一种观点
但是我觉得我的工作不会做完。
总体而言,ChatGPT擅长修复漏洞,不会对程序员造成致命伤害。
但是,把目光转向OpenAI的其他行动会怎么样呢
在编写代码之前,ChatGPT的一个重要用途是帮助程序员检查代码。
也就是说,它被定位为可用的辅助工具。
比起“ChatGPT是个威胁”的看法,如果ChatGPT的能力进化了,程序员就不用害怕写bug了。
OpenAI在布局的棋盘上,不仅仅是修改错误来窃取程序员的职位。
为了使其更强大,OpenAI在中南美和东欧等地区曝光,提供了1000份外包工作。
外包员工的主要工作是培训ChatGPT标记数据写代码
这1000人中40%是程序员,为OpenAI的模型制作数据,学习软件工学的任务。
以往,OpenAI的训练数据取自GitHub。
目前,外包程序员新手擦的数据集不仅包括代码行,还包括其背后的人类思维逻辑步骤。
一位南美软件开发人员爆料说,已经为OpenAI完成了5小时的免费编码测试。
在这个过程中,他的角色分为两部分。
用书面英语说明如何处理一个编码问题;提供解决方案。如果发现了错误,请OpenAI询问错误的详细情况,告诉我们应该如何修正。
程序员需要展示思考问题的每一步。程序员从那里推测OpenAI是不是打算向ChatGPT提供非常具体的训练数据。
特斯拉的前AI总监Andrej Karpathy在推特上说
话虽如此,ChatGPT对错误修正很强是好事,实际上为了能死记硬背代码而进化是好事。
不管怎么说,OpenAI是以“将通用人工智能作为全人类的利益”为宗旨而设立的。
乍看之下,这些年来所做的事情,有些人的努力让很多人看起来像是要失业。
从Dota2到gpt-3、dal-e2、ChatGPT的辉煌,其带来的新产品总是伴随着“让xxx失业”的呼声。
尽管如此,在商务中还是很方便的。
目前,OpenAI的主要业务模式是API费、令牌费和软件许可费。
最近,ChatGPT的收费版ChatGPT Pro也发布了。每月42美元(约合人民币285元)
机器人对话的启动就像雨后春笋一样出现,但有一些迹象表明市场对OpenAI仍持好感。
微软刚刚宣布,将在“OpenAI”上投资数十亿美元,将“OpenAI”的模式纳入microsoft bing等面向消费者和企业的产品中。
消息人士称,此次追加投资约达100亿美元。
另一方面,据WSJ透露,1月初,亿万富翁Peter Thiel设立的风险投资基金Founders Fund正在就投资OpenAI进行谈判。
预计采购金额至少为3亿美元。
在One More Thing最初的实验中,ChatGPT没有解决QuixBugs数据集的bitcount问题。
但是现在再问一次这个问题,ChatGPT可以“一次”
ChatGPT从这项研究中学到了解决办法吗
引用:
https://arxiv.org/abs/2301.08653 [1] [2]https://www.pcmag.com/news/watch-out-software-engineers-chatgpt-is-now-finding-fixing-bugs-in-code [3]https://www.Reddit。com / r / technology comments / 10 oaw6n watch_out_software_engineers_chatgpt_is_now / [4]https://en.wi.bwl.uni-mainz.de/dominik-sobania/