主办单位:市关工委 市文明办 市教育局 市中小学生科技活动基金会

承办单位:市中小学生科技活动基金会办公室 市宣传系统关工委 金金网

协办单位:各区关工委 文明办 教育局

您当前的位置 : 我的科技梦2020 > 科技读物读后感 >

浅析OPENAI技术的发展

作品ID:41253
作者姓名:徐健坤
作者学校:南京市月牙湖小学
作者区域:秦淮区

浅析OpenAI技术的发展

在人工智能领域,OpenAI GPT-3是当今最热门的话题,GPT-3具有最多1750亿个参数,并用了更大的数据集——570GB的文本来预训练。GPT-3是自然语言处理(NLP)领域迄今为止发布出来最大的Transformer模型,超过之前的记录——微软研究院Turing-LG的170亿参数——约10倍。
OpenAI-GPT提出一种半监督的方式来处理语言理解的任务。使用非监督的预训练和监督方式的微调。模型的目标是学习一个通用的语言表示,可以经过很小的调整就应用在各种任务中。这个模型的设置不需要目标任务和非标注的数据集在同一个领域。模型有两个过程:使用语言模型学习一个深度模型;随后,使用相应的监督目标将这些参数调整到目标任务。
GPT-3已经可以用于创意写作完成博客文章,这是令人惊奇的。并且GPT-3仅仅通过与使用者进行类似对话的交互,就能模仿写作风格并生成不同类型的输出,其写作能力基本上超过了青年诗人的水平。
已经有很多关于GPT-3的使用案例,包括用GPT-3生成网页、图表、代码、文本以及推理。其中令人吃惊的是,GPT-3能生成Keras编写的卷积神经网络的代码,还能应对程序员面试、回复邮件、写积分表达式、回答物理问题。特别是,网友还对它进行了一场图灵测试,而GPT-3表现得还不错。
但是GPT-3也有它的一些问题,即使人类提出了无意义的问题,GPT-3也意识不到,只是按照模型的功能去输出预测。它没有理解问题本身,所以,它并没有掌握常识知识。GPT-3可以通过消化大量的互联网数据集了解人的语言表达,而不用去管语言背后的意义。实际上,它仅在尝试理解人类的语言维度,而无法理解人类的感官认知维度,这是GPT-3无论如何扩大模型也无法突破的局限性,所以,它永远也不可能通过图灵测试。
不管怎样,在GPT-3中许多应用都是首创的,使以前不可能的事情变成现实,特别是自然语言和代码之间的转换方面,现阶段GPT-3依然是值得推崇的。所以我们只有站在“现在”的肩膀上,才能在看到“未来”更美好的风景。

南京市月牙湖小学
六(1)班
徐健坤