探索ChatGPT模型能力：工业应用的前景和挑战

Exploring the Capabilities of the ChatGPT Model： Prospects and Challenges in Industrial Applications

摘要

人工智能技术的发展给人们的生活带来了极大的便利，自然语言处理技术在其中发挥着重要作用。基于Transformer神经网络架构的聊天生成预训练转换器（chat generative pre-trained transformer，ChatGPT），具有强大的语言理解和文本生成能力，可以根据用户输入的信息和问题，快速生成高度匹配用户意图的响应，其精度和反应速度相当出色。本文结合人工智能技术应用于工业领域的特征，介绍了ChatGPT在众多自然语言处理任务中展现出的非凡能力，展望了ChatGPT在工业应用中研发设计、生产运维和经营管理等环节的应用可能性，列举了当前ChatGPT应用于工业领域存在多方面限制，并提出改进方向，以便更好地满足工业应用的需要。

Abstract

The development of artificial intelligence technology has brought significant convenience to people's lives, with natural language processing playing a crucial role. Based on the Transformer neural network architecture,the chat generative pre-trained transformer (ChatGPT), possesses robust language understanding and text generation capabilities. It can rapidly generate responses that closely align with user intent, based on the information and questions inputted by users. Its precision and response speed are remarkably outstanding. This article, integrating the characteristics of artificial intelligence applications in the industrial field, introduces the exceptional abilities of ChatGPT in a multitude of natural language processing tasks. It looks forward to the potential applications of ChatGPT in industrial contexts, such as in research and design, production operations, and business management. The article also enumerates the various limitations currently faced by ChatGPT in industrial applications and suggests several directions for improvement to meet the needs of industrial applications.

Graphical abstract

关键词

ChatGPT / 深度学习 / Transformer / 大型语言模型

Key words

ChatGPT / deep learning / Transformer / large language model

0　 引 言

近年来，人工智能技术与工业场景的融合和应用带来了前所未有的变革机遇，已经成为了提高生产效率、降低成本、优化资源配置和提升竞争力的关键因素。在过去几年中，自然语言处理技术取得了巨大的进展，为工业领域的全球技术进步开启了新的可能性。其中，由OpenAI公司发布的生成式预训练Transformer^[1](Generative Pre-Trained Transformer，GPT)系列模型^[2]集成了Fine-tuning模式^[3]，大幅提高了语言模型的泛化性、通用性和实用性。OpenAI相关产品及模型概览如图1所示。

ChatGPT是OpenAI于2022年11月30日发布的聊天机器人，作为一款包含GPT-3.5和GPT-4两种模式^[4]的自然语言处理工具，ChatGPT可以和用户进行自然流畅的对话，根据对话的上下文进行互动。它展现出的语言理解、文本生成和对话交互等能力引起了人们的广泛关注，ChatGPT发布两个月后，成为史上用户增长速度最快的消费者应用。GPT系列模型介绍如表1所示。

本文结合人工智能技术应用于工业领域的特征，介绍ChatGPT应用于传统自然语言领域4类实际任务的表现和参数增加及算法优化激发的大型语言模型独特涌现能力，展望ChatGPT在工业应用中研发设计、生产运营和经营管理等环节的应用前景。虽然ChatGPT在处理自然语言任务方面具有很大的潜力^[5]，但是其本身存在生成质量不足等问题，并且缺乏针对工业领域的专业知识和实践，因此，ChatGPT应用于工业领域仍存在多方面限制。最后，本文进一步探讨如何改进ChatGPT的各个方面，以便更好地满足工业应用的需要。希望通过本论文的研究，能够为ChatGPT与工业领域的融合应用提供有益的指导，并取得更好的效果。

1　 ChatGPT模型能力

许多研究已经证明ChatGPT作为通用基座模型无需针对下游任务精调便能够在大多数自然语言处理任务^[6]以少样本、单样本，甚至零样本设置下取得较好的表现^[7]，其模型能力体现了大型语言模型(Large Language Model，LLM)涌现^[8](emergent)现象的重要作用。通过分析已有的研究结果，ChatGPT在多数自然语言处理任务上都展现出了不同程度的优势，但对于复杂推理等少量特定任务，在多数情况下其性能低于现有的最佳基准模型。因此，多数人对ChatGPT的评价为各科表现刚及格的通才，而不是注入并激活工业领域专业知识和实践能力的专才。本节对ChatGPT应用于传统自然语言处理领域4类实际任务的表现进行分析，同时介绍ChatGPT相对于传统模型的3种独特能力。

1.1　标注式任务

序列标注^[9](sequence tagging)任务是指给定一个输入观测序列X=(x_{\mathrm{1}},x_{\mathrm{2}},\cdots ,x_m)，通过模型识别每个元素的标签或类别，模型给出结果为相应的输出标记序列Y=(y_{\mathrm{1}},y_{\mathrm{2}},\cdots ,y_m)，其中m是序列长度，y的所有可能取值集合称为标签集合(label set)。

工业领域常见的标注式应用包括词性标注(part of speech tagging)、命名实体识别^[10] (named entity recognition)以及句法分析(syntactic parsing)等。Gilardi等^[11]从成本和效率两个方面对比了未经过额外训练，即零样本设置下ChatGPT(GPT-3.5模式)和亚马逊Mechanical Turk在线数据标注众包平台的特点，证明了ChatGPT在80%的序列标注任务上具有显著优势。数据标注和机器学习公司Kili Technology强调了使用GPT系列大型语言模型为机器学习中的命名实体识别任务进行预标注具有很强的实用性，这表明ChatGPT有望作为一种无需特定任务训练数据的数据预处理或预标注工具，可以以一种更快速、更经济的方式根据提示解决多种序列标注任务。

1.2　分类式任务

文本分类^[12](text classification)任务旨在根据文本的内容将其分成不同的预定义类别或标签。通常情况下，文本分类任务的求解可以分为特征提取和分类器构建两个主要阶段，特征提取阶段将文本数据转换为适合机器学习或深度学习算法处理的形式，分类器构建阶段通常是训练一个分类器模型，该分类器用于关联文本特征和相应的类别。工业领域常见的分类式应用包括情感分析^[13](sentiment analysis)、主题分类(thematic labeling)和意图识别(intent detection)等。Shi等^[14]使用ChatGPT从原始数据中提取精炼结构化知识，将ChatGPT中学到的知识转换为图结构形式，再进行文本分类，从而解决ChatGPT面向下游任务精调不灵活和决策过程缺乏可解释性的限制，显著提高了ChatGPT进行文本分类任务的性能。Sun等^[15]提出了一种名为CARP的渐进式推理策略框架，用以缓解GPT系列大型语言模型处理复杂语言现象时缺乏推理能力和token数量限制问题，该框架在4个广泛使用的文本分类基准上取得了出色的效果。

1.3　推理式任务

自然语言推理(Natural Language Inference，NLI)任务也被称为文本蕴含或文本推理^[16]，旨在理解给定的前提(premise)和假设(hypothesis)之间蕴含的语义关系。前提是一个陈述性句子或段落，假设是与前提相关的另一个句子或段落，语义关系包括蕴含(entailment)、矛盾(contradiction)和中立(neutral)三种，其中蕴含表示前提包含或内含假设，矛盾表示前提与假设相冲突，中立表示前提与假设之间没有明显的关系。工业领域常见的推断式应用包括文本蕴含(textual entailment)等。Basmov等^[17]探讨了ChatGPT在处理简单语言推理任务时的表现，揭示了ChatGPT自然语言理解能力和推理能力方面的局限性。Liu等^[18]通过ChatGPT在多个逻辑推理数据集上的实验验证了ChatGPT在大多数逻辑推理基准测试上的表现明显优于RoBERTa精调方法，但在分布外数据集方面，性能仍有待提高。

1.4　生成式任务

自然语言生成(Natural Language Generation，NLG)任务旨在让模型通过理解输入的上下文，利用算法和模型对给定的输入信息，给出具有语法正确性和语义连贯性的文本输出响应，GPT系列模型使用“自回归”形式的仅解码器(decoder only)进行文本生成，把用户给定的提示词(prompt)或指令(instruction)作为前置文本，逐步预测下一个字符或词语，并将其作为输入的一部分，继续生成下一个字符或词语，直到生成所需长度的文本为止(completion)。工业领域常见的生成式应用包括机器翻译^[19]、文本生成^[20]、代码生成^[21]以及文本摘要^[22]等任务。Feng等^[23]提出了一个可扩展的众包数据驱动框架，从不同的角度研究跨多个社交媒体平台ChatGPT的代码生成性能。Ni等^[24]在英文和中文数据集上系统地评估和分析了大型语言模型用于自然语言生成任务的表现，ChatGPT在所有评估的数据集上都表现较好。此外，有研究者提出将ChatGPT作为评估指标衡量自然语言生成模型的文本生成质量，Wang等^[25]发现在大多数情况下，ChatGPT与人类判断的相关性较高，尤其是在创造性自然语言生成任务(例如故事生成)方面。

1.5　上下文学习能力

涌现现象实现了大型语言模型能力从量变到质变的提升，上下文学习能力也被称为语境学习能力，主要源于ChatGPT大规模预训练获得的先验知识。ChatGPT的上下文学习能力体现在其可以在有限数量样本(通常是少于传统机器学习所需的样本量)情况下，学习任务或主题的规律，结合自身对于语言和世界的先验知识，快速适应新的类别和环境。这一能力可帮助ChatGPT在对话过程中较为准确地把握用户意图和语境，在推理和生成时保持连贯性和一致性。针对跨语言翻译和领域自适应等场景，ChatGPT甚至可以在不获取与特定任务或主题相关的任何样本^[26]的情况下，仅利用已有知识和背景信息完成任务，在一定程度上缓解数据稀缺问题。

1.6　思维链推理能力

推理能力同样是大型语言模型超越缩放定律(scaling laws)涌现出的重要能力之一，ChatGPT通过学习大规模文本语料库中的语言模式、逻辑规则和语义表示，具有一定的推理和理解上下文语义关系的能力。思维链推理能力的关键意义在于通过一系列逻辑上连贯的步骤解释如何得出答案，在解决复杂推理问题或任务时，思维链展现出了强大的性能。首先，通过展示中间步骤，使得解决过程变得更加透明，用户可以看到模型是如何一步步推理出答案的。其次，这种方式有助于识别和修正推理过程中的错误，因为每一步都被明确展示出来，降低了ChatGPT的黑箱模型特性(不可解释性)。Wei等^[27]通过在提示中提供一些链式思考的示例，展示了在处理算术、常识和符号推理任务时思维链技术显著提高大型语言模型执行复杂推理任务的能力。Chen等^[28]研究发现，在某些任务(如算术推理)上，ChatGPT即使未收到思维链指令，也会自动产生思维链推理步骤并给出高质量的答案，表明ChatGPT在训练过程中可能已经学习了思维链指令，对特定任务有内在的指令响应。Frieder等^[29]对ChatGPT的数学能力进行了测试，得出的结论为ChatGPT的数学能力明显低于平均数学研究生的水平，此外，ChatGPT通过了美国三大专业考试和谷歌初级软件工程师面试，这表明ChatGPT具有一定解决复杂数学和逻辑推理问题的能力。

1.7　智能交互能力

ChatGPT作为一款智能化交互式AI产品，其交互能力展示了一系列特点和优势，尤其在信息检索和知识问答方面^[30]。首先，相较于传统的搜索引擎，ChatGPT的强大优势主要体现在以下两点：ChatGPT可以使用分析式检索模式处理更加复杂和抽象的检索需求，而不再是关键词匹配检索模式。ChatGPT生成的结果是对知识库中相关内容的总结，起到了信息汇总和提取的作用，可帮助缓解“信息过载”问题，大幅提高用户检索信息的效率。其次，ChatGPT的预训练数据包括BooksCorpus、Wikipedia和Common Crawl等多个大型语料库，因此，ChatGPT拥有丰富的知识储备，通过对会话内容和文本语境的理解和分析，ChatGPT可以生成贴近人类思维方式和逻辑的回答。在交互式体验方面，ChatGPT的响应速度、准确性和基于场景的多轮对话方面表现良好，可以为用户提供自然而流畅的知识问答服务。

2　 工业应用展望

现代工业包括经营制造、仓储供应、能源生产、物流运输等众多应用领域，涉及多种数据类别，其中文本类型的结构化与非结构化数据通常有手册、生产日志、传感器数据、维护检修报告等，具有复杂度高、专业性强等特点。借助ChatGPT易用性和灵活性优势，融合生成式AI技术和工业数字孪生，实现工业系统智能化升级，可以大幅提升自动化效率。本节以现代工业领域中的研发设计、生产运维和经营管理环节为例，讨论ChatGPT结合其中的多个具体场景构建融合式创新应用。ChatGPT工业应用场景整体架构图如图2所示。

2.1　研发设计

2.1.1　客户服务自动化

高度智能化的客户服务自动化系统可以减少企业服务人员和客户之间非必要或低效沟通，为客户和企业提供更好的双向沟通体验。传统的客户服务自动化系统存在智能化程度不足、无法处理复杂情况等诸多问题。ChatGPT在自然语言理解和生成方面表现良好，具备解决通用基础问题的能力。此外，ChatGPT可以结合客户聊天的上下文内容进行对话，为客户提供高度自然的交流对话体验。随着ChatGPT应用场景的不断扩展，结合ChatGPT的客户服务自动化系统不仅可以为客户提供更全面、更智能的服务体验，而且可以加速企业产品设计和研发过程，在提高服务效率、改进产品质量和降低客服成本等方面发挥重要作用。

企业可以将ChatGPT作为构建客户服务系统的重要工具，其自然语言对话能力可以融合众多领域的智能对话场景，提供更具情境性和智能性的全天候高效服务。结合ChatGPT的客户服务系统可以通过识别重复性问题和常见问题，向客户提供标准化的回答，在提供客户咨询、需求分析和智能反馈等服务方面具有较好的应用前景。随着语言模型规模的不断扩大，ChatGPT的语义和语境理解能力不断提升，可以通过对话意图识别进一步了解客户的需求和偏好，从而为客户推荐相关性更高的产品和服务。

目前，Meta、Canva和Shopify等公司已经将ChatGPT技术应用于回答客户问题的相关业务上。其中，Shopify作为全球领先的电子商务SaaS服务商，已实现了通过集成ChatGPT升级智能客服(聊天机器人)的多项功能。Text-to-CAD是一个旨在通过文本提示生成CAD文件，将用户想法转化为复杂机械设计的开源提示的Web应用，用户可以创建或导入各种CAD程序模型。该Web应用使用ChatGPT技术设计API和机器学习API分析训练数据并生成CAD文件。

2.1.2　智能协助

相较于传统的聊天机器人，ChatGPT的智能性体现在可以根据语境和情境理解用户意图，因此，它可以作为智能助手，通过提供信息检索和知识问答服务为工业领域的研发设计提供智能协助支持。

在研发设计环节中，设计师和工程师遇到一些技术问题或设计难题时，ChatGPT的GPT-4模式可以分析设计文档等资料，理解设计意图并提供相关建议。工程师向ChatGPT描述产品设计的问题和需求，ChatGPT通过语义解析和推理，结合问题描述和历史数据识别问题点，为用户提供智能化信息检索协助，帮助用户高效、准确地从海量文本中获取目标信息。不仅如此，当工程师需要查询某个设计规范或查找某个组件的信息时，ChatGPT可以对用户输入的信息进行语义分析，为用户提供更加精准的技术支持和建议，辅助设计人员快速验证设计方案的可行性，提出改进意见，从而加速设计迭代过程。

微软推出的新一代AI驱动搜索引擎New Bing，集成了基于ChatGPT技术的生成模型和Bing网络搜索引擎，为用户提供更加智能、直观和个性化的搜索体验。金融机构Morgan Stanley和移动支付公司Stripe Inc已经宣布了与Open AI公司的合作。Morgan Stanley主要希望通过训练GPT-4提升公司研报系统的可用性，Stripe Inc结合GPT-4帮助标记、打击网络欺诈。Amazfit近日发布了集成ChatGPT人工智能模型的最新版Zepp OS智能手表操作系统，穿戴者可通过智能手表获得ChatGPT提供的问答服务，并且ChatGPT可以根据用户命令执行各种操作。

2.1.3　工业软件形态重构

工业软件是一种基于工业互联网平台，结合专业知识、实践经验和行业规律的形式化工业应用程序，旨在满足特定的场景需求。这种平台通常包含数据分析、设备监控、生产流程管理、维护预测等功能，以支持研发、生产和管理全方位控制。良好的工业软件可以帮助企业实现更高效的资源管理，生产过程优化和产品质量提升，同时降低运营成本。ChatGPT可以集成至研发设计、生产制造、运维服务、经营管理等各类工业软件中，提供更人性化、智能化、易用化的交互模式，对于推动工业领域转型升级具有重要战略意义。其优势主要体现在以下三个方面：

1) 通过理解工程师指令，识别生产线模式，分析多元化数据，ChatGPT可以协助工程师构建、优化自动化生产线。

2) ChatGPT经过了代码语料的训练，因此，具备一定的代码识别和编写能力，通过对目标程序的理解，ChatGPT可以提供编码建议，解释代码片段，甚至编写简单可用的目标代码，进而实现对工业设备的智能控制和优化，辅助开发人员提高效率。

3) 在工程师的指导下，ChatGPT可以给出初步产品或架构设计方案，进一步以交互式模式进行细粒度模块化拆分重构，快速迭代优化，同时辅助完成实时性可行性验证。

初创公司Divergent 3D与英国豪华跑车制造商合作，采用Divergent Technologies的Divergent自适应生产系统(DAPS)设计制造了一款具有独特功能概念车的3D打印后副车架。从设计的提出、对比分析，到评估其可制造性，在短短一个小时之内可以进行30~40次迭代。与传统的汽车制造方法相比，这种方式更加高效、环保。这一案例体现了生成式AI对传统模式下汽车设计和制造方式的潜在变革。随着大型语言模型技术的进一步成熟和普及，AI可以赋能低代码平台进一步优化工业软件开发流程，微软已经在其Power Platform平台中整合了ChatGPT技术，推出了名为Power Platform Copilot的新功能，这标志着工业互联网平台领域的一个重大发展。Power Platform Copilot使开发者能够通过自然语言描述创建应用程序、流程或机器人，无需复杂的编码，大大降低了技术门槛。这项技术的应用不被局限于应用程序的开发，还扩展到其他方面，如聊天机器人的建设和自动化流程。Power Apps中的快速设计功能可以自动将图纸、图像和Figma文档转化为应用程序UI，而Power Automate则能自动化创建流程。同时，国内的部分厂商正在探索将大模型融合工业领域化特征的模型驱动低代码平台相关工作，零赛云提出了一种基于AI Agent智能辅助系统，实现了通过自然语言描述结合大模型技术完成低代码开发，释放开发人员生产力。

2.2　生产运维

2.2.1　生产制造自动化

在生产制造自动化方面，ChatGPT可以助力生产制造环节实现自动化、智能化和可持续化的生产制造模式，在质量控制、设备维护、物流管理和生产计划等多个应用场景发挥作用。首先，企业可以结合ChatGPT根据多个因素如生产计划、设备状态和人员安排等进行综合考虑和决策，实现智能调度。其次，通过ChatGPT对生产数据进行实时监测和分析，可以帮助企业实现生产制造流程分析和机器设备自动化控制管理，提高设备可靠性和运行效率，同时降低生产成本。此外，通过ChatGPT帮助用户对生产数据和工艺参数进行智能分析处理，可以优化生产流程、提高产品品质。

目前，已有一些企业正在将ChatGPT引入工厂自动化领域，例如西门子公司利用ChatGPT技术改进其智能交互系统，帮助企业高效完成生产流程管理和设备维护工作。FANUC公司在其新一代智能机器人“CRX-10iA”中引入了ChatGPT技术，帮助提高其智能化水平。

2.2.2　智慧工业服务平台

工业互联网平台的核心目标是为工业提供数字化、网络化和智能化的解决方案，传统工业服务平台通常利用资产管理、设备监控、生产管理(调度、质检、维护)、库存管理、供应链管理等模块，通过开放接口形式与企业现有业务系统进行应用集成，存在技术更新缓慢、数据集成困难、数据安全性不足、数字化转型困难等问题，难以适应工业领域日益数字化、精细化的发展需求。ChatGPT这类大型语言模型通过为智慧工业提供强大的AI技术支持，为以上关键问题提供了创新性解决方案，从数字化转型与生产指标监测、场景快速扩展与业务赋能、智能决策与运营管理、跨模态与跨领域应用等多方面进行资源整合和价值链优化，使工业生产和服务更智能、更安全、更高效。

艾普工华推出了AI助手“艾问”，具备多模态输入输出、知识库、Copilot、思维链等核心技术能力，用户通过自然语言可以直接调用知识解答、数据及图文查询、报表生成等传统工业软件的多项功能。此外，“艾问”可以将用户需求转化为MOM系统(制造运营管理系统)的SQL语句，直接输出数据查询结果；还可以调用专业BI工具(Business Intelligence Tools)进行数据分析并以图形化报表形式反馈。不仅如此，艾问能够与外部终端设备(如监控、摄像、门禁)打通，担任“工厂管理员”的角色，发挥车间安全、设备维护等管理职能。

2.2.3　工业现场问题解决

传统模式下，企业现场问题通常需要由经验丰富的工程师对问题现象进行诊断分析并制定解决方案，问题解决后，形成纸质或电子记录，作为后续其他异常情况处理的参考。然而，这种通过人工浏览日志记录、操作文档和设备信息等数据过滤有效信息的模式，存在效率低且准确性不足等缺点。此外，这种记录式经验总结模式，并不是一种良好的现场问题针对性分类和解决方案知识化归纳模式，不便于后续现场问题解决过程中结合历史数据优化决策。随着工业4.0的不断推进，新一轮的工业革命下，ChatGPT这类大型语言模型可以赋能工业生产制造智能化产业，促进传统工业现场问题解决模式变革，形成一系列以数据收集(设备状态、操作日志、维护记录、故障历史等)、数据分析(解析信息，提取参数，经验匹配等)、问题诊断(因果建模，根因分析等)、问题解决(案例参考等)、经验知识规范化(决策优化等)为标准流程的工业现场问题处理模式，并以此促进工厂生产和设备运行效率提升。

2.3　经营管理

2.3.1　企业运营管理

ChatGPT可以赋能企业管理，经营销售，市场趋势预测和风险预警等企业运营管理体系的多个场景，帮助企业完成数字化转型。除了员工信息、考勤记录、薪酬体系、绩效评估等企业常规管理工作，ChatGPT可以辅助生成更精准的人才管理和发展方案，提高人力资源管理效率。目前，万科集团和微软Azure OpenAI合作，利用GPT-3模型打造万科预警平台，从大量舆情、投诉、突发事件数据中提取特征，实现了多场景预警功能，包括实时监测、预警提醒、综合分析、智能报警等。经对比测试，Azure OpenAI嵌入万科预警平台后，基于GPT-3模型的自定义训练，投诉数据标签准确率相较此前提升了5%，并且达到业界领先水平。

2.3.2　赋能企业信息管理系统

企业信息系统(Enterprise Information System，EIS)在提高企业效率和竞争力方面发挥了重要作用，然而，传统模式下的企业信息管理系统，包括企业资源计划(ERP)系统、供应链管理(SCM)系统和客户关系管理(CRM)系统等面临着一系列挑战和问题，例如系统封闭性强，扩展性及兼容性较差，功能单一难以满足企业多样化管理需求，子系统间各自孤立难以集成，数据分析及报告功能有限等。

ChatGPT可以结合企业CRM，利用人工智能和数据分析技术对客户进行分析建模，为客户提供个性化的服务和体验。首先，企业可通过ChatGPT分析客户行为和消费等数据，如购买历史和浏览记录等，挖掘客户喜好和需求等潜在信息，协助企业制定更精准的营销策略和定制化的促销方案。其次，ChatGPT可以对客户的评论、反馈等信息进行情感分析，提供提升客户体验的建议，方便企业对客户进行管理和维护。Salesforce发布的Einstein GPT将公共和私有AI模型与CRM数据相结合，直接访问OpenAI的企业级ChatGPT技术，用户可以直接在Salesforce CRM中进行自然语言问答。微软在Dynamics 365商业应用中加入了AI功能，推出了Microsoft Dynamics 365 Copilot，这是针对CRM和ERP系统的AI助手，能够帮助员工避免繁琐的工作，如手动数据输入。它还能帮助市场人员简化数据发现、受众分析和内容创作等工作流程，并在Dynamics 365 Business Central中帮助电子商务用户创建和管理产品列表。

2.3.3　员工教育培训

随着工业场景的多样化，市场对企业员工技术和知识的学习也提出了更高的要求，以产品零部件装配场景为例，传统的培训方式具有人员培训周期长、现场培训效率低、培训方式限制多等缺点，通过结合增强现实(AR)和虚拟现实(VR)技术，可以将ChatGPT引入理论知识讲解、操作步骤指导和模拟问答训练等环节，具有语言翻译沟通、个性化培训计划、实时反馈评估、知识学习更新等优势。例如，腾讯的AI培训机器人用于为分散在各地的员工提供灵活的学习选择，该AI培训机器人整合了学习、练习、测试、评估综合培训模式，允许学习者通过PC、应用程序和网络平台等多种渠道随时随地进行学习，使培训更加个性化和经济高效。

3　 目前存在的限制

自20世纪60年代以来，人工智能领域经历了多个发展阶段，工业领域的发展历史见证了从早期的专家系统到现今的深度学习和生成对抗网络等先进技术的演变，每个阶段都标志着该领域的重大进步和应用拓展。

专家系统是最早期的工业领域AI应用之一，是一种通过存储和应用知识模拟人类专家解决特定领域问题的计算机程序。专家系统诞生于20世纪60年代，然而，直到20世纪80年代专家系统在工业领域的应用才逐渐兴起，这之间有近20年的时间差。

统计机器学习的概念是在20世纪80年代末到90年代初逐渐形成的，是一种使用统计方法设计、估计和解释机器学习模型的方法，统计机器学习在工业领域的应用也滞后了大约10年。

深度学习一词最初在20世纪50~60年代就存在，但它在现代意义上的形成和普及是在2006年。2006年，Hinton和他的同事们发表了一系列关于深度神经网络和无监督学习算法的论文^[31]，这标志着现代深度学习时代的开始。作为机器学习的一个重要分支，迄今为止，深度学习的发展已经经历了3次浪潮。以生成对抗网络为例，自2014年由Goodfellow等^[32]提出以来，便受到英伟达、百度等企业的广泛关注，2018年后已经产生了成功探索生成对抗网络及其变种在工业领域图像生成等计算机视觉应用的实例。

总体而言，AI技术从理论到实际应用，从通用领域到工业领域落地的周期，正在以前所未有的速度缩短。

ChatGPT的持续优化和多模态技术的逐渐成熟为工业领域场景的应用提供了更多可能性，然而，ChatGPT应用于工业领域可能会面临更多的限制，这些限制一方面源于ChatGPT本身的不完备性，另一方面来自于工业场景相比通用场景的特殊性要求，需要综合考虑应用场景、数据来源、精度控制、安全要求等多个方面。

ChatGPT这类大规模预训练语言模型的能力容易受到预训练数据质量和规模、语料库知识分布、模型架构和算法设计等多种因素的影响。在使用ChatGPT时，为了确保其应用的准确性、有效性和安全性，需要明确ChatGPT在工业领域中的应用概念，紧密贴合工业现场的实际需求，结合其优势，找到利用ChatGPT解决实际问题的方法。

3.1　ChatGPT自身不足

3.1.1　语义理解能力不足

语义理解能力在控制生成文本的质量和有效性方面发挥着至关重要的作用，对于ChatGPT这类预训练语言模型，通常情况下可以生成流畅并且和情境相关的文本，但是在处理一些较复杂语句时，其语义理解能力仍然存在局限性，这些局限性主要表现在生成的文本与用户需求不符，甚至忽略输入信息中的重要细节或关键信息，导致生成的文本毫无意义，无法提供有价值的信息。

3.1.2　逻辑一致性能力不足

长篇文本生成保持逻辑一致性是一个重要而具有挑战性的任务。ChatGPT在生成短文本时逻辑一致性表现尚可，但随着文本长度的增加，可能出现重复、矛盾或偏离主题现象。这种现象发生的原因是，模型在生成每个新词时，主要关注近期上下文，而不是整个文本的整体结构。此外，相同的输入和不同的询问方式可能导致自相矛盾的结果，主要是因为模型本身缺乏逻辑推理建模能力。因此，ChatGPT这类大型语言模型的逻辑一致性仍然是一个待解决的问题，尤其是在生成文本时可能产生与前提假设不一致的结论。

3.1.3　推理能力不足

尽管ChatGPT在处理部分类型的简单推理任务时表现不错，但是在处理需要深层次理解的推理任务时，如理解隐喻、抽象概念或解决复杂问题时，效果不佳。这主要是因为ChatGPT并没有专用于解决推理任务的模块，主要依赖模式识别和预测，不能进行真正的逻辑推理，尤其是在处理需要多步推理才能得到结论的问题时显得力不从心。此外，ChatGPT对常识的综合利用能力也非常有限，不像人类可以运用丰富的背景知识进行推理。

3.1.4　偏见、幻觉、道德和社会问题

由于ChatGPT的生成文本是基于其预训练过程所学到的知识和语言模式，因此如果预训练数据集中存在性别、种族、宗教、地域等方面的偏见或歧视性内容，那么ChatGPT生成的文本也可能包含类似的潜在偏见和歧视，这些内容可能会损害特定群体的权益。尽管OpenAI已经使用了监督精调(supervised fine-tuning)、对齐^[33](alignment)、指令精调^[34](instruction-tuning)、近端策略优化^[35](proximal policy optimization)和基于人类反馈的强化学习(Reinforcement Learning from Human Feedback，RLHF)等训练策略，尽可能保证模型按照人类指令生成无负面影响内容，但仍需提高用户审查生成内容的意识。

在某些情况下，ChatGPT等大型语言模型在生成文本时仍存在一定的质量问题，可能会产生看似合理但实际上是虚假、自相矛盾或错误的结论。这种现象被称为“幻觉问题”或“可信度问题”，可能导致用户无法获得满意答案，甚至误导用户做出错误决策。幻觉问题通常体现在几个方面：虚构的事实和数据、逻辑错误、不准确的信息、语言混淆等。这些问题源于模型训练数据中的错误或偏见，以及模型处理复杂、模糊或未知情境的局限性。

此外，由于ChatGPT可以生成高度自然的文本，因此存在被滥用或误用等潜在问题，这些问题并不一定由ChatGPT自身造成，而是与其使用者相关。不良用户可能使用ChatGPT从事网络钓鱼、欺诈和网络攻击等非法活动，例如使用ChatGPT生成虚假新闻误导或欺诈公众，这些信息可能会被误认为是真实的，这将导致谣言传播或其他不良影响。

3.2　工业领域特殊限制

3.2.1　数据隐私性和安全性问题

在安全性方面，尤其针对工业领域而言，最重要的是工业数据的安全问题，这不仅涉及工业安全，更关系到国家安全。ChatGPT与工业领域的结合主要存在两方面的数据安全问题。一方面，ChatGPT是通过“根据上文预测下文”的方式来生成内容的，这从本质上来说属于一种概率性预测。如果ChatGPT对问题的回答存在一定概率，那么就无法保证其准确性和可靠性。对一些对错误忍耐度较高的工业领域，这种错误的存在或许是可以接受的。但是对一些比较严格的工业领域，这种错误的存在很可能造成重大损失，甚至危及人身安全。例如，在自动化控制系统中，错误的信息或建议可能导致安全事故。而且，以ChatGPT为代表的一系列AI算法模型存在着不可解释性，模型内部的运行机制也比较复杂，对用户造成了一定程度上的困扰。用户希望在获取模型输出的同时，模型可以给出合理的预测理由和判断依据。另一方面，随着互联网的快速发展，网络攻击手段也在不断地更新变化。现代工业研发设计、生产运维和经营管理三个环节存在的数据漏洞将会越来越多，企业数据资产面临风险越来越大，工业数据引发的安全问题不可忽视。工业数据价值越高，安全风险往往越大。一旦这些数据泄露，将会给企业带来巨大的损失，更为严重的，可能威胁到国家安全。

此外，使用ChatGPT时，会话中可能存在包含个人敏感信息的隐私数据，例如个人身份信息、电子邮件、社交媒体消息、财务数据等，虽然ChatGPT已经采取了多种安全措施保护用户数据，但仍然存在潜在数据安全风险，例如黑客攻击等，所以用户数据泄露的风险仍然存在，这可能会导致用户隐私泄露，对用户造成严重的损失。

3.2.2　场景适应性限制

工业领域中的很多应用场景需要高度定制化的解决方案，例如协同研发设计、远程设备操控、设备协同作业、柔性生产制造、现场辅助装配、机器视觉质检、设备故障诊断、厂区智能物流、无人智能巡检等，这些应用场景的系统化和过程化特点各不相同，包含各自标准和规范。然而，ChatGPT的预训练语料库主要由互联网上的大规模文本数据组成，缺乏面向工业领域的训练数据，难以注入工业领域知识，ChatGPT只能根据大量通用数据生成回答，并且生成结果由特定算法获得，在处理工业领域非标准化或强专业性知识问题时，ChatGPT可能难以适应工业领域特定应用环境的特殊需求。

3.2.3　数据处理能力限制

当前版本的ChatGPT可以处理模态类型的数据主要包括文本和图像两种，工业领域常用的传感器数据包括从机器中读取的温度、压力、振动等信号型数据，ChatGPT无法有效解析音频、视频或其他蕴含时空序列特征的数据。此外，部分场景下原始的机器日志或特定传感器数据，需要经过专业模式转换和专业知识解释，这对ChatGPT应用于工业领域提出了行业机理理解和行业知识融合要求。

3.2.4　实时性、稳定性、可靠性限制

工业操作需要快速响应以维持生产效率和安全性，因此工业系统通常要求实时或近实时的决策支持和动态适应变化的能力，ChatGPT作为一个基于历史数据训练的模型，并非为实时数据分析设计，在处理复杂问题和实时数据的情况下可能需要更长时间，这种局限性导致ChatGPT不适用于快速反应场景的工业应用。

ChatGPT的生成质量稳定性不仅受自身能力的限制，而且在很大程上依赖于高质量的输入数据和指令，对于相同的输入，ChatGPT在不同时间或不同情况下可能会给出不同的回答，不仅如此，ChatGPT对输入数据和指令中的微小变化非常敏感，即使是轻微的改动，比如单词的拼写错误或语句的微妙改动，也可能导致输出结果的显著变化，这种缺陷导致的生成结果不一致性直接限制了ChatGPT在众多工业领域场景中的应用。

工业应用场景涉及到设备、系统的安全稳定运行，要求语言模型具有高度可靠性和可解释性，避免因模型错误输出造成操作失误的同时，确保结果解析和事后分析。然而，当前阶段的ChatGPT训练数据中缺乏特定工业领域的信息，在涉及高度专业化知识场景下的特定工业领域应用可能无法达到通用领域同样的生成质量。此外，ChatGPT的决策过程不够透明，结果出错时很难进行根因分析。整体而言，ChatGPT难以达到工业领域可靠性和可解释性要求。

4　 改进方向

随着大型语言模型的持续发展，生成式AI在工业领域中发挥越来越重要的作用。在未来的研究中，可以参考以下几个方向提升ChatGPT这类大型预训练语言模型的各项能力，以促进其在特定行业场景中得到应用和验证，获得更多产业赋能特征，支持更多工业场景需求的实现。

4.1　模型自身完善性改进

4.1.1　提高语义理解能力

首先，预训练是ChatGPT这类大型语言模型能力的基础，应尽量使用质量高、规模大的语料进行预训练，涵盖更多领域化的文本，需要确保预训练使用的数据覆盖广泛的主题、语言风格和格式。高质量的数据集可以帮助其更好地理解和模拟复杂的语言结构。其次，通过改进模型结构，引入更高级的语义理解技术，增强其语义建模能力，使其能够更有效地处理和理解长期依赖关系(即在文本中较远位置间的关系)。例如，可以通过引入语义理解专用模块和解释分析专用模块等方法，捕捉更复杂的语义关系，增强模型对语义的感知能力，结合外部特定领域知识，通过特定领域知识嵌入作为额外的输入特征提供更丰富的语义信息，增强模型对语义的理解能力。

4.1.2　提高逻辑一致性能力

为了确保生成文本的逻辑一致性，在模型训练阶段，可以通过在训练目标上加入逻辑一致性的约束和惩罚项，在评估时加入针对逻辑一致性的测试集，并作为模型优化的监控指标之一，确保在生成回复时避免逻辑自相矛盾。在模型推理阶段，利用更高级的评估和反馈机制指导模型的生成行为，建立机制加强对ChatGPT生成内容的质量控制，例如对生成的文本进行评分、实时监控、重复检查等，以提高生成内容的逻辑一致性。此外，可以探索新型方法提高大型语言模型生成结果的逻辑一致性，例如Wang等^[36]提出的名为自我一致性(self-consistency)的新型解码策略与传统的贪婪解码方法不同，生成一组不同的推理路径，然后通过聚合这些路径来选择最一致的答案，显著提高了自我一致性性能，随着语言模型规模的增加，改进效果更加显著。

4.1.3　提高推理能力

知识图谱是一种结构化的知识表示方法，它以实体为中心，通过属性和关系将实体连接起来，不仅提供了对个别数据节点的理解，还模拟了各个节点之间的复杂关联。领域化知识图谱通常用于整合结构化和非结构化知识，建立领域知识体系，具有知识积累、学习、管理、共享和重用等特性，知识推理过程可以发现知识之间的关联，通常应用于智能决策和问题诊断等场景，满足领域对知识驱动和智能决策的需求。通过知识融合将知识图谱提供的结构化知识补充至语言模型，从而获得更全面、准确的知识表示，增强大型语言模型的推理和问答能力，特别是在涉及多跳推理和广泛知识检索等复杂场景，同时可以建立验证机制，提高ChatGPT这类大型语言模型的推理结果准确性^[37]。

4.1.4　提高生成质量

在数据层面上，可以增加数据集的多样性和数量，例如不同领域、主题、格式和语言的预训练数据集，同时对使用的数据进行更严格的选择和清理，检查和识别潜在偏见来源，避免训练数据中的潜在偏见影响ChatGPT判断，增大数据量的同时确保数据质量，以便让ChatGPT从多个角度学习知识。此外，应采用多样化评价指标和公平性算法评估并纠正模型的偏见。RLHF技术利用人类偏好作为奖励信号，对模型进行精调。InstructGPT模型^[38]训练过程中，需要大量的人工反馈不断优化模型，OpenAI雇用了一个由40名承包商组成的团队完成数据标注和回答排序工作，这个过程存在一定的主观性和误差风险，同时增加了模型训练人力成本。因此，探寻新的方法减少模型对人类反馈依赖变得至关重要，以下为可以进一步思考的方法：首先，研发更加智能化的强化学习框架，通过对话系统交互，让ChatGPT在不断的交互中自我调整和优化，动态调整模型的生成策略。其次，开发高级自动评估模式，对ChatGPT生成的文本进行自动评估和反馈，包括语言风格、流畅度和逻辑性等。

在模型训练阶段，可以通过提升ChatGPT的知识覆盖范围，在一定程度上缓解幻觉问题。在模型推理阶段，可以使用知识图谱、知识库或Web检索等外源性知识检索策略，补充事实性知识的同时，对输出进行交叉验证，减少误导或错误陈述的风险，提高大型语言模型的可信度和实用性。

针对安全保护，防止恶意攻击和滥用等问题，可以采取多种措施限制非法请求，检测恶意使用，例如访问控制、日志审查和防刷机制等。此外，可以从法律层面提升ChatGPT的服务安全和可靠性，ChatGPT这类大型语言模型的使用过程中，需要遵循道德原则，尊重隐私、保护知识产权等。需要增强公众对ChatGPT可能带来负面影响的警惕性，建立相应机制监控和识别虚假信息，避免对公众造成误导和伤害。

4.2　工业领域适配性改进

4.2.1　探索数据管理新模式

数字经济的时代背景下，数据被视为战略资源。工业领域数据可能包含生产流程、工艺秘密、员工信息和商业策略等敏感信息，数据的泄露可能导致严重的损失，企业通常采取敏感信息保护、数据访问控制、数据加密保护等一系列措施保护数据隐私。在当前越来越注重数据隐私问题的背景下，如何获取高质量数据是一个亟待解决的问题。为此，ChatGPT这类大型语言模型可以探索一些新的数据收集方式，以避免数据隐私问题的影响。一种解决方法是探索更高性能的生成式对抗网络技术生成合成数据，从而减少对真实数据的依赖，这种方法可以生成高质量的训练数据，而且不会涉及到真实数据的隐私问题。不仅如此，合成数据具有更多样化的特征，可以提高模型的泛化能力。另一种方法是采用联邦学习(federated learning)等分布式机器学习技术进行数据训练，这种方法将数据集分散在多个用户终端上，并通过安全加密协议实现数据的保护和共享，从而可以保证用户数据的隐私性和安全性。此外，可以建立用户授权机制，明确收集数据的目的和使用范围，通过交互方式获取用户授权。

4.2.2　解除场景适应性限制

在工业领域，尤其是在高端制造、智能制造等领域，掌握核心技术是竞争力关键。工业领域中不同应用场景之间对大型语言模型的需求和偏好存在差异，国产化基座大模型等关键技术实现自主创新，对于促进工业领域场景适应性具有重要意义。相比引入国外模型，国产化基座大模型更加适应本国的工业环境和需求，可以更好地根据中国工业领域具体的应用场景和实际需求进行优化和定制，提供更符合国内企业需求的定制化解决方案，适应性更强。长期来看，实现国产化基座大模型技术自主可控，对于保护国家安全和商业安全至关重要。通过国产化基座大模型的应用，企业可以与上下游企业形成更加紧密的合作关系，共同推动产业链的技术创新和产业升级，文献[39]对国内外大模型基座发展现状进行了综述。当前，百度“文心一言”、阿里“通义千问”、华为“盘古”、清华“GLM”系列等国产多语言、多模态预训练大模型基座在人工智能领域取得了显著的成果，为我国的人工智能产业发展提供了有力支持。

4.2.3　解除数据处理能力限制

针对ChatGPT数据处理能力方面的限制，可以进一步开展基于大型语言模型的智能体(LLM-based Agent)和模块化工具调用能力等方面的研究，以克服ChatGPT仅允许处理文本和图像两种模态数据的局限性。基于大型语言模型的智能体^[40]利用大型语言模型的功能与环境进行交互，根据目标创建和执行任务，将任务分解为更小的提示处理任务，并根据结果迭代地完善方法，具有较高的适应性和灵活性。ChatGPT目前主要针对文本和图像数据进行预训练，可以针对工业领域不同的数据模态，分别构建基于大型语言模型的智能体，获得不同模态的数据理解能力，例如视频模态智能体、音频模态智能体等。在部署和使用阶段，这些针对不同模态预训练的智能体可以形成集群，采用协同工作模式，相互之间通过通信协议传递信息，实现工业领域多种模态信息理解和多种模态任务处理。智能体之间的协作可以获得比单一大型语言模型更强的多模态理解和多任务处理能力。同时也可以通过协作解耦不同模态信息的表示和处理流程，降低训练和推理难度。此外，集成和运行其他针对不同模态数据设计的工具和服务，赋予大型语言模型模块化工具调用能力^[41]也是值得研究的一个方向，通过将工业领域外部工具API的输入输出表示为文本序列纳入模型的处理流程，从而使大型语言模型能够更加灵活和有效地处理各种复杂任务^[42]。

4.2.4　解除实时性、稳定性、可靠性限制

研究模型小型化和效率优化技术可以提高模型的推理速度和性能，以适应工业领域中快速响应场景下的实时性需求，同时还可以降低模型的存储和计算成本，是实现工业领域部署和应用的必要条件。常见的模型小型化和效率优化技术包括知识蒸馏^[43](knowledge distillation)、模型压缩(model compression)、剪枝(pruning)、量化(quantization)等。

对于ChatGPT模型的生成结果不稳定性和不一致性的问题，需要针对特定的工业应用场景优化模型，使其更适应特定环境的要求。在交互过程中添加更多上下文先验知识，减少模型的不确定性因素，通过改进模型算法，引入稳定性和一致性量化模块，增强模型对输入的鲁棒性。在ChatGPT输出之前进行全面评估，制定相应的处理策略，识别不确定的生成内容，并主动向用户澄清，以减轻潜在的不稳定性影响。同时，可以考虑集成多个模型或算法的组合，提高生成结果的稳定性和一致性。

对于模型可靠性问题，首先，可以通过探索ChatGPT生成结果可解释性框架，更好地理解模型的决策逻辑，从而进行根因分析。加入强化可解释性机制，如对生成过程进行记录，显示模型的推理路径，使模型的决策过程更透明，帮助追踪决策来源。其次，需要增加结果验证机制，如让模型输出置信度，或与工业领域专家系统结合，避免直接输出可能存在错误的内容，确保模型输出的准确性和可靠性，通过领域专家系统的指导和反馈改进模型的性能，领域专家系统可以提供领域特定的知识、纠正模型的错误输出，并帮助优化模型的决策过程。此外，需要探索可靠性验证和评估模式，进行泛化测试和模糊测试，评估模型在不同应用场景下的稳定性，发现潜在易错场景和自身缺陷，提前暴露问题。在实际应用中，要进行充分的验证和评估，以确保ChatGPT在工业场景中满足可靠性和可解释性的要求。

5　 结 语

以ChatGPT为代表的大型预训练语言模型是自然语言处理领域的重大突破，其展现的强大能力为工业领域实现更高层次智能化应用提供了丰富的可能性。

本文结合人工智能技术在工业领域的典型应用场景，介绍了ChatGPT在众多自然语言处理任务中展现出的非凡能力，同时结合人工智能技术应用于工业领域的特征，展望ChatGPT在现代工业领域研发设计、生产运维和经营管理环节的应用场景。当前ChatGPT存在的一系列缺陷，造成了应用于工业领域的可靠性和适应性等限制，为了解除这些限制，需要进一步改进ChatGPT模型的算法和架构，结合工业领域的具体应用场景不断优化，才能发挥ChatGPT在工业领域的真正应用价值。

随着大型语言模型理能力的提高，未来将会出现更多与ChatGPT相关的应用场景，重点是需要解除目前存在的许多限制，增强模型的可靠性和适应性，并进一步提高模型的稳健性和精度。在今后的研究与实践中，需要持续探索ChatGPT的潜力，希望通过本文的研究，可以促进大型语言模型在工业应用中发挥更大的作用，推动工业领域的智能化发展。

参考文献

[1] VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［EB/OL］.［2023-10-03］.

[2] RADFORD A， NARASIMHAN K， SALIMANS T， et al. Improving language understanding by generative pre-training［EB/OL］. ［2018-06-11］. DOI: 10.4324/9781003267836-1 .

[3] RADFORD A， WU J， CHILD R， et al. Language models are unsupervised multitask learners ［EB/OL］.［2018-06-11］.

[4] YE J J， CHEN X T， XU N， et al.A Comprehensive capability analysis of Gpt-3 and Gpt-3.5 series models［EB/OL］.［2023-03-18］.

[5] ZHOU J， KE P， QIU X P， et al. ChatGPT： Potential， prospects， and limitations［J］. Frontiers of Information Technology & Electronic Engineering， 2024， 25（1）： 6-11. DOI： 10.1631/FITEE.2300089 .

[6] BANG Y J， CAHYAWIJAYA S， LEE N， et al. A multitask， multilingual， multimodal evaluation of ChatGPT on reasoning， hallucination， and interactivity［EB/OL］. 2023： arXiv： 2302.04023. DOI: 10.18653/v1/2023.ijcnlp-main.45 .

[7] QIN C W， ZHANG A， ZHANG Z S， et al. Is ChatGPT a general-purpose natural language processing task solver？ ［EB/OL］. 2023： arXiv： 2302.06476. DOI: 10.18653/v1/2023.emnlp-main.85 .

[8] WEI J， TAY Y， BOMMASANI R， et al. Emergent abilities of large language models［EB/OL］. 2022： arXiv： 2206.07682.

[9] RAMAN K， NAIM I， CHEN J C， et al. Transforming sequence tagging into a Seq2Seq task［EB/OL］.［2023-10-03］. DOI: 10.18653/v1/2022.emnlp-main.813 .

[10] 张汝佳， 代璐， 王邦， 等. 基于深度学习的中文命名实体识别最新研究进展综述［J］. 中文信息学报， 2022， 36（6）： 20-35. DOI： 10.3969/j.issn.1003-0077.2022.06.002 .

[11] ZHANG R J， DAI L， WANG B， et al. Recent advances of Chinese named entity recognition based on deep learning［J］. Journal of Chinese Information Processing， 2022， 36（6）： 20-35. DOI： 10.3969/j.issn.1003-0077.2022.06.002 （Ch ）.

[12] GILARDI F， ALIZADEH M， KUBLI M. ChatGPT outperforms crowd-workers for text-annotation tasks［EB/OL］. 2023： arXiv： 2303.15056. DOI: 10.1073/pnas.2305016120 .

[13] GASPARETTO A， MARCUZZO M， ZANGARI A， et al. A survey on text classification algorithms： From text to predictions［J］. Information， 2022， 13（2）： 83. DOI： 10.3390/info13020083 .

[14] 王颖洁， 朱久祺， 汪祖民， 等. 自然语言处理在文本情感分析领域应用综述［J］. 计算机应用， 2022， 42（4）： 1011-1020. DOI： 10.11772/j.issn.1001-9081.2021071262 .

[15] WANG Y J， ZHU J Q， WANG Z M， et al. Review of applications of natural language processing in text sentiment analysis［J］. Journal of Computer Applications， 2022， 42（4）： 1011-1020. DOI： 10.11772/j.issn.1001-9081.2021071262（Ch ）.

[16] SHI Y C， MA H H， ZHONG W L， et al. ChatGraph： Interpretable text classification by converting ChatGPT knowledge to graphs［EB/OL］. 2023： arXiv： 2305.03513. DOI: 10.1109/icdmw60847.2023.00073 .

[17] SUN X F， LI X Y， LI J W， et al. Text classification via large language models［EB/OL］. 2023： arXiv： 2305.08377. DOI: 10.18653/v1/2023.findings-emnlp.603 .

[18] QIAO S， OU Y， ZHANG N， et al. Reasoning with language model prompting： A survey［EB/OL］.［2023-05-15］. DOI: 10.18653/v1/2023.acl-long.294 .

[19] BASMOV V， GOLDBERG Y， TSARFATY R. ChatGPT and simple linguistic inferences： Blind spots and blinds［EB/OL］. 2023： arXiv： 2305.14785.

[20] LIU H M， NING R X， TENG Z Y， et al. Evaluating the logical reasoning ability of ChatGPT and GPT-4［EB/OL］. 2023： arXiv： 2304.03439.

[21] RANATHUNGA S， LEE E S A， PRIFTI SKENDULI M， et al. Neural machine translation for low-resource languages： A survey［J］. ACM Computing Surveys， 2023， 55（11）： 1-37. DOI: 10.1145/3567592 .

[22] LI J Y， TANG T Y， ZHAO W X， et al. Pretrained language models for text generation： A survey［EB/OL］. 2022： arXiv： 2201.05273. DOI: 10.24963/ijcai.2021/612 .

[23] BROWN T B， MANN B， RYDER N， et al. Language models are few-shot learners［EB/OL］.［2023-10-03］. DOI: 10.18653/v1/2021.emnlp-main.734 .

[24] CAJUEIRO D O， NERY A G， TAVARES I， et al. A comprehensive review of automatic text summarization techniques： Method， data， evaluation and coding［EB/OL］. 2023： arXiv： 2301.03403.

[25] FENG Y H， VANAM S， CHERUKUPALLY M， et al. Investigating code generation performance of ChatGPT with crowdsourcing social data［C］//2023 IEEE 47th Annual Computers， Software， and Applications Conference （COMPSAC）. New York： IEEE Press， 2023： 876-885. DOI： 10.1109/COMPSAC57700.2023.00117 .

[26] NI X F， LI P J. A systematic evaluation of large language models for natural［EB/OL］.［2023-10-03］.

[27] WANG J A， LIANG Y L， MENG F D， et al. Is ChatGPT a good NLG evaluator？ A preliminary study［EB/OL］. 2023： arXiv： 2303.04048. DOI: 10.18653/v1/2023.newsum-1.1 .

[28] 王泽深， 杨云， 向鸿鑫， 等. 零样本学习综述［J］. 计算机工程与应用， 2021， 57（19）： 1-17. DOI： 10.3778/j.issn.1002-8331.2106-0133 .

[29] WANG Z S， YANG Y， XIANG H X， et al. Survey on zero-shot learning［J］. Computer Engineering and Applications， 2021， 57（19）： 1-17. DOI： 10.3778/j.issn.1002-8331.2106-0133 （Ch ）.

[30] WEI J， WANG X Z， SCHUURMANS D， et al. Chain-of-thought prompting elicits reasoning in large language models［EB/OL］. 2022： arXiv： 2201.11903.

[31] CHEN J H， CHEN L C， HUANG H， et al. When do you need chain-of-thought prompting for ChatGPT？ ［EB/OL］. 2023： arXiv： 2304.03262. DOI: 10.1007/s11432-023-3740-x .

[32] FRIEDER S， PINCHETTI L， CHEVALIER A， et al. Mathematical capabilities of ChatGPT［EB/OL］. 2023： arXiv： 2301.13867.

[33] TAN Y， MIN D， LI Y， et al. Evaluation of ChatGPT as a question answering system for answering complex questions［EB/OL］.［2023-03-14］.

[34] HINTON G E， OSINDERO S， TEH Y W. A fast learning algorithm for deep belief nets［J］. Neural Computation， 2006， 18（7）： 1527-1554. DOI： 10.1162/neco.2006.18.7.1527 .

[35] GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial networks［EB/OL］. 2014： arXiv： 1406.2661.

[36] CHRISTIANO P， LEIKE J， BROWN T B， et al. Deep reinforcement learning from human preferences［EB/OL］. 2017： arXiv： 1706.03741.

[37] CHUNG H W， HOU L， LONGPRE S， et al. Scaling instruction-finetuned language models［EB/OL］. 2022： arXiv： 2210.11416.

[38] SCHULMAN J， WOLSKI F， DHARIWAL P， et al. Proximal policy optimization algorithms［EB/OL］. 2017： arXiv： 1707.06347.

[39] WANG X Z， WEI J， SCHUURMANS D， et al. Self-consistency improves chain of thought reasoning in language models［EB/OL］. 2022： arXiv： 2203.11171.

[40] GUO T Z， YANG Q W， WANG C， et al. KnowledgeNavigator： Leveraging large language models for enhanced reasoning over knowledge graph［EB/OL］. 2023： arXiv： 2312.15880.

[41] OUYANG L， WU J， XU J， et al. Training language models to follow instructions with human feedback［EB/OL］. 2022： arXiv： 2203.02155.

[42] ZHAO W X， ZHOU K， LI J Y， et al. A survey of large language models［EB/OL］. 2023： arXiv： 2303.18223.

[43] WANG L， MA C， FENG X Y， et al. A Survey on large language model based autonomous agents［EB/OL］. 2023： arXiv： 2308.11432. DOI: 10.1007/s11704-024-40231-1 .

[44] SCHICK T， DWIVEDI-YU J， DESSÌ R， et al. Toolformer： Language models can teach themselves to use tools［EB/OL］. 2023： arXiv： 2302.04761.

[45] LIU Z Y， LAI Z Q， GAO Z W， et al. ControlLLM： Augment language models with tools by searching on graphs［EB/OL］. 2023： arXiv： 2310.17796.

[46] 邵仁荣， 刘宇昂， 张伟， 等. 深度学习中知识蒸馏研究综述［J］. 计算机学报， 2022， 45（8）： 1638-1673. DOI： 10.11897/SP.J.1016.2022.01638 .

[47] SHAO R R， LIU Y A， ZHANG W， et al. A survey of knowledge distillation in deep learning［J］. Chinese Journal of Computers， 2022， 45（8）： 1638-1673. DOI： 10.11897/SP.J.1016.2022.01638 （Ch ）.

基金资助

科技部科技创新2030“新一代人工智能”重大项目(2020AAA0109300)