相比于之前提及的专家系统，机器学习技术为人工智能发展注入了完全不同于传统“逻辑推理”方法的新鲜血液，提供了更多的可能性。正如“西瓜书”中所说，“机器学习是人工智能研究发展到一定阶段的必然产物。二十世纪五十年代到七十年代初，人工智能研究处于‘推理期’，那时人们以为只要能赋予机器逻辑推理能力，机器就能具有智能。……然而，人们逐渐认识到，仅具有逻辑推理能力是远远实现不了人工智能的。专家系统面临“知识工程瓶颈”，简单地说，就是由人来把知识总结出来再教给计算机是相当困难的。于是，一些学者想到，如果机器自己能够学习知识该多好！”机器学习技术已经在我们的生活中无处不在，广泛地支持着聊天机器人、语言翻译、社交媒体与购物网站及视频网站等各大平台的内容推荐、医学诊断、自动驾驶等各种领域的应用。
21世纪初，深度学习算法的出现，使机器能自动地从大型数据集中学习，机器学习进一步如火如荼地发展。深度学习和机器学习这两个概念看起来很相近，都是人工智能的子领域，但实际上，深度学习是机器学习的一个子领域。
深度学习由神经网络组成，“深度”是指由三层以上层组成的神经网络，可以使用下面的图表来形象地表示这个过程。
深度学习中的神经网络概念示意图：
图片来源：IBM
经典或“非深度”的机器学习更依赖于人类干预，即所谓的“调参”。而深度学习使该学习过程的大部分实现自动化，并允许使用更大的数据集。深度学习可以以原始形式（例如文本、图像）摄取非结构化数据，并且可以自动确定区分不同类别数据的特征层次结构。与机器学习不同，深度学习不依赖人工干预来处理数据，使得机器学习的门槛实际上变“低”了，从而使得其应用变得更加广泛。
机器学习技术在近年的一个重要里程碑是AlphaGo战胜李世石和柯洁。AlphaGo是第一个击败职业围棋世界冠军的计算机程序，可以说是历史上最强的围棋玩家。AlphaGo由谷歌（Google）旗下DeepMind公司戴密斯·哈萨比斯领衔的团队开发，将高级搜索树与深度神经网络相结合，将棋局盘面的描述作为输入，然后通过包含数百万个神经元连接的多个不同的网络层进行处理。研发团队还让AIphaGo与不同版本的自己比赛数千次，每次都能从错误中吸取教训。随着时间的推移，AlphaGo不断进步，在学习和决策方面变得越来越强大，这个过程被称为强化学习。
从决策式AI到生成式AI，人工智能新模式崛起
2022年底开始，以我们熟知的ChatGPT为首的大语言模型的涌现，代表着人工智能新范式的崛起。2022年11月，OpenAI发布ChatGPT，掀起AI浪潮。2023年3月，OpenAI又发布GPT-4，GPT-4的训练数据量更大，拥有更高级的推理能力，支持多模态，可以接受图像和文本输入。
GPT的全称是Generative Pre-trained Transformer，是一系列延伸自转换器架构（Transformer架构）的自然语言生成模型。相比于小模型，大模型的标志性特点就是更大规模的参数量。从GPT-1到GPT-3，模型的参数量从1.17亿个增长了1750亿个，在几年的时间内增长了1000多倍。尽管官方未披露GPT-4的参数量，但据悉已达到万亿级别。研究发现，当训练的参数量超过某个阈值时，就会量变引起质变，模型的精度会突然暴增，即所谓的“涌现能力”。因此目前，各大厂商在训练模型时，都会追求更大的参数量。
OpenAI推出的GPT系列发展史：
来源：洛克资本绘制
我们目前熟知的大语言模型，基本都是基于上述的Transformer架构。Transformer是一种新型的网络架构，用于自然语言处理（NLP）的深度学习模型，表现能力优异，远超CNN、RNN等方法。Transformer由encoder（编码器）和decoder（解码器）构成，具有优秀的语义特征提取能力、远距离特征捕获能力、综合特征提取能力、并行计算能力及运行效率。Transformer的核心之一是自注意力机制（Self-Attention），能够通过关系的特征进行学习，描述数据各元素之间的相关性，也就是数据本身的内在关联。根据业内人士解释，拥有自注意力机制的Transformer神经网络能够把成千上万个Transformer串联起来，通过对大规模文本数据的学习，建立从单词、短语、句子、段落不同层次之间相互连接的关系，并且基于这种连续关系进行统一整体的表达，因此从人类使用者看来，GPT产品拥有较高的理解能力和整体表达逻辑。
此前，人工智能的应用以“决策式AI”为主，通过学习数据中的条件概率分布进行分析、判断和预测来生成决策、进行相应的部署，比如推荐系统、自动驾驶、人脸识别、围棋象棋决策等。生成式AI则不是简单地对数据进行归纳，而是对数据进行演绎、创造、模仿，生成数据中原本不存在的新样本。例如，向ChatGPT输入指令，它可以生成文案、续写小说、与你聊天，这些丰富多彩、自然多变、贴近人类日常生活的内容生成是传统决策式AI力所不及的。生成式AI通过创建类似于训练数据的新数据来模仿人类的创造过程，成为人类的“协作者”甚至“创作者”。
生成式人工智能可以大幅度提升内容领域的生产力，在图像与音视频生成、市场营销、文学乃至计算机代码等内容生产领域的创造性工作中大有用武之地，并开始在办公协同、娱乐、医疗、商业、教育等各种场景中发挥作用。
AI画作《太空歌剧院》：
去年9月，美国科罗拉多州博览会举办了一场“数字艺术”大赛。在比赛中，一幅名叫《太空歌剧院》的作品脱颖而出，一举夺魁。这幅作品的创作者并不是一个传统的人类艺术家，而是一名39岁的游戏公司老板Jason Allen，他使用了AI作画应用Midjourney来创作这幅作品。创作过程如同Allen所说，“他花了近一个月的时间不断修改指令，在AI工具上输入尽可能准确具体的指令，创作出了100多副图画，然后从这上百张图画中，选出了自己喜欢的3张，并用工具进行了处理和微调，最后才打印在画布上。”该画作结合了古典与科幻元素，呈现出无与伦比的创意，同时包含了大量的几何形状、光影效果和细节纹理，视觉效果美轮美奂。
除了在图像生成、视频生成方面大放异彩之外，生成式AI日渐开始在人类的办公中发挥作用。此前，在今年3月17日的微软2023 Microsoft 365 Copilot发布会上，微软宣布为其Microsoft 365应用程序和服务推出由生成式人工智能驱动的Copilot，帮助人们生成文档、电子邮件、演示文稿等。Copilot由OpenAI公司的GPT-4提供支持，将作为聊天机器人出现在边栏中，使得Office用户能够调用它来在文档中生成文本、基于Word文档创建PowerPoint演示文稿，甚至帮助使用Excel中的数据透视表等功能。正如微软365负责人Jared Spataro说：“它与您一起工作，嵌入在数百万人每天使用的应用程序中：Word、Excel、PowerPoint、Outlook、Teams等。”Copilot也将存在于Outlook中，可以帮助用户总结电子邮件，甚至可以基于用户对语气和长度的选择创建回复草稿。
以大模型作为底层支持，一大批民间初创企业制作的下游插件或应用如春笋般涌现。从功能分类来看，下游应用主要分为办公协同和生活娱乐两类。在办公场景下，目前的生成式AI应用已经可以帮助用户阅读和总结提炼文档中的信息、生成初始版本的法律文书或协议、辅助用户进行数据分析、根据用户指令一键生成精美的PPT等。娱乐场景下的应用更是五花八门。除了上文提及的图片生成外，生成式AI还可以应用于音视频生成及剪辑、与用户进行互动式聊天（虚拟伴侣）、基于聊天交互的游戏、生成虚拟人化身/头像等。
AIGC在文字、代码、图像、音视频领域的应用：
