10个问题搞懂大模型，看完更懂生产力 1定义：具

发布日期：2024-09-19 19:23

来源类型：凤凰新闻 | 作者：朱佳希

【澳门金牛版正版资料大全免费】【新澳开奖记录今天结果】【2024年新澳门王中王资料】【管家婆最准一肖一码】【新澳彩开奖结果查询】【今晚必中一码一肖澳门】【4949澳门免费资料大全特色】【2024今晚澳门特马开什么号】【澳门精准资料免费大全197期】【2O24澳彩管家婆资料传真】

【494949澳门今晚开什么】 【2024新澳免费资料】 【新澳门精准免费资料查看】

10个问题搞懂大模型，看完更懂生产力

1.定义：具有大规模参数和复杂计算结构的机器学习模型（Large Model,也称基础模型，即Foundation Model）

2.组成：由深度神经网络构建而成，拥有数十亿甚至数千亿个参数。

3.目的：为了提高模型的表达能力和预测性能，处理更加复杂的任务和数据。

4.应用领域：自然语言处理、计算机视觉、语音识别和推荐系统等。

5.大模型特点：①条件广：参数规模巨大，需更强算力；②过程特：大数据预训练，微调，自监督学习；③表现好：涌现出智能，更好泛化能力，多任务学习，不同领域知识融合，自动化，效率和性能

6.大模型分类：①语言大模型（NLP：Natural Language Processing）用于处理文本数据和理解自然语言。大语言模型（Large Language Model），自然语言处理模型，例如 OpenAI 的 GPT-3 模型。GPT（Generative Pre-trained Transformer）。②视觉大模型（CV：Computer Vision）用于图像处理和分析。③多模态大模型：是指能够处理文本、图像、音频等多模态数据。

7.大模型层级：①通用大模型L0：是指可以在多个领域和任务上通用的大模型，相当于AI完成了“通识教育”。②行业大模型L1：特定行业或领域的大模型，相当于AI成为“行业专家”。③垂直大模型L2：是指那些针对特定任务或场景的大模型。

8.泛化：对新数据的理解和预测能力。

微调：使用少量带标签的数据对预训练模型进行再次训练。

9.微调种类：①Fine-tuning：最常用，在预训练模型的最后一层添加一个新的分类层，根据新的数据集进行微调。②Feature augmentation：通过向数据中添加一些人工特征来增强性能。③Transfer learning：使用训练过的模型作为新任务的起点。

10.发展历史：

①萌芽期（1950-2005）：以CNN为代表的传统神经网络模型阶段

1956年，计算机专家约翰·麦卡锡提出“人工智能”概念开始，AI基于小规模专家知识逐步发展为基于机器学习。

1980年，卷积神经网络的雏形CNN诞生。

1998年，现代卷积神经网络的基本结构LeNet-5诞生，机器学习方法由早期基于浅层机器学习的模型，变为了基于深度学习的模型。

②探索沉淀期（2006-2019）：以Transformer代表的全新神经网络模型阶段

2013年， Word2Vec提出将单词转换为向量的“词向量模型”

2014年，GAN（对抗式生成网络）标志着深度学习进入了生成模型阶段。

2017年，Google提出Transformer架构(自注意力机制)，奠定了大模型预训练算法架构基础。

2018年，OpenAI和Google分别发布了GPT-1与BERT大模型，意味着预训练大模型成为自然语言处理领域的主流。

③迅猛发展期（2020-至今）：以GPT为代表的预训练大模型阶段

2020年，GPT-3模型参数达到1750亿，零样本学习任。RHLF、代码预训练、指令微调等策略出现。

2022年11月，GPT3.5迅速引爆互联网。

2023年3月，超大规模多模态预训练大模型GPT-4，具备了多模态理解与多类型内容生成能力。