失效链接处理 |
从零开始大模型开发与微调Q基于PyTorch与ChatGLM 王晓?PDF 下蝲
下蝲地址Q?/strong>
版权归出版社和原作者所有,链接已删除,误买正?br style="padding: 0px; margin: 0px;" />
用户下蝲说明Q?/strong>
?sh)子版仅供预览,下蝲?4时内务必删除,支持正版Q喜Ƣ的误买正版书c:(x)
https://product.dangdang.com/11711192007.html
相关截图Q?br /> ![]() 资料内容Q?/strong> 大模型是深度学习(fn)自然语言处理上的一颗明珠,也是当前AI和NLP研究与业中重要的方向之一。本书用PyTorch 2.0作ؓ(f)学模型的基本框架Q以ChatGLMZ详细讲解大模型的基本理论、算法、程序实现、应用实战(sh)?qing)微调技术,者揭C大模型开发技术?/span> 资料目录Q?br /> 章新时代的曙?mdash;人工与大模型1 1.1人工Q思维与实늚融合1 1.1.1人工的历史与未来2 1..深度学习(fn)与h工智? 1.1.3选择PyTorch2.0实战框架3 .大模型开启h工智能的新时? ..大模型带来的变革4 ..不错的中文大模型—清华大学ChatGLM介绍5 ..q在咫尺的未?mdash;大模型的应用前景6 1.3本章结7 W?章PyTorch2.0深度学习(fn)环境搭徏8 2.1环境搭徏1Q安装Python8 2.1.1Miniconda的下载与安装8 2..PyCharm的下载与安装11 2.1.3Python代码l:(x)计算Softmax函数14 2.2环境搭徏2Q安装PyTorch2.015 2.2.1Nvidia10/20/30/40pd昑֍选择的GPU版本15 2.2.2PyTorch2.0GPUNvidiaq行库的安装15 2.2.3PyTorch2.0l:(x)HelloPyTorch18 2.3生成式模型实战:(x)古诗词的生成18 2.4囑փ降噪Q手把手实战?sh)深度学习(fn)模?9 2.4.1MNIST数据集的准备19 2.4.2MNIST数据集的特征和标{介l?1 2.4.3模型的准备和介绍22 2.4.4对目标的D—模型的损失函C优化函数24 2.4.5Z深度学习(fn)的模型训l?4 2.5本章结26 W?章从零开始学?fn)PyTorch2.027 3.1实战MNIST手写体识?7 3.1.1数据囑փ的获取与标签的说?7 3..实战ZPyTorch2.0的手写体识别模型29 3.1.3ZNetron库的PyTorch2.0模型可视?2 3.2自定义神l网l框架的基本设计34 3.2.1经|络框架的抽象实?4 3.2.2自定义神l网l框架的具体实现35 3.3本章结43 W?章一学就?x)的深度学?fn)基础法详解44 4.1反向传播经|络的前w历?4 4.2反向传播经|络两个基础法详解47 4.2.1二乘法详?8 4.2.2梯度下降法50 4.2.3二乘法的梯度下降法?qing)其Python实现52 4.3反馈经|络反向传播法介绍58 4.3.1深度学习(fn)基础58 4.3.2铑ּ求导法则59 4.3.3反馈经|络的原理与公式推导60 4.3.4反馈经|络原理的激zd?4 4.3.5反馈经|络原理的Python实现66 4.4本章结70 W?章基于PyTorchL(fng)层的MNIST分类实战71 5.1L(fng)q算的基本概?1 5.1.1基本L(fng)q算CZ72 5..PyTorch中的L(fng)函数实现详解73 5.1.3池化q算75 5.1.4SoftmaxȀzd?7 5.1.5L(fng)经|络的原?8 5.2实战Q基于卷U的MNIST手写体分c?0 5.2.1数据的准?0 5.2.2模型的设?1 5.2.3ZL(fng)的MNIST分类模型82 5.3PyTorch的深度可分离膨胀L(fng)详解84 5.3.1深度可分dU的定义84 5.3.2深度的定义以?qing)不同计层待训l参数的比较86 5.3.3膨胀L(fng)详解87 5.3.4实战Q基于深度可分离膨胀L(fng)的MNIST手写体识?7 5.4本章结90 W?章可视化的PyTorch数据处理与模型展C?1 6.1用于自定义数据集的torch.utils.data工具׃用详?2 6.1.1使用torch.utils.data.Dataset装自定义数据集92 6..改变数据cd的DatasetcM的transform的?3 6.1.3扚w输出数据的DataLoaderc详?8 6.2实战Q基于tensorboardX的训l可视化展示100 6.2.1可视化组件tensorboardX的简介与安装100 6.2.2tensorboardX可视化组件的使用100 6.2.3tensorboardXҎ(gu)型训l过E的展示103 6.3本章结105 W?章ResNet实战106 7.1ResNet基础原理与程序设计基106 7.1.1ResNet诞生的背?07 7..PyTorch2.0中的模块工具109 7.1.3ResNetD差模块的实?10 7.1.4ResNet|络的实? 7.2ResNet实战QCIFAR-10数据集分c?14 7.2.1CIFAR-10数据集简?14 7.2.2ZResNet的CIFAR-10数据集分c?17 7.3本章结118 W?章有的词嵌?/span> 8.1文本数据处理 8.1.1Ag_news数据集介l和数据清洗 8..停用词的使用 8.1.3词向量训l模型Word2Vec使用介绍5 8.1.4文本主题的提取:(x)ZTF-F8 8.1.5文本主题的提取:(x)ZTextRank132 8.2更多的词嵌入Ҏ(gu)—FastText和预训练词向?34 8.2.1FastText的原理与基础法135 8.2.2FastText训练?qing)其与PyTorch2.0的协同?36 8.2.3使用预训l参数来生成PyTorch2.0词嵌入矩阵(中文Q?40 8.3针对文本的卷U神l网l模型简?mdash;字符L(fng)141 8.3.1字符Q非单词Q文本的处理141 8.3.2L(fng)经|络文本分类模型的实?mdash;Conv1dQ一l卷U)(j)148 8.4针对文本的卷U神l网l模型简?mdash;词卷U?51 8.4.1单词的文本处?51 8.4.2L(fng)经|络文本分类模型的实?mdash;Conv2dQ二l卷U)(j)153 8.5使用L(fng)Ҏ(gu)本分cȝ补充内容155 8.5.1汉字的文本处?55 8.5.2l节157 8.6本章结158 W?章基于@环神l网l的中文情感分类实战160 9.1实战Q@环神l网l与情感分类160 9.2循环经|络理论讲解165 9.2.1什么是GRU165 9.2.2单向不行Q那双?67 9.3本章结168 0章从零开始学?fn)自然语a处理的编码器169 10.1~码器的核心(j)—注意力模?70 10.1.1输入?mdash;初始词向量层和位|编码器?70 10..自注意力?72 10.1.3ticks和LayerNormalization177 10.1.4多头注意?78 10.2~码器的实现180 10.2.1前馈层的实现181 10.2.2~码器的实现182 10.3实战~码器:(x)拼音汉字转化模型184 10.3.1汉字拼音数据集处?85 10.3.2汉字拼音转化模型的确?87 10.3.3模型训练部分的编?90 10.4本章结191 1章站在巨膀上的预训l模型BERT193 11.1预训l模型BERT193 11.1.1BERT的基本架构与应用194 11..BERT预训lQ务与微调195 1.实战BERTQ中文文本分c?98 1..使用HuggingFace获取BERT预训l模?98 1..BERT实战文本分类200 11.3更多的预训练模型203 11.4本章结205 2章从1开始自然语a处理的解码器206 .解码器的核心(j)—注意力模?06 ..1解码器的输入和交互注意力层的掩码207 ..2Z么通过掩码操作能够减少q扰2 ..3解码器的输出Q移位训l方法)(j)213 ..4解码器的实现214 .解码器实?mdash;拼音汉字译模型215 .1数据集的获取与处?16 .译模型218 .3拼音汉字模型的训l?29 .4拼音汉字模型的?30 .本章结231 3章基于PyTorch2.0的强化学?fn)实?32 13.1Z强化学习(fn)的回收实?32 13.1.1回收基本q行环境介绍233 13..回收参数介绍234 13.1.3Z强化学习(fn)的回收实?34 13.1.4强化学习(fn)的基本内?39 13.2强化学习(fn)的基本算?mdash;PPO法243 13.2.1PPO法?43 13.2.2函数使用说明244 13.2.3一学就?x)的TD-error理论介绍245 13.2.4ZTD-error的结果修?47 13.2.5对于奖励的倒序构成的说?48 13.3本章结249 4章ChatGPT前n—只具有解码器的GPT-2模型250 14.1GPT-2模型?50 14.1.1GPT-2模型的输入和输出l构—自回?51 14..GPT-2模型的PyTorch实现252 14.1.3GPT-2模型输入输出格式的实?57 14.2HuggingFaceGPT-2模型源码模型详解259 14.2.1GPT2LMHeadModelcdGPT2Modelc详?59 14.2.2Blockc详?70 14.2.3Attentionc详?74 14.2.4MLPc详?81 14.3HuggingFaceGPT-2模型的用与自定义微?82 14.3.1模型的用与自定义数据集的微?82 14.3.2Z预训l模型的评论描述微调285 14.4自定义模型的输出286 14.4.1GPT输出的结?86 14.4.2创造参数temperature与采样个数topK288 14.5本章结290 5章实战训l自qChatGPT291 15.1什么是ChatGPT291 15.2RLHF模型?93 15.2.1RLHF技术分?93 15.2.2RLHF中的具体实现—PPO法296 15.3ZRLHF实战的ChatGPT正向评论的生?97 15.3.1RLHF模型q化的M讲解297 15.3.2ChatGPT评分模块?98 15.3.3带有评分函数的ChatGPT模型的构?00 15.3.4RLHF中的PPO法—KL散度301 15.3.5RLHF中的PPO法—损失函数303 15.4本章结304 6章开源大模型ChatGLM使用详解305 16.1Z么要使用大模?05 16.1.1大模型与普通模型的区别306 16..一个的现象—大模型的涌现能力307 16.2ChatGLM使用详解307 16.2.1ChatGLM介及(qing)应用前景308 16.2.2下蝲ChatGLM309 16.2.3ChatGLM的用与Prompt介绍310 16.3本章结311 7章开源大模型ChatGLM高定制化应用实? 17.1ȝ问答GLMABot搭徏实战—ZChatGLM搭徏专业客服问答机器? 17.1.1ZChatGLM搭徏专业领域问答机器人的思\313 17..Z真实ȝ问答的数据准?14 17.1.3文本相关Q似度)(j)的比较算?15 17.1.4提示语句Prompt的构?16 17.1.5Z单个文的GLMABot的搭?16 17.2金融信息抽取实战—Z知识铄ChatGLM本地化知识库(g)索与生成318 17.2.1ZChatGLM搭徏生成机器人的思\319 17.2.2获取专业Q范畴内Q文档与~码存储320 17.2.3查询文本~码的相x(chng)较与排序322 17.2.4Z知识铄ChatGLM本地化知识库(g)索与生成325 17.3ZChatGLM的一些补充内?27 17.3.1语言的艺?mdash;Prompt的前世今?28 17.3.2清华大学的ChatGLM微调Ҏ(gu)329 17.3.2一U新的基于ChatGLM的文本检索方?30 17.4本章结331 |