澶辨晥閾炬帴澶勭悊 |
浠庨浂寮€濮嬪ぇ妯″瀷寮€鍙戜笌寰皟錛氬熀浜嶱yTorch涓嶤hatGLM 鐜嬫檽鍗?PDF 涓嬭澆
涓嬭澆鍦板潃錛?/strong>
鐗堟潈褰掑嚭鐗堢ぞ鍜屽師浣滆€呮墍鏈夛紝閾炬帴宸插垹闄わ紝璇瘋喘涔版鐗?br style="padding: 0px; margin: 0px;" />
鐢ㄦ埛涓嬭澆璇存槑錛?/strong>
鐢?shù)瀛愮増浠呬緵棰勮锛屼笅铦插?4灝忔椂鍐呭姟蹇呭垹闄わ紝鏀寔姝g増錛屽枩嬈㈢殑璇瘋喘涔版鐗堜功綾嶏細(xì)
https://product.dangdang.com/11711192007.html
鐩稿叧鎴浘錛?br /> ![]() 璧勬枡鍐呭錛?/strong> 澶фā鍨嬫槸娣卞害瀛︿範(fàn)鑷劧璇█澶勭悊涓婄殑涓€棰楁槑鐝狅紝涔熸槸褰撳墠AI鍜孨LP鐮旂┒涓庝駭涓氫腑閲嶈鐨勬柟鍚戜箣涓€銆傛湰涔︿嬌鐢≒yTorch 2.0浣滀負(fù)瀛︽ā鍨嬬殑鍩烘湰妗嗘灦錛屼互ChatGLM涓轟緥璇︾粏璁茶В澶фā鍨嬬殑鍩烘湰鐞嗚銆佺畻娉曘€佺▼搴忓疄鐜般€佸簲鐢ㄥ疄鎴樹(shù)互鍙?qiáng)寰皟鎶€鏈紝涓鴻鑰呮彮紺哄ぇ妯″瀷寮€鍙戞妧鏈€?/span> 璧勬枡鐩綍錛?br /> 绔犳柊鏃朵唬鐨勬洐鍏?mdash;浜哄伐鏅鴻兘涓庡ぇ妯″瀷1 1.1浜哄伐鏅鴻兘錛氭€濈淮涓庡疄璺電殑铻嶅悎1 1.1.1浜哄伐鏅鴻兘鐨勫巻鍙蹭笌鏈潵2 1..娣卞害瀛︿範(fàn)涓庝漢宸ユ櫤鑳? 1.1.3閫夋嫨PyTorch2.0瀹炴垬妗嗘灦3 .澶фā鍨嬪紑鍚漢宸ユ櫤鑳界殑鏂版椂浠? ..澶фā鍨嬪甫鏉ョ殑鍙橀潻4 ..涓嶉敊鐨勪腑鏂囧ぇ妯″瀷—娓呭崕澶уChatGLM浠嬬粛5 ..榪戝湪鍜昂鐨勬湭鏉?mdash;澶фā鍨嬬殑搴旂敤鍓嶆櫙6 1.3鏈珷灝忕粨7 絎?绔燩yTorch2.0娣卞害瀛︿範(fàn)鐜鎼緩8 2.1鐜鎼緩1錛氬畨瑁匬ython8 2.1.1Miniconda鐨勪笅杞戒笌瀹夎8 2..PyCharm鐨勪笅杞戒笌瀹夎11 2.1.3Python浠g爜緇冿細(xì)璁$畻Softmax鍑芥暟14 2.2鐜鎼緩2錛氬畨瑁匬yTorch2.015 2.2.1Nvidia10/20/30/40緋誨垪鏄懼崱閫夋嫨鐨凣PU鐗堟湰15 2.2.2PyTorch2.0GPUNvidia榪愯搴撶殑瀹夎15 2.2.3PyTorch2.0緇冿細(xì)HelloPyTorch18 2.3鐢熸垚寮忔ā鍨嬪疄鎴橈細(xì)鍙よ瘲璇嶇殑鐢熸垚18 2.4鍥懼儚闄嶅櫔錛氭墜鎶婃墜瀹炴垬?shù)釜娣卞害瀛︿範(fàn)妯″?9 2.4.1MNIST鏁版嵁闆嗙殑鍑嗗19 2.4.2MNIST鏁版嵁闆嗙殑鐗瑰緛鍜屾爣絳句粙緇?1 2.4.3妯″瀷鐨勫噯澶囧拰浠嬬粛22 2.4.4瀵圭洰鏍囩殑閫艱繎—妯″瀷鐨勬崯澶卞嚱鏁頒笌浼樺寲鍑芥暟24 2.4.5鍩轟簬娣卞害瀛︿範(fàn)鐨勬ā鍨嬭緇?4 2.5鏈珷灝忕粨26 絎?绔犱粠闆跺紑濮嬪涔?fàn)PyTorch2.027 3.1瀹炴垬MNIST鎵嬪啓浣撹瘑鍒?7 3.1.1鏁版嵁鍥懼儚鐨勮幏鍙栦笌鏍囩鐨勮鏄?7 3..瀹炴垬鍩轟簬PyTorch2.0鐨勬墜鍐欎綋璇嗗埆妯″瀷29 3.1.3鍩轟簬Netron搴撶殑PyTorch2.0妯″瀷鍙鍖?2 3.2鑷畾涔夌緇忕綉緇滄鏋剁殑鍩烘湰璁捐34 3.2.1紲炵粡緗戠粶妗嗘灦鐨勬娊璞″疄鐜?4 3.2.2鑷畾涔夌緇忕綉緇滄鏋剁殑鍏蜂綋瀹炵幇35 3.3鏈珷灝忕粨43 絎?绔犱竴瀛﹀氨浼?xì)鐨勬繁搴﹀涔?fàn)鍩虹綆楁硶璇﹁В44 4.1鍙嶅悜浼犳挱紲炵粡緗戠粶鐨勫墠韜巻鍙?4 4.2鍙嶅悜浼犳挱紲炵粡緗戠粶涓や釜鍩虹綆楁硶璇﹁В47 4.2.1浜屼箻娉曡瑙?8 4.2.2姊害涓嬮檷綆楁硶50 4.2.3浜屼箻娉曠殑姊害涓嬮檷綆楁硶鍙?qiáng)鍏禤ython瀹炵幇52 4.3鍙嶉紲炵粡緗戠粶鍙嶅悜浼犳挱綆楁硶浠嬬粛58 4.3.1娣卞害瀛︿範(fàn)鍩虹58 4.3.2閾懼紡姹傚娉曞垯59 4.3.3鍙嶉紲炵粡緗戠粶鐨勫師鐞嗕笌鍏紡鎺ㄥ60 4.3.4鍙嶉紲炵粡緗戠粶鍘熺悊鐨勬縺媧誨嚱鏁?4 4.3.5鍙嶉紲炵粡緗戠粶鍘熺悊鐨凱ython瀹炵幇66 4.4鏈珷灝忕粨70 絎?绔犲熀浜嶱yTorch鍗風(fēng)Н灞傜殑MNIST鍒嗙被瀹炴垬71 5.1鍗風(fēng)Н榪愮畻鐨勫熀鏈蹇?1 5.1.1鍩烘湰鍗風(fēng)Н榪愮畻紺轟緥72 5..PyTorch涓殑鍗風(fēng)Н鍑芥暟瀹炵幇璇﹁В73 5.1.3姹犲寲榪愮畻75 5.1.4Softmax嬋€媧誨嚱鏁?7 5.1.5鍗風(fēng)Н紲炵粡緗戠粶鐨勫師鐞?8 5.2瀹炴垬錛氬熀浜庡嵎縐殑MNIST鎵嬪啓浣撳垎綾?0 5.2.1鏁版嵁鐨勫噯澶?0 5.2.2妯″瀷鐨勮璁?1 5.2.3鍩轟簬鍗風(fēng)Н鐨凪NIST鍒嗙被妯″瀷82 5.3PyTorch鐨勬繁搴﹀彲鍒嗙鑶ㄨ儉鍗風(fēng)Н璇﹁В84 5.3.1娣卞害鍙垎紱誨嵎縐殑瀹氫箟84 5.3.2娣卞害鐨勫畾涔変互鍙?qiáng)涓嶅悓璁〗帡灞傚緟璁l冨弬鏁扮殑姣旇緝86 5.3.3鑶ㄨ儉鍗風(fēng)Н璇﹁В87 5.3.4瀹炴垬錛氬熀浜庢繁搴﹀彲鍒嗙鑶ㄨ儉鍗風(fēng)Н鐨凪NIST鎵嬪啓浣撹瘑鍒?7 5.4鏈珷灝忕粨90 絎?绔犲彲瑙嗗寲鐨凱yTorch鏁版嵁澶勭悊涓庢ā鍨嬪睍紺?1 6.1鐢ㄤ簬鑷畾涔夋暟鎹泦鐨則orch.utils.data宸ュ叿綆變嬌鐢ㄨ瑙?2 6.1.1浣跨敤torch.utils.data.Dataset灝佽鑷畾涔夋暟鎹泦92 6..鏀瑰彉鏁版嵁綾誨瀷鐨凞ataset綾諱腑鐨則ransform鐨勪嬌鐢?3 6.1.3鎵歸噺杈撳嚭鏁版嵁鐨凞ataLoader綾昏瑙?8 6.2瀹炴垬錛氬熀浜巘ensorboardX鐨勮緇冨彲瑙嗗寲灞曠ず100 6.2.1鍙鍖栫粍浠秚ensorboardX鐨勭畝浠嬩笌瀹夎100 6.2.2tensorboardX鍙鍖栫粍浠剁殑浣跨敤100 6.2.3tensorboardX瀵規(guī)ā鍨嬭緇冭繃紼嬬殑灞曠ず103 6.3鏈珷灝忕粨105 絎?绔燫esNet瀹炴垬106 7.1ResNet鍩虹鍘熺悊涓庣▼搴忚璁″熀紜€106 7.1.1ResNet璇炵敓鐨勮儗鏅?07 7..PyTorch2.0涓殑妯″潡宸ュ叿109 7.1.3ResNet孌嬪樊妯″潡鐨勫疄鐜?10 7.1.4ResNet緗戠粶鐨勫疄鐜? 7.2ResNet瀹炴垬錛欳IFAR-10鏁版嵁闆嗗垎綾?14 7.2.1CIFAR-10鏁版嵁闆嗙畝浠?14 7.2.2鍩轟簬ResNet鐨凜IFAR-10鏁版嵁闆嗗垎綾?17 7.3鏈珷灝忕粨118 絎?绔犳湁瓚g殑璇嶅祵鍏?/span> 8.1鏂囨湰鏁版嵁澶勭悊 8.1.1Ag_news鏁版嵁闆嗕粙緇嶅拰鏁版嵁娓呮礂 8..鍋滅敤璇嶇殑浣跨敤 8.1.3璇嶅悜閲忚緇冩ā鍨媁ord2Vec浣跨敤浠嬬粛5 8.1.4鏂囨湰涓婚鐨勬彁鍙栵細(xì)鍩轟簬TF-F8 8.1.5鏂囨湰涓婚鐨勬彁鍙栵細(xì)鍩轟簬TextRank132 8.2鏇村鐨勮瘝宓屽叆鏂規(guī)硶—FastText鍜岄璁粌璇嶅悜閲?34 8.2.1FastText鐨勫師鐞嗕笌鍩虹綆楁硶135 8.2.2FastText璁粌鍙?qiáng)鍏朵笌PyTorch2.0鐨勫崗鍚屼嬌鐢?36 8.2.3浣跨敤棰勮緇冨弬鏁版潵鐢熸垚PyTorch2.0璇嶅祵鍏ョ煩闃碉紙涓枃錛?40 8.3閽堝鏂囨湰鐨勫嵎縐緇忕綉緇滄ā鍨嬬畝浠?mdash;瀛楃鍗風(fēng)Н141 8.3.1瀛楃錛堥潪鍗曡瘝錛夋枃鏈殑澶勭悊141 8.3.2鍗風(fēng)Н紲炵粡緗戠粶鏂囨湰鍒嗙被妯″瀷鐨勫疄鐜?mdash;Conv1d錛堜竴緇村嵎縐級(jí)148 8.4閽堝鏂囨湰鐨勫嵎縐緇忕綉緇滄ā鍨嬬畝浠?mdash;璇嶅嵎縐?51 8.4.1鍗曡瘝鐨勬枃鏈鐞?51 8.4.2鍗風(fēng)Н紲炵粡緗戠粶鏂囨湰鍒嗙被妯″瀷鐨勫疄鐜?mdash;Conv2d錛堜簩緇村嵎縐級(jí)153 8.5浣跨敤鍗風(fēng)Н瀵規(guī)枃鏈垎綾葷殑琛ュ厖鍐呭155 8.5.1姹夊瓧鐨勬枃鏈鐞?55 8.5.2緇嗚妭157 8.6鏈珷灝忕粨158 絎?绔犲熀浜庡驚鐜緇忕綉緇滅殑涓枃鎯呮劅鍒嗙被瀹炴垬160 9.1瀹炴垬錛氬驚鐜緇忕綉緇滀笌鎯呮劅鍒嗙被160 9.2寰幆紲炵粡緗戠粶鐞嗚璁茶В165 9.2.1浠€涔堟槸GRU165 9.2.2鍗曞悜涓嶈錛岄偅灝卞弻鍚?67 9.3鏈珷灝忕粨168 0绔犱粠闆跺紑濮嬪涔?fàn)鑷劧璇a€澶勭悊鐨勭紪鐮佸櫒169 10.1緙栫爜鍣ㄧ殑鏍稿績(jī)—娉ㄦ剰鍔涙ā鍨?70 10.1.1杈撳叆灞?mdash;鍒濆璇嶅悜閲忓眰鍜屼綅緗紪鐮佸櫒灞?70 10..鑷敞鎰忓姏灞?72 10.1.3ticks鍜孡ayerNormalization177 10.1.4澶氬ご娉ㄦ剰鍔?78 10.2緙栫爜鍣ㄧ殑瀹炵幇180 10.2.1鍓嶉灞傜殑瀹炵幇181 10.2.2緙栫爜鍣ㄧ殑瀹炵幇182 10.3瀹炴垬緙栫爜鍣細(xì)鎷奸煶姹夊瓧杞寲妯″瀷184 10.3.1姹夊瓧鎷奸煶鏁版嵁闆嗗鐞?85 10.3.2姹夊瓧鎷奸煶杞寲妯″瀷鐨勭‘瀹?87 10.3.3妯″瀷璁粌閮ㄥ垎鐨勭紪鍐?90 10.4鏈珷灝忕粨191 1绔犵珯鍦ㄥ法浜鴻偐鑶€涓婄殑棰勮緇冩ā鍨婤ERT193 11.1棰勮緇冩ā鍨婤ERT193 11.1.1BERT鐨勫熀鏈灦鏋勪笌搴旂敤194 11..BERT棰勮緇冧換鍔′笌寰皟195 1.瀹炴垬BERT錛氫腑鏂囨枃鏈垎綾?98 1..浣跨敤HuggingFace鑾峰彇BERT棰勮緇冩ā鍨?98 1..BERT瀹炴垬鏂囨湰鍒嗙被200 11.3鏇村鐨勯璁粌妯″瀷203 11.4鏈珷灝忕粨205 2绔犱粠1寮€濮嬭嚜鐒惰璦€澶勭悊鐨勮В鐮佸櫒206 .瑙g爜鍣ㄧ殑鏍稿績(jī)—娉ㄦ剰鍔涙ā鍨?06 ..1瑙g爜鍣ㄧ殑杈撳叆鍜屼氦浜掓敞鎰忓姏灞傜殑鎺╃爜207 ..2涓轟粈涔堥€氳繃鎺╃爜鎿嶄綔鑳藉鍑忓皯騫叉壈2 ..3瑙g爜鍣ㄧ殑杈撳嚭錛堢Щ浣嶈緇冩柟娉曪級(jí)213 ..4瑙g爜鍣ㄧ殑瀹炵幇214 .瑙g爜鍣ㄥ疄鎴?mdash;鎷奸煶姹夊瓧緲昏瘧妯″瀷215 .1鏁版嵁闆嗙殑鑾峰彇涓庡鐞?16 .緲昏瘧妯″瀷218 .3鎷奸煶姹夊瓧妯″瀷鐨勮緇?29 .4鎷奸煶姹夊瓧妯″瀷鐨勪嬌鐢?30 .鏈珷灝忕粨231 3绔犲熀浜嶱yTorch2.0鐨勫己鍖栧涔?fàn)瀹炴?32 13.1鍩轟簬寮哄寲瀛︿範(fàn)鐨勫洖鏀跺疄鎴?32 13.1.1鍥炴敹鍩烘湰榪愯鐜浠嬬粛233 13..鍥炴敹鍙傛暟浠嬬粛234 13.1.3鍩轟簬寮哄寲瀛︿範(fàn)鐨勫洖鏀跺疄鎴?34 13.1.4寮哄寲瀛︿範(fàn)鐨勫熀鏈唴瀹?39 13.2寮哄寲瀛︿範(fàn)鐨勫熀鏈畻娉?mdash;PPO綆楁硶243 13.2.1PPO綆楁硶綆€浠?43 13.2.2鍑芥暟浣跨敤璇存槑244 13.2.3涓€瀛﹀氨浼?xì)鐨凾D-error鐞嗚浠嬬粛245 13.2.4鍩轟簬TD-error鐨勭粨鏋滀慨姝?47 13.2.5瀵逛簬濂栧姳鐨勫€掑簭鏋勬垚鐨勮鏄?48 13.3鏈珷灝忕粨249 4绔燙hatGPT鍓嶈韓—鍙叿鏈夎В鐮佸櫒鐨凣PT-2妯″瀷250 14.1GPT-2妯″瀷綆€浠?50 14.1.1GPT-2妯″瀷鐨勮緭鍏ュ拰杈撳嚭緇撴瀯—鑷洖褰?51 14..GPT-2妯″瀷鐨凱yTorch瀹炵幇252 14.1.3GPT-2妯″瀷杈撳叆杈撳嚭鏍煎紡鐨勫疄鐜?57 14.2HuggingFaceGPT-2妯″瀷婧愮爜妯″瀷璇﹁В259 14.2.1GPT2LMHeadModel綾誨拰GPT2Model綾昏瑙?59 14.2.2Block綾昏瑙?70 14.2.3Attention綾昏瑙?74 14.2.4MLP綾昏瑙?81 14.3HuggingFaceGPT-2妯″瀷鐨勪嬌鐢ㄤ笌鑷畾涔夊井璋?82 14.3.1妯″瀷鐨勪嬌鐢ㄤ笌鑷畾涔夋暟鎹泦鐨勫井璋?82 14.3.2鍩轟簬棰勮緇冩ā鍨嬬殑璇勮鎻忚堪寰皟285 14.4鑷畾涔夋ā鍨嬬殑杈撳嚭286 14.4.1GPT杈撳嚭鐨勭粨鏋?86 14.4.2鍒涢€犲弬鏁皌emperature涓庨噰鏍蜂釜鏁皌opK288 14.5鏈珷灝忕粨290 5绔犲疄鎴樿緇冭嚜宸辯殑ChatGPT291 15.1浠€涔堟槸ChatGPT291 15.2RLHF妯″瀷綆€浠?93 15.2.1RLHF鎶€鏈垎瑙?93 15.2.2RLHF涓殑鍏蜂綋瀹炵幇—PPO綆楁硶296 15.3鍩轟簬RLHF瀹炴垬鐨凜hatGPT姝e悜璇勮鐨勭敓鎴?97 15.3.1RLHF妯″瀷榪涘寲鐨勬€諱綋璁茶В297 15.3.2ChatGPT璇勫垎妯″潡綆€浠?98 15.3.3甯︽湁璇勫垎鍑芥暟鐨凜hatGPT妯″瀷鐨勬瀯寤?00 15.3.4RLHF涓殑PPO綆楁硶—KL鏁e害301 15.3.5RLHF涓殑PPO綆楁硶—鎹熷け鍑芥暟303 15.4鏈珷灝忕粨304 6绔犲紑婧愬ぇ妯″瀷ChatGLM浣跨敤璇﹁В305 16.1涓轟粈涔堣浣跨敤澶фā鍨?05 16.1.1澶фā鍨嬩笌鏅€氭ā鍨嬬殑鍖哄埆306 16..涓€涓殑鐜拌薄—澶фā鍨嬬殑娑岀幇鑳藉姏307 16.2ChatGLM浣跨敤璇﹁В307 16.2.1ChatGLM綆€浠嬪強(qiáng)搴旂敤鍓嶆櫙308 16.2.2涓嬭澆ChatGLM309 16.2.3ChatGLM鐨勪嬌鐢ㄤ笌Prompt浠嬬粛310 16.3鏈珷灝忕粨311 7绔犲紑婧愬ぇ妯″瀷ChatGLM楂樼駭瀹氬埗鍖栧簲鐢ㄥ疄鎴? 17.1鍖葷枟闂瓟GLMABot鎼緩瀹炴垬—鍩轟簬ChatGLM鎼緩涓撲笟瀹㈡湇闂瓟鏈哄櫒浜? 17.1.1鍩轟簬ChatGLM鎼緩涓撲笟棰嗗煙闂瓟鏈哄櫒浜虹殑鎬濊礬313 17..鍩轟簬鐪熷疄鍖葷枟闂瓟鐨勬暟鎹噯澶?14 17.1.3鏂囨湰鐩稿叧錛堜技搴︼級(jí)鐨勬瘮杈冪畻娉?15 17.1.4鎻愮ず璇彞Prompt鐨勬瀯寤?16 17.1.5鍩轟簬鍗曚釜鏂囨。鐨凣LMABot鐨勬惌寤?16 17.2閲戣瀺淇℃伅鎶藉彇瀹炴垬—鍩轟簬鐭ヨ瘑閾劇殑ChatGLM鏈湴鍖栫煡璇嗗簱媯€(gè)绱笌鏅鴻兘鐢熸垚318 17.2.1鍩轟簬ChatGLM鎼緩鏅鴻兘鐢熸垚鏈哄櫒浜虹殑鎬濊礬319 17.2.2鑾峰彇涓撲笟錛堣寖鐣村唴錛夋枃妗d笌緙栫爜瀛樺偍320 17.2.3鏌ヨ鏂囨湰緙栫爜鐨勭浉鍏蟲(chóng)瘮杈冧笌鎺掑簭322 17.2.4鍩轟簬鐭ヨ瘑閾劇殑ChatGLM鏈湴鍖栫煡璇嗗簱媯€(gè)绱笌鏅鴻兘鐢熸垚325 17.3鍩轟簬ChatGLM鐨勪竴浜涜ˉ鍏呭唴瀹?27 17.3.1璇█鐨勮壓鏈?mdash;Prompt鐨勫墠涓栦粖鐢?28 17.3.2娓呭崕澶у鐨凜hatGLM寰皟鏂規(guī)硶329 17.3.2涓€縐嶆柊鐨勫熀浜嶤hatGLM鐨勬枃鏈绱㈡柟妗?30 17.4鏈珷灝忕粨331 |