作者：陳巍 博士，作者本人曾擔(dān)任華為系自然語言處理（ NLP ）企業(yè)的首席科學(xué)家。
存算一體/GPU架構(gòu)和AI專家，高級職稱。中關(guān)村云計算產(chǎn)業(yè)聯(lián)盟，中國光學(xué)工程學(xué)會專家，國際計算機學(xué)會（ACM）會員，中國計算機學(xué)會（CCF）專業(yè)會員。曾任AI企業(yè)首席科學(xué)家、存儲芯片大廠3D NAND設(shè)計負責(zé)人，主要成就包括國內(nèi)首個大算力可重構(gòu)存算處理器產(chǎn)品架構(gòu)（已在互聯(lián)網(wǎng)大廠完成原型內(nèi)測），首個醫(yī)療領(lǐng)域?qū)Ｓ肁I處理器（已落地應(yīng)用），首個RISC-V/x86/ARM平臺兼容的AI加速編譯器（與阿里平頭哥/芯來合作，已應(yīng)用），國內(nèi)首個3D NAND芯片架構(gòu)與設(shè)計團隊建立（與三星對標(biāo)），國內(nèi)首個嵌入式閃存編譯器（與臺積電對標(biāo)，已平臺級應(yīng)用）
先上參考網(wǎng)頁或論文。專業(yè)的讀者可以直接看paper。
今年12月1日，OpenAI推出人工智能聊天原型ChatGPT，再次賺足眼球，為AI界引發(fā)了類似AIGC讓藝術(shù)家失業(yè)的大討論。
據(jù)報道，ChatGPT在開放試用的短短幾天，就吸引了超過 100 萬互聯(lián)網(wǎng)注冊用戶。并且社交網(wǎng)絡(luò)流傳出各種詢問或調(diào)戲ChatGPT的有趣對話。甚至有人將ChatGPT比喻為“搜索引擎+社交軟件”的結(jié)合體，能夠在實時互動的過程中獲得問題的合理答案。
ChatGPT 是一種專注于對話生成的語言模型。它能夠根據(jù)用戶的文本輸入，產(chǎn)生相應(yīng)的智能回答。這個回答可以是簡短的詞語，也可以是長篇大論。其中GPT是Generative Pre-trained Transformer（生成型預(yù)訓(xùn)練變換模型）的縮寫。
通過學(xué)習(xí)大量現(xiàn)成文本和對話集合（例如Wiki），ChatGPT能夠像人類那樣即時對話，流暢的回答各種問題。（當(dāng)然回答速度比人還是慢一些）無論是英文還是其他語言（例如中文、韓語等），從回答歷史問題，到寫故事，甚至是撰寫商業(yè)計劃書和行業(yè)分析，“幾乎”無所不能。甚至有程序員貼出了ChatGPT進行程序修改的對話。
ChatGPT也可以與其他AIGC模型聯(lián)合使用，獲得更加炫酷實用的功能。例如上面通過對話生成客廳設(shè)計圖。這極大加強了AI應(yīng)用與客戶對話的能力，使我們看到了AI大規(guī)模落地的曙光。
我們首先了解下OpenAI是哪路大神。
OpenAI總部位于舊金山，由特斯拉的馬斯克、Sam Altman及其他投資者在2015年共同創(chuàng)立，目標(biāo)是開發(fā)造福全人類的AI技術(shù)。而馬斯克則在2018年時因公司發(fā)展方向分歧而離開。
此前，OpenAI 因推出 GPT系列自然語言處理模型而聞名。從2018年起，OpenAI就開始發(fā)布生成式預(yù)訓(xùn)練語言模型GPT（Generative Pre-trained Transformer），可用于生成文章、代碼、機器翻譯、問答等各類內(nèi)容。
每一代GPT模型的參數(shù)量都爆炸式增長，堪稱“越大越好”。2019年2月發(fā)布的GPT-2參數(shù)量為15億，而2020年5月的GPT-3，參數(shù)量達到了1750億。
GPT家族主要模型對比
ChatGPT 是基于GPT-3.5（Generative Pre-trained Transformer 3.5）架構(gòu)開發(fā)的對話AI模型，是InstructGPT 的兄弟模型。ChatGPT很可能是OpenAI 在GPT-4 正式推出之前的演練，或用于收集大量對話數(shù)據(jù)。
ChatGPT的主要特點
OpenAI使用 RLHF（Reinforcement Learning from Human Feedbac，人類反饋強化學(xué)習(xí)） 技術(shù)對 ChatGPT 進行了訓(xùn)練，且加入了更多人工監(jiān)督進行微調(diào)。
此外，ChatGPT 還具有以下特征：
1）可以主動承認自身錯誤。若用戶指出其錯誤，模型會聽取意見并優(yōu)化答案。
2）ChatGPT 可以質(zhì)疑不正確的問題。例如被詢問 “哥倫布 2015 年來到美國的情景” 的問題時，機器人會說明哥倫布不屬于這一時代并調(diào)整輸出結(jié)果。
3）ChatGPT 可以承認自身的無知，承認對專業(yè)技術(shù)的不了解。
4）支持連續(xù)多輪對話。
與大家在生活中用到的各類智能音箱和“人工智障“不同，ChatGPT在對話過程中會記憶先前使用者的對話訊息，即上下文理解，以回答某些假設(shè)性的問題。ChatGPT可實現(xiàn)連續(xù)對話，極大的提升了對話交互模式下的用戶體驗。
對于準確翻譯來說（尤其是中文與人名音譯），ChatGPT離完美還有一段距離，不過在文字流暢度以及辨別特定人名來說，與其他網(wǎng)絡(luò)翻譯工具相近。
由于 ChatGPT是一個大型語言模型，目前還并不具備網(wǎng)絡(luò)搜索功能，因此它只能基于2021年所擁有的數(shù)據(jù)集進行回答。例如它不知道2022年世界杯的情況，也不會像蘋果的Siri那樣回答今天天氣如何、或幫你搜索信息。如果ChatGPT能上網(wǎng)自己尋找學(xué)習(xí)語料和搜索知識，估計又會有更大的突破。
即便學(xué)習(xí)的知識有限，ChatGPT 還是能回答腦洞大開的人類的許多奇葩問題。為了避免ChatGPT染上惡習(xí)， ChatGPT 通過算法屏蔽，減少有害和欺騙性的訓(xùn)練輸入。，查詢通過適度 API 進行過濾，并駁回潛在的種族主義或性別歧視提示。
NLP/NLU領(lǐng)域已知局限包括對重復(fù)文本、對高度專業(yè)的主題的誤解，以及對上下文短語的誤解。
對于人類或AI，通常需接受多年的訓(xùn)練才能正常對話。NLP類模型不僅要理解單詞的含義，還要理解如何造句和給出上下文有意義的回答，甚至使用合適的俚語和專業(yè)詞匯。
NLP技術(shù)的應(yīng)用領(lǐng)域
本質(zhì)上，作為ChatGPT基礎(chǔ)的GPT-3或GPT-3.5 是一個超大的統(tǒng)計語言模型或順序文本預(yù)測模型。
與BERT模型類似，ChatGPT或GPT-3.5都是根據(jù)輸入語句，根據(jù)語言/語料概率來自動生成回答的每一個字（詞語）。從數(shù)學(xué)或從機器學(xué)習(xí)的角度來看，語言模型是對詞語序列的概率相關(guān)性分布的建模，即利用已經(jīng)說過的語句（語句可以視為數(shù)學(xué)中的向量）作為輸入條件，預(yù)測下一個時刻不同語句甚至語言集合出現(xiàn)的概率分布。
ChatGPT 使用來自人類反饋的強化學(xué)習(xí)進行訓(xùn)練，這種方法通過人類干預(yù)來增強機器學(xué)習(xí)以獲得更好的效果。在訓(xùn)練過程中，人類訓(xùn)練者扮演著用戶和人工智能助手的角色，并通過近端策略優(yōu)化算法進行微調(diào)。
由于ChatGPT更強的性能和海量參數(shù)，它包含了更多的主題的數(shù)據(jù)，能夠處理更多小眾主題。ChatGPT現(xiàn)在可以進一步處理回答問題、撰寫文章、文本摘要、語言翻譯和生成計算機代碼等任務(wù)。
BERT與GPT的技術(shù)架構(gòu)（圖中En為輸入的每個字，Tn為輸出回答的每個字）
說到ChatGPT，就不得不提到GPT家族。
ChatGPT之前有幾個知名的兄弟，包括GPT-1、GPT-2和GPT-3。這幾個兄弟一個比一個個頭大，ChatGPT與GPT-3更為相近。
ChatGPT與GPT 1-3的技術(shù)對比
GPT家族與BERT模型都是知名的NLP模型，都基于Transformer技術(shù)。GPT-1只有12個Transformer層，而到了GPT-3，則增加到96層。
InstructGPT/GPT3.5（ChatGPT的前身）與GPT-3的主要區(qū)別在于，新加入了被稱為RLHF（Reinforcement Learning from Human Feedback，人類反饋強化學(xué)習(xí)）。這一訓(xùn)練范式增強了人類對模型輸出結(jié)果的調(diào)節(jié)，并且對結(jié)果進行了更具理解性的排序。
在InstructGPT中，以下是“goodness of sentences”的評價標(biāo)準。
真實性：是虛假信息還是誤導(dǎo)性信息？
無害性：它是否對人或環(huán)境造成身體或精神上的傷害？
有用性：它是否解決了用戶的任務(wù)？
這里不得不提到TAMER（Training an Agent Manually via uative Reinforcement，評估式強化人工訓(xùn)練代理）這個框架。該框架將人類標(biāo)記者引入到Agents的學(xué)習(xí)循環(huán)中，可以通過人類向Agents提供獎勵反饋（即指導(dǎo)Agents進行訓(xùn)練），從而快速達到訓(xùn)練任務(wù)目標(biāo)。
TAMER框架論文
引入人類標(biāo)記者的主要目的是加快訓(xùn)練速度。盡管強化學(xué)習(xí)技術(shù)在很多領(lǐng)域有突出表現(xiàn)，但是仍然存在著許多不足，例如訓(xùn)練收斂速度慢，訓(xùn)練成本高等特點。特別是現(xiàn)實世界中，許多任務(wù)的探索成本或數(shù)據(jù)獲取成本很高。如何加快訓(xùn)練效率，是如今強化學(xué)習(xí)任務(wù)待解決的重要問題之一。
而TAMER則可以將人類標(biāo)記者的知識，以獎勵信反饋的形式訓(xùn)練Agent，加快其快速收斂。TAMER不需要標(biāo)記者具有專業(yè)知識或編程技術(shù)，語料成本更低。通過TAMER+RL（強化學(xué)習(xí)），借助人類標(biāo)記者的反饋，能夠增強從馬爾可夫決策過程 (MDP) 獎勵進行強化學(xué)習(xí) (RL) 的過程。
TAMER架構(gòu)在強化學(xué)習(xí)中的應(yīng)用
具體實現(xiàn)上，人類標(biāo)記者扮演對話的用戶和人工智能助手，提供對話樣本，讓模型生成一些回復(fù)，然后標(biāo)記者會對回復(fù)選項打分排名，將更好的結(jié)果反饋回模型中，Agents同時從兩種反饋模式中學(xué)習(xí)——人類強化和馬爾可夫決策過程獎勵作為一個整合的系統(tǒng)，通過獎勵策略對模型進行微調(diào)并持續(xù)迭代。
在此基礎(chǔ)上，ChatGPT 可以比 GPT-3 更好的理解和完成人類語言或指令，模仿人類，提供連貫的有邏輯的文本信息的能力。
ChatGPT的訓(xùn)練過程分為以下三個階段：
第一階段：訓(xùn)練監(jiān)督策略模型
GPT 3.5本身很難理解人類不同類型指令中蘊含的不同意圖，也很難判斷生成內(nèi)容是否是高質(zhì)量的結(jié)果。為了讓GPT 3.5初步具備理解指令的意圖，首先會在數(shù)據(jù)集中隨機抽取問題，由人類標(biāo)注人員，給出高質(zhì)量答案，然后用這些人工標(biāo)注好的數(shù)據(jù)來微調(diào) GPT-3.5模型（獲得SFT模型, Supervised Fine-Tuning）。
此時的SFT模型在遵循指令/對話方面已經(jīng)優(yōu)于 GPT-3，但不一定符合人類偏好。
ChatGPT模型的訓(xùn)練過程
第二階段：訓(xùn)練獎勵模型（Reward Mode，RM）
這個階段的主要是通過人工標(biāo)注訓(xùn)練數(shù)據(jù)（約33K個數(shù)據(jù)），來訓(xùn)練回報模型。在數(shù)據(jù)集中隨機抽取問題，使用第一階段生成的模型，對于每個問題，生成多個不同的回答。人類標(biāo)注者對這些結(jié)果綜合考慮給出排名順序。這一過程類似于教練或老師輔導(dǎo)。
接下來，使用這個排序結(jié)果數(shù)據(jù)來訓(xùn)練獎勵模型。對多個排序結(jié)果，兩兩組合，形成多個訓(xùn)練數(shù)據(jù)對。RM模型接受一個輸入，給出評價回答質(zhì)量的分數(shù)。這樣，對于一對訓(xùn)練數(shù)據(jù)，調(diào)節(jié)參數(shù)使得高質(zhì)量回答的打分比低質(zhì)量的打分要高。
第三階段：采用PPO（Proximal Policy Optimization，近端策略優(yōu)化）強化學(xué)習(xí)來優(yōu)化策略。
PPO的核心思路在于將Policy Gradient中On-policy的訓(xùn)練過程轉(zhuǎn)化為Off-policy，即將在線學(xué)習(xí)轉(zhuǎn)化為離線學(xué)習(xí)，這個轉(zhuǎn)化過程被稱之為Importance Sampling。這一階段利用第二階段訓(xùn)練好的獎勵模型，靠獎勵打分來更新預(yù)訓(xùn)練模型參數(shù)。在數(shù)據(jù)集中隨機抽取問題，使用PPO模型生成回答，并用上一階段訓(xùn)練好的RM模型給出質(zhì)量分數(shù)。把回報分數(shù)依次傳遞，由此產(chǎn)生策略梯度，通過強化學(xué)習(xí)的方式以更新PPO模型參數(shù)。
如果我們不斷重復(fù)第二和第三階段，通過迭代，會訓(xùn)練出更高質(zhì)量的ChatGPT模型。
只要用戶輸入問題，ChatGPT 就能給予回答，是否意味著我們不用再拿關(guān)鍵詞去喂 Google或百度，就能立即獲得想要的答案呢？
盡管ChatGPT表現(xiàn)出出色的上下文對話能力甚至編程能力，完成了大眾對人機對話機器人（ChatBot）從“人工智障”到“有趣”的印象改觀，我們也要看到，ChatGPT技術(shù)仍然有一些局限性，還在不斷的進步。
1）ChatGPT在其未經(jīng)大量語料訓(xùn)練的領(lǐng)域缺乏“人類常識”和引申能力，甚至?xí)槐菊?jīng)的“胡說八道”。ChatGPT在很多領(lǐng)域可以“創(chuàng)造答案”，但當(dāng)用戶尋求正確答案時，ChatGPT也有可能給出有誤導(dǎo)的回答。例如讓ChatGPT做一道小學(xué)應(yīng)用題，盡管它可以寫出一長串計算過程，但最后答案卻是錯誤的。
2）ChatGPT無法處理復(fù)雜冗長或者特別專業(yè)的語言結(jié)構(gòu)。對于來自金融、自然科學(xué)或醫(yī)學(xué)等非常專業(yè)領(lǐng)域的問題，如果沒有進行足夠的語料“喂食”，ChatGPT可能無法生成適當(dāng)?shù)幕卮稹?/p>
3）ChatGPT需要非常大量的算力（芯片）來支持其訓(xùn)練和部署。拋開需要大量語料數(shù)據(jù)訓(xùn)練模型不說，在目前，ChatGPT在應(yīng)用時仍然需要大算力的服務(wù)器支持，而這些服務(wù)器的成本是普通用戶無法承受的，即便數(shù)十億個參數(shù)的模型也需要驚人數(shù)量的計算資源才能運行和訓(xùn)練。，如果面向真實搜索引擎的數(shù)以億記的用戶請求，如采取目前通行的免費策略，任何企業(yè)都難以承受這一成本。因此對于普通大眾來說，還需等待更輕量型的模型或更高性價比的算力平臺。
4）ChatGPT還沒法在線的把新知識納入其中，而出現(xiàn)一些新知識就去重新預(yù)訓(xùn)練GPT模型也是不現(xiàn)實的，無論是訓(xùn)練時間或訓(xùn)練成本，都是普通訓(xùn)練者難以接受的。如果對于新知識采取在線訓(xùn)練的模式，看上去可行且語料成本相對較低，但是很容易由于新數(shù)據(jù)的引入而導(dǎo)致對原有知識的災(zāi)難性遺忘的問題。
5）ChatGPT仍然是黑盒模型。目前還未能對ChatGPT的內(nèi)在算法邏輯進行分解，因此并不能保證ChatGPT不會產(chǎn)生攻擊甚至傷害用戶的表述。
當(dāng)然，瑕不掩瑜，有工程師貼出了要求ChatGPT寫verilog代碼（芯片設(shè)計代碼）的對話。可以看出ChatGPT水平已經(jīng)超出一些verilog初學(xué)者了。
5，ChatGPT的未來改進方向
2020年底，OpenAI前研究副總裁Dario Amodei帶著10名員工創(chuàng)辦了一個人工智能公司Anthropic。Anthropic 的創(chuàng)始團隊成員，大多為 OpenAI 的早期及核心員工，參與過OpenAI的GPT-3、多模態(tài)神經(jīng)元、人類偏好的強化學(xué)習(xí)等。
2022年12月，Anthropic再次發(fā)表論文《Constitutional AI: Harmlessness from AI Feedback》介紹人工智能模型Claude。（arxiv.org/pdf/2212.0807）
CAI模型訓(xùn)練過程
Claude 和 ChatGPT 都依賴于強化學(xué)習(xí)(RL)來訓(xùn)練偏好（preference）模型。CAI（Constitutional AI）也是建立在RLHF的基礎(chǔ)之上，不同之處在于，CAI的排序過程使用模型（而非人類）對所有生成的輸出結(jié)果提供一個初始排序結(jié)果。
CAI用人工智能反饋來代替人類對表達無害性的偏好，即RLAIF，人工智能根據(jù)一套constitution原則來評價回復(fù)內(nèi)容。
ChatGPT雖然對話能力強，但是在數(shù)理計算對話中容易出現(xiàn)一本正經(jīng)胡說八道的情況。
計算機學(xué)家Stephen Wolfram 為這一問題提出了解決方案。Stephen Wolfram 創(chuàng)造了的 Wolfram 語言和計算知識搜索引擎 Wolfram | Alpha，其后臺通過Mathematica實現(xiàn)。
ChatGPT與Wolfram | Alpha結(jié)合處理梳理問題
在這一結(jié)合體系中，ChatGPT 可以像人類使用 Wolfram|Alpha 一樣，與 Wolfram|Alpha “對話”，Wolfram|Alpha 則會用其符號翻譯能力將從 ChatGPT 獲得的自然語言表達“翻譯”為對應(yīng)的符號化計算語言。在過去，學(xué)術(shù)界在 ChatGPT 使用的這類 “統(tǒng)計方法” 和 Wolfram|Alpha 的 “符號方法” 上一直存在路線分歧。但如今 ChatGPT 和 Wolfram|Alpha 的互補，給NLP領(lǐng)域提供了更上一層樓的可能。
ChatGPT 不必生成這樣的代碼，只需生成常規(guī)自然語言，然后使用 Wolfram|Alpha 翻譯成精確的 Wolfram Language，再由底層的Mathematica進行計算。
雖然ChatGPT很強大，但其模型大小和使用成本也讓很多人望而卻步。
有三類模型壓縮（model compression）可以降低模型的大小和成本。
第一種方法是量化（quantization），即降低單個權(quán)重的數(shù)值表示的精度。比如Tansformer從FP32降到INT8對其精度影響不大。
第二種模型壓縮方法是剪枝（pruning），即刪除網(wǎng)絡(luò)元素，包括從單個權(quán)重（非結(jié)構(gòu)化剪枝）到更高粒度的組件如權(quán)重矩陣的通道。這種方法在視覺和較小規(guī)模的語言模型中有效。
第三種模型壓縮方法是稀疏化。例如奧地利科學(xué)技術(shù)研究所 (ISTA)提出的SparseGPT （arxiv.org/pdf/2301.0077）可以將 GPT 系列模型單次剪枝到 50% 的稀疏性，而無需任何重新訓(xùn)練。對 GPT-175B 模型，只需要使用單個 GPU 在幾個小時內(nèi)就能實現(xiàn)這種剪枝。
SparseGPT 壓縮流程
說到ChaGPT不得不提AIGC。
AIGC即利用人工智能技術(shù)來生成內(nèi)容。與此前Web1.0、Web2.0時代的UGC（用戶生產(chǎn)內(nèi)容）和PGC（專業(yè)生產(chǎn)內(nèi)容）相比，代表人工智能構(gòu)思內(nèi)容的AIGC，是新一輪內(nèi)容生產(chǎn)方式變革，而且AIGC內(nèi)容在Web3.0時代也將出現(xiàn)指數(shù)級增長。
ChatGPT 模型的出現(xiàn)對于文字/語音模態(tài)的 AIGC 應(yīng)用具有重要意義，會對AI產(chǎn)業(yè)上下游產(chǎn)生重大影響。
從下游相關(guān)受益應(yīng)用來看，包括但不限于無代碼編程、小說生成、對話類搜索引擎、語音陪伴、語音工作助手、對話虛擬人、人工智能客服、機器翻譯、芯片設(shè)計等。從上游增加需求來看，包括算力芯片、數(shù)據(jù)標(biāo)注、自然語言處理（NLP)等。
大模型呈爆發(fā)態(tài)勢（更多的參數(shù)/更大的算力芯片需求）
隨著算法技術(shù)和算力技術(shù)的不斷進步，ChatGPT也會進一步走向更先進功能更強的版本，在越來越多的領(lǐng)域進行應(yīng)用，為人類生成更多更美好的對話和內(nèi)容。
最后，作者問存算一體技術(shù)在ChatGPT領(lǐng)域的地位（作者本人目前在重點推進存算一體芯片的產(chǎn)品落地），ChatGPT想了想，大膽的預(yù)言存算一體技術(shù)將在ChatGPT芯片中占據(jù)主導(dǎo)地位。（深得我心）
來源：https://zhuanlan.zhihu.com/p/590655677
