ChatGPT 將海量訓(xùn)練數(shù)據(jù)與 Transformer 框架結(jié)合，在 GPT 模型的基礎(chǔ)上通過 RLHF 模型提升交互聊天能力，實現(xiàn)了對自然語言的深度建模，Transformer 有望在未來 較長時間內(nèi)成為 AIGC 語言L域的核心技術(shù)框架。

Transformer 架構(gòu)為自然語言理解L域帶來顛覆性變革，應(yīng)用到 NLP、CV、生物、化 學(xué)等多L域。2017 年，谷歌跳出 RNN 和 CNN 的結(jié)構(gòu)，提出了完全基于 Self-Attention 機(jī) 制的 Transformer 架構(gòu)，當(dāng)時在機(jī)器翻譯任務(wù)上取得了顛覆性的進(jìn)步。Transformer 由一個 編碼器和一個解碼器組成，且各自由若干個編碼/解碼模塊堆疊而成，每個模塊包含 MultiHead Attention 層、全連接層等功能不同的工作層。

Transformer 架構(gòu)優(yōu)勢突出，計算效率、并行度、解釋性均實現(xiàn)突破。相比于之前的 框架 Transformer 架構(gòu)除了在計算的時間復(fù)雜度更優(yōu)外，還有 3 大優(yōu)勢：

（1）可直接計算點乘結(jié)果，并行度G：對于數(shù)據(jù)序列 x1,x2……xn ，self-attention 可 以直接計算任意兩節(jié)點的點乘結(jié)果，而 RNN 需要按照順序從 x1 計算到 xn。

（2）一步計算，解決長時依賴問題：處理序列信息使，通常用要經(jīng)過的路徑長度衡量 性能，CNN 需要增加卷積層數(shù)來擴(kuò)大視野，RNN 只能逐個進(jìn)行計算，而 self-attention 只需 要一步矩陣計算就可以，更好地解決長時依賴問題。

（3）模型更可解釋：self-attention 模型更可解釋，attention 結(jié)果的分布可反映該模型 學(xué)習(xí)到了一些語法和語義信息。