In a paper of RetNet, regarded as a successor to Transformer, particularly in Chapter Two, the architecture of RetNet is explained. However, the formula in the paper is a little confusing. In this post, the details of formula is explained …

Transformerの後継と称されるRetNetの以下の論文中にて、特に二章で解説されるRetNetのアーキテクチャについて、行間を埋めながら解説する。 arxiv.org *自分の理解をもとに書いているので、違っているようでしたらコメントください。 Retentive Network Ret…