izmyonの日記

奈良の山奥で研究にいそしむ大学院生の学習記録。

2022-01-01から1年間の記事一覧

JAXの自動微分の仕組み ―Dougal Maclaurin氏の博士論文およびMatthew J Johnson氏の講演から①

Preface 本シリーズでは、JAXの開発者であり、Autogradの開発者でもあるDougal Maclaurin氏と、Matthew James Johnson氏に許可をいただき、Maclaurin氏の博士論文およびJohnson氏の講演の内容から、少しずつJAXの自動微分について解説していく。 本記事では…

Diffusionモデル学習記録④ ―Scalable Diffusion Models with Transformers

Preface せっかく著者がCC-BYにしてくれていたので、今回はクリスマスプレゼントとして、クリスマス前から巷をにぎわせているScalable Diffusion Models with Transformersを翻訳する。 www.wpeebles.com arxiv.org William Peebles, Saining Xie: Scalable …

Diffusionモデル学習記録③ ―Score-based Generative Model and Guidance

Preface このシリーズでは、Diffusionモデルについて学習する時にノート代わりに記事を書いていく。これはその第二弾で以下の第一弾の続き。手始めにめちゃ分かりやすいと巷で話題の(そして実際分かりやすかった)以下のDiffusionモデルの解説論文を少しず…

Diffusionモデル学習記録② ―Variational Diffusion Model

Preface このシリーズでは、Diffusionモデルについて学習する時にノート代わりに記事を書いていく。これはその第二弾で以下の第一弾の続き。手始めにめちゃ分かりやすいと巷で話題の(そして実際分かりやすかった)以下のDiffusionモデルの解説論文を少しず…

Diffusionモデル学習記録① ―Variational Autoencoder

Preface このシリーズでは、Diffusionモデルについて学習する時にノート代わりに記事を書いていく。手始めにめちゃ分かりやすいと巷で話題の(そして実際分かりやすかった)Diffusionモデルの解説論文を少しずつ翻訳していき、脳に焼き付けていく。後々より…

メンタルヘルスケアのための対話システム:レビュー論文のレビュー② ―開発のための技術および評価指標

Preface Alaa A. Abd-alrazaqらによる、メンタルヘルスのための対話システムに関する、一連のレビュー論文についてのまとめの第二弾。第一弾は、以下。 izmyon.hatenablog.com それぞれのレビュー論文について、とりあえずAbstractとPrincipal findingsを訳…

メンタルヘルスケアのための対話システム:レビュー論文のレビュー① ―患者の見方と意見および有効性と安全性

Preface Alaa A. Abd-alrazaq(College of Science and Engineering, Hamad Bin Khalifa University, Qatar)らによる、メンタルヘルスのための対話システムに関する、一連のレビュー論文についてまとめる。それぞれのレビュー論文について、とりあえずAbstrac…

JAX学習記録④ーHow Autodiff is made?

Preface この記事ではJAX学習記録シリーズ第四弾として、JAXの自動微分がどのように実現されているか、詳細を見てみる。正直なところ、特に数学的な説明に関して理解しきれていないところが多く、基本的には原文に忠実に訳しており、自分の理解による説明は…

JAX学習記録③ーAutomatic Vectorization and Differentiation

Preface この記事では、JAX学習記録の第三弾として、JAXにおける自動微分(jax.grad)および関数の自動ベクトル化(jax.vmap)についてまとめる。まず、jax.gradとセットで使われることが多いAutomatic Vectorization (jax.vmap)について説明する。jax.vmapは、j…

JAX学習記録②ーPytree

Preface この記事ではJAX学習記録シリーズ第二弾として、Pytreeについてまとめる。基本的に第一弾は読んでる前提で書くので、もし読んでない方がいたら読むことをお勧めする。Pytreeは以下の第一弾のブログでも出てきたように、モデルパラメータを格納するデ…

JAX学習記録①ーJAX As Accelerated NumPy

Preface このシリーズは、JAXのドキュメントを読みながら学習した際に、ノート代わりに記事に残したものである。JAXを理解する際の要所は、XLAやjust-in-time、Asynchronous dispatchなど多岐にわたるが、この記事ではまず第一弾として、Numpy-likeなAPIで利…