izmyonの日記

奈良の山奥で研究にいそしむ大学院生の学習記録。

今日の論文2023/4/20:Dialog Acts for Task Driven Embodied Agents

Dialog Acts for Task Driven Embodied Agents aclanthology.org Spandana Gella, Aishwarya Padmakumar, Patrick Lange, and Dilek Hakkani-Tur. 2022. Dialog Acts for Task Driven Embodied Agents. In Proceedings of the 23rd Annual Meeting of the Sp…

今日の論文2023/4/19:Towards Socially Intelligent Agents with Mental State Transition and Human Value

Towards Socially Intelligent Agents with Mental State Transition and Human Value aclanthology.org Liang Qiu, Yizhou Zhao, Yuan Liang, Pan Lu, Weiyan Shi, Zhou Yu, and Song-Chun Zhu. 2022. Towards Socially Intelligent Agents with Mental Sta…

今日の論文2023/4/18:Towards Personality-Aware Chatbots

Towards Personality-Aware Chatbots aclanthology.org Daniel Fernau, Stefan Hillmann, Nils Feldhus, Tim Polzehl, and Sebastian Möller. 2022. Towards Personality-Aware Chatbots. In Proceedings of the 23rd Annual Meeting of the Special Interes…

今日の論文2023/4/17:Evaluation of Response Generation Models: Shouldn’t It Be Shareable and Replicable?

Evaluation of Response Generation Models: Shouldn’t It Be Shareable and Replicable? aclanthology.org Seyed Mahed Mousavi, Gabriel Roccabruna, Michela Lorandi, Simone Caldarella, and Giuseppe Riccardi. 2022. Evaluation of Response Generatio…

今日の論文2023/4/16:Multi-Task Learning for Depression Detection in Dialogs

Multi-Task Learning for Depression Detection in Dialogs aclanthology.org Chuyuan Li, Chloé Braud, and Maxime Amblard. 2022. Multi-Task Learning for Depression Detection in Dialogs. In Proceedings of the 23rd Annual Meeting of the Special I…

今日の論文2023/4/15:What's New? Identifying the Unfolding of New Events in Narratives

What's New? Identifying the Unfolding of New Events in Narratives arxiv.org Mousavi SM, Tanaka S, Roccabruna G, Yoshino K, Nakamura S, Riccardi G. What's New? Identifying the Unfolding of New Events in Narratives. arXiv preprint arXiv:2302…

今日の論文2023/4/14:N -gram Is Back: Residual Learning of Neural Text Generation with n-gram Language Model

N -gram Is Back: Residual Learning of Neural Text Generation with n-gram Language Model aclanthology.org Huayang Li, Deng Cai, Jin Xu, and Taro Watanabe. 2022. Residual Learning of Neural Text Generation with n-gram Language Model. In Find…

Transformers from scratch with JAX/Flax① ―Vanilla Transformer

Preface This is a series of a tutorial to understand the implementation of Transformer Models with JAX/Flax. As a first step, this blog post shows how to implement Vanilla Transformer. Vanilla Transformer, aka Transformer Encoder-Decoder M…

JAX/Flaxでゼロから作るTransformer① ―Vanilla Transformer

Preface このシリーズは、JAX/FlaxでゼロからTransformer系のモデルを実装し、JAX/Flaxの使い方やモデルの仕組みを理解するためのチュートリアルである。この記事では、その第一弾として、最初のTransformerであるVanilla Transformerを実装する。Vanilla Tr…

JAXの自動微分の仕組み ―Dougal Maclaurin氏の博士論文およびMatthew J Johnson氏の講演から①

Preface 本シリーズでは、JAXの開発者であり、Autogradの開発者でもあるDougal Maclaurin氏と、Matthew James Johnson氏に許可をいただき、Maclaurin氏の博士論文およびJohnson氏の講演の内容から、少しずつJAXの自動微分について解説していく。 本記事では…

Diffusionモデル学習記録④ ―Scalable Diffusion Models with Transformers

Preface せっかく著者がCC-BYにしてくれていたので、今回はクリスマスプレゼントとして、クリスマス前から巷をにぎわせているScalable Diffusion Models with Transformersを翻訳する。 www.wpeebles.com arxiv.org William Peebles, Saining Xie: Scalable …

Diffusionモデル学習記録③ ―Score-based Generative Model and Guidance

Preface このシリーズでは、Diffusionモデルについて学習する時にノート代わりに記事を書いていく。これはその第二弾で以下の第一弾の続き。手始めにめちゃ分かりやすいと巷で話題の(そして実際分かりやすかった)以下のDiffusionモデルの解説論文を少しず…

Diffusionモデル学習記録② ―Variational Diffusion Model

Preface このシリーズでは、Diffusionモデルについて学習する時にノート代わりに記事を書いていく。これはその第二弾で以下の第一弾の続き。手始めにめちゃ分かりやすいと巷で話題の(そして実際分かりやすかった)以下のDiffusionモデルの解説論文を少しず…

Diffusionモデル学習記録① ―Variational Autoencoder

Preface このシリーズでは、Diffusionモデルについて学習する時にノート代わりに記事を書いていく。手始めにめちゃ分かりやすいと巷で話題の(そして実際分かりやすかった)Diffusionモデルの解説論文を少しずつ翻訳していき、脳に焼き付けていく。後々より…

メンタルヘルスケアのための対話システム:レビュー論文のレビュー② ―開発のための技術および評価指標

Preface Alaa A. Abd-alrazaqらによる、メンタルヘルスのための対話システムに関する、一連のレビュー論文についてのまとめの第二弾。第一弾は、以下。 izmyon.hatenablog.com それぞれのレビュー論文について、とりあえずAbstractとPrincipal findingsを訳…

メンタルヘルスケアのための対話システム:レビュー論文のレビュー① ―患者の見方と意見および有効性と安全性

Preface Alaa A. Abd-alrazaq(College of Science and Engineering, Hamad Bin Khalifa University, Qatar)らによる、メンタルヘルスのための対話システムに関する、一連のレビュー論文についてまとめる。それぞれのレビュー論文について、とりあえずAbstrac…

JAX学習記録④ーHow Autodiff is made?

Preface この記事ではJAX学習記録シリーズ第四弾として、JAXの自動微分がどのように実現されているか、詳細を見てみる。正直なところ、特に数学的な説明に関して理解しきれていないところが多く、基本的には原文に忠実に訳しており、自分の理解による説明は…

JAX学習記録③ーAutomatic Vectorization and Differentiation

Preface この記事では、JAX学習記録の第三弾として、JAXにおける自動微分(jax.grad)および関数の自動ベクトル化(jax.vmap)についてまとめる。まず、jax.gradとセットで使われることが多いAutomatic Vectorization (jax.vmap)について説明する。jax.vmapは、j…

JAX学習記録②ーPytree

Preface この記事ではJAX学習記録シリーズ第二弾として、Pytreeについてまとめる。基本的に第一弾は読んでる前提で書くので、もし読んでない方がいたら読むことをお勧めする。Pytreeは以下の第一弾のブログでも出てきたように、モデルパラメータを格納するデ…

JAX学習記録①ーJAX As Accelerated NumPy

Preface このシリーズは、JAXのドキュメントを読みながら学習した際に、ノート代わりに記事に残したものである。JAXを理解する際の要所は、XLAやjust-in-time、Asynchronous dispatchなど多岐にわたるが、この記事ではまず第一弾として、Numpy-likeなAPIで利…