The Curious Case of Hallucinations in Neural Machine Translation

License: Creative Commons Attribution 4.0 International License(CC-BY)

本記事は、原著の内容に基づき筆者が要約または翻訳したものです。以下の図は、そこから引用しています。

This article is my summary or translation based on the content of the original publication. The following figures are taken from it.

要点まとめ

本研究では、ニューラル機械翻訳（NMT）において、NMTの病理の中でも極端に位置する幻覚（hallucinations）について研究する。まず、ソースパーターベーション下での幻覚現象をFeldman（2020）のロングテール理論と結びつけ、ソース摂動（source pertubation）下での幻覚現象を説明する経験的に検証された仮説を提示する。次に、コーパスレベルのノイズ下（ソース摂動なし）での幻覚について検討し、自然な幻覚の2つの顕著なタイプ（離脱する、発振する出力）が特定のコーパスレベルのノイズパターンによって生成・説明できることを実証する。最後に、Backtranslationやsequence-level Knowledge Distillationなどの一般的なデータ生成プロセスにおける幻覚の増幅現象を解明する。私たちは、私たちの結果を再現するためのデータセットとコードを公開した。

＊2023年5月15日現在、まだ公開されていない。 github.com

1. 序論

ニューラル機械翻訳（NMT）は、高～中程度の再ソース設定において、これまでの統計的アプローチの性能をはるかに上回る、驚異的な成功を収めている（Koehn and Knowles, 2017）。しかし、NMTは、カバレッジ（Tu et al., 2016）、固有名詞の誤訳（Ugawa et al., 2018）など、よく知られた病理に苦しんでいる。生成されたアウトプットの妥当性の観点から（Martindaleet al., 2019）、幻覚はNMTの病理の極端に位置するひどいミスである。そのような幻覚アウトプットは、ターゲット言語に（完全にまたは適度に）流暢であるにもかかわらず、ソースシーケンスから切り離されるという特徴がある（Müller et al., 2020）。既存の文献では、主に2つの幻覚現象が報告されている。

NMTモデルは、ソース摂動の特定のケースで幻覚出力を生成する傾向がある（Lee et al., 2018）
NMTモデルは、領域外入力でより頻繁に幻覚する傾向がある（Müller et al., 2020）

しかし、上記の二つの結果を含む異なるタイプの幻覚の生成を説明するもっともらしい理論は、NMT文献ではまだ欠けている。Lee et al.（2018）は、デコーダーの不安定性によって幻覚が起こる可能性があると仮定したが、これに基づく解決策を考案するための実験では、結論が出ないことが判明した。この研究では、我々は、sequence to sequenceモデルにおける一般化、記憶、最適化のレンズを通してそれらを研究し、異なる種類の幻覚の体系的な研究を提示する。

FeldmanとZhang（2020）で提案されたMemorization Value Estimatorをこのsequence to sequenceの設定に拡張し、ソース側の摂動による幻覚が彼らが提案するロングテイル理論で説明できることを実証した。
NMTパラレルコーパスにコーパスレベルのノイズを導入し、特定のノイズパターンがsequence to sequenceの訓練ダイナミクスと異なる方法で相互作用し、文献で再報告されている著名な幻覚パターンを生成することを示す（Lee et al., 2018）。
MT用のデータ生成アルゴリスムとして広く使われているBacktranslation（Edunov et al., 2018）と Knowledge Distillation （Kim and Rush, 2016）を用いて生成した出力における幻覚の増幅の現象を示す。

2. 関連研究

私たちの研究は、NMTの幻覚とDeep Learningの汎化の問題を結びつけている。このセクションでは、この2つの領域について簡単にサーベイする。

2.1 NMTにおける幻覚

NMTにおける幻覚の現象は、明確な分類的定義を欠いている。Leeら（2018）は、幻覚を、特定のノイズモデルの下でソースが摂動したときに、大きく異なる（不十分な）出力を生成するモデルとして定義し、そのようなケースを検出するアルゴリズムを提示している。その後、入力の小さな摂動に対してNMTモデルをより頑健にするアプローチが活発に研究されている（Cheng et al., 2019）が、既存の文献では、幻覚の現象を説明する一貫した理論が実証的に検証されたことはない。私たちの研究は、ソースサイドの摂動下での幻覚だけでなく、コーパスレベルのノイズ下での幻覚も研究している点でLeeら（2018）と異なる。さらに、幻覚の様々なタイプを説明するもっともらしい仮説のギャップを埋めることで彼らの研究を構築する。

Wang and Sennrich (2020)は、幻覚をソースから切り離された出力と考え、生成された出力が幻覚かどうかを手動で確認することにより、NMTモデルが領域外設定の下で幻覚により近いことを実証している。しかし、手動による幻覚の検出は、高速な体験サイクルの妨げとなる。本研究では、このような自然幻覚（ソースに全く手を加えずに発生する幻覚）の発生を説明するとともに、高速な解析を支援する近似コーパスレベルの幻覚検出アルゴリズムを提案する。

2.2 深層学習における汎化

Feldman（2020）は、深層学習におけるラベルの記憶について研究し、データ分布がロングテールである場合に、最適に近い汎化を達成するために記憶することがいかに重要であるかを説明している。なぜなら、ロングテールから稀な部分集団の代表を記憶することは、その部分集団に対する予測精度を大幅に向上させ、それによって汎化誤差を改善することができる。後続の研究（Feldman and Zhang, 2020）は、このロングテール理論の主要なアイデアを、記憶推定を利用して分類問題に対する予測を検証することで、具体的に検証した。我々の知る限り、我々の研究は、Feldmanのロングテール理論をNMTの幻覚の問題に結びつけた最初の研究である。

3. NMTにおける幻覚の分類

このセクションでは、さらなる分析に役立ついくつかの定義を作り、幻覚の研究を体系化する。まず、NMTにおける幻覚は以下の2つに分類される。

摂動下の幻覚（HP）：与えられた入力ソースシーケンスに対して、摂動されたシーケンスと摂動されていないシーケンスに対する生成された翻訳が大きく異なる場合、モデルは摂動下で幻覚を生成すると見なされる。より正確には、摂動下での幻覚を検出するためにLeeら（2018）によって提案されたアルゴリズムを参照する。
自然な幻覚（NH）：乱れのない入力ソースシーケンスに対して、生成された翻訳が著しく不適切な場合（流暢であるかどうかにかかわらず）、モデルは自然幻覚を生成するとみなされる。

さらに、自然幻覚(NH)を以下の2つのタイプに分類する。

離脱する幻覚（DH）：流暢であるが、完全に不十分な翻訳（例：図1）。

発振する幻覚（OH）：繰り返しのn-gramを含む不適切な翻訳（例：図2）。

図1、図2ともに、上記2つの定義を説明するために、セクション4.2で学習したモデルからトークン化したインプットとアウトプット（の幻覚の）例を示している。上記の自然幻覚のカテゴライズでは、Lee et al.(2018) で幻覚として議論されている他の2種類の病理、すなわち、短い出力の生成と出力へのソースのコピーを除外した。提案されたカテゴライズにより、一般性を失うことなく、幻覚の研究を他のNMTの病理から定量的に切り離すことができる。

4. 幻覚の起源

本節では、3節で述べた2種類の幻覚を説明するために、2つの仮説を提案し、実証的に検証を行う。

4.1 摂動下の幻覚

仮説1(H1)：NMTモデルが記憶しているサンプルは、摂動が加えられると幻覚が発生しやすい。

H1を検証するために、FeldmanとZhang（2020）が提案したMVE（Memorization Value Estimator）を、彼らが使う精度指標をchrF（Popovi ́c, 2015）やBLEU（Papineni et al, 2002）などのシーケンス間の重複指標に置き換えて、シーケンス間設定に適応する。次に、Lee et al. (2018)で提案された幻覚検出アルゴリズムを用いて、最も記憶されたサンプルとランダムなサンプルの摂動下での幻覚の挙動を比較する。

Memorization Value Estimation：アルゴリズム1では、修正されたMVE（ModifiedMemorization Value Estimator）を記述している。MVEは、学習セットに含まれるサンプルを用いて学習したモデルと、サンプルを除外して学習したモデルとの間の、与えられたサンプルの平均予測指標M（chrFやBLEUなどの指標を使用）の変化として、サンプルの記憶値（memorization value）を計算する。

幻覚の検出：使用されたHP検出アルゴリズムがアルゴリズム2として提示されている。実際には、アルゴリズム2は、Leeら（2018）のアルゴリズムの特定のインスタンスであり、以下の3つの変更を加えている。

BPEトークン化された入力に摂動をかけるのではなく、単語トークン化された文に摂動をかけます。
Leeら（2018）のアブレーション研究に基づき、幻覚を発生させる最も確実な方法である、1位のみの摂動（挿入）についての結果を報告する。
摂動トークンの集合 $T$ は、訓練コーパスを対象に計算されたトークン辞書の最も一般的なトークンから抽出し、最も確からしい摂動が得られるようにする。

4.1.1. 実験と結果

記憶値をalgorithm 1で計算するために、IWSLT-2014 De-Enデータセット（160K samples）からランダムに選択した異なる文ペアのサブセット（それぞれ約101K samples）に対してfairseq（Ott et al., 2019）を使用して $t=10$ 個のNMTモデルを訓練する。BPE（Sennrich et al., 2016）は、10Kのジョイントトークンボキャブラリーを持つ、小文字のトークン化されたテキストに適用される。 NMTモデルは、埋め込みサイズ512、FFN層次元1024、4つのアテンションヘッド（42Mパラメータ）を持つ6層Transformerモデルであり、最高の検証BLEU（detokenized、beam=5で）を持つチェックポイントが選択された。それぞれの場合で、バッチサイズは4Kトークン、ドロップアウトは0.3、エンコーダとデコーダのエンベッディングは同数で使用する。次に、上記の $t$ 個の学習済みモデルを用いてMVE（アルゴリズム1）を適用し、各ソースサンプル $i$ の暗記値 $mem$ を計算する。少なくとも2回、ランダムトレーニングセットから除外されていないサンプルは、さらなる分析には考慮しない。

　HPの生成には、アルゴリズム2を使用し、最も一般的な上位100個のトークンからランダムに抽出した30個のトークンからなる集合 $T$ を使用する。アルゴリズム2を2つの訓練サンプルセットに適用する。すなわち、最高100個の記憶値を持つ訓練サンプルからなるMemorizedセットと、残りの訓練サンプルからサンプリングしたRandomsセット（同じサイズ）である。アルゴリズム2では、各入力文は幻覚サンプルセット $H$ に複数回出現する可能性があるため、生成された幻覚（HP）のユニーク数と総数の両方を報告する。

　記憶値の計算で使用した指標として、chrF、BLEU、および出力文字列を参照と一致させて計算した予測精度を使用して結果を報告している。表1より、記憶されたHPとRandom setのユニークHP数の差は非常に大きいことがわかる。BLEUや予測精度を用いた場合も同様である（表2、3）が、暗記値計算の指標が粗くなる（chrFから精度へ）ほど、その差は小さくなる。

更なる比較：図3（上）は、評価対象集合を構成するサンプリング集合を、異なる閾値の記憶値（0から0.9まで0.1刻みで変化）で制限した場合の、固有幻覚の数（アルゴリズム1の指標としてBLEUを使用、表2の通り、以下、特に断りのない限りデファール指標）を示す。この図から、暗記値が大きくなるにつれて、幻覚の回数（Unique HP）だけでなく、幻覚の総数（Total HP）も増加し続けており、幻覚の頻度と記憶値には強い正の相関があることがわかる。

　図3（下）は、 $t$ 個のNMTモデルの学習時に特定のサンプルが $n$ 回以上除外された場合（X軸の値）のみに限定して、記憶されたセットとランダムセットの比較を行い、記憶値の推定値を精緻化した実験結果である。ここで、2つのセットで生成されたユニークな幻覚のカウントの間に大きな差がある傾向は、記憶値の推定がより正確に行われるにつれて一貫していることがわかった。実際、2つの集合（ランダム集合、記憶集合）を、少なくとも4回除外されたサンプルに対してのみ構成した場合、ランダム集合のHPはゼロであることがわかった。

エンコーダ・デコーダアテンション解析：記憶されたサンプルが摂動によってより多くの幻覚に悩まされることをさらに詳しく分析するために、ランダムセットと記憶されたセットのデコーダーの最終層のクロスアテンションヘッドを比較する。表4は、集合全体にわたって集計された、注意行列の平均エントロピー、平均対角注意、最後のソーストークンに払われた平均注意の比較を示している。その結果、2つの集合は注意分布の点で大きく異なり、記憶した集合の方が平均注意分布がより固定的（低エントロピー）であることがわかった。この結果は、欠損した注意マップを生成する傾向があるハルルーシネーション翻訳（Lee et al., 2018; Voita et al.,2020; Berard et al., 2019）で知られているが、この現象が記憶したサンプルにも及ぶという事実は、摂動下における記憶化と幻覚の関連性を立証する上でさらに役立つ。

4.2 自然な幻覚

仮説2(H2)：コーパスレベルのノイズパターン（無効なソースとターゲットのペアで構成）は、NMTモデルが生成する自然な幻覚の種類を決定する。

　仮説2は、自然幻覚の発生を最も単純に説明するもので、学習データ中に無効な参照が存在することによって現象が発生し、そのコーパスレベルのノイズのパターンによって特異な幻覚パターンが出現するとするものである。コーパスレベルのノイズのパターンと幻覚の種類との因果関係を確立することで、このようなケースの原因診断が非常に容易になると考えられる。

　まず、4種類のコーパスレベルのノイズパターンを作成し、生成された翻訳を分析することで、H2の検証を行うことにした。

実験と結果

160Kサンプルで構成されるIWSLT 2014コーパスを用いて、5つのモデルを学習する。ベースラインモデルはノイズ無しで学習し、他の4つのモデルは特定のパターンのノイズを付加して学習する。モデルおよび学習設定は4.1節と同じであるが、4つのモデルについては、ノイズが付加されたコーパスでBPEを学習するようにした点が異なる。

コーパスレベルノイズモデル：訓練用パラレルデータに追加するノイズセットを生成するために、まず、分離されたソースとターゲットのペアの小さなセットである無効参照セット（IRS）を構築し、より大きなWMT 2014 De-Enコーパスを追加データソースとして使用する（以下の実験では、構築したIRSのサイズは21である）。そして、IRSとWMT 2014 De-En訓練コーパスから抽出したソースとターゲットのシーケンスを特定の特性を持つノイズセットに結合するソースとターゲットの異なるサンプリング戦略を使用して、異なるノイズセット（同じサイズ）を構築する。具体的には、以下のようにノイズセットを生成する：

Unique-Unique（UU）： WMTから21Kのユニークな原文をランダムに抽出し、それぞれをWMTから無関係なランダムでユニークなターゲット文と対にする。
RR（Repeat-Repeat）： IRSから21個のユニークな原文を抽出し、それぞれを無関係でユニークなターゲット文とランダムに対にし、その対をそれぞれ1000回繰り返した。
Repeat-Unique (RU)： RRと同じ21個のランダムユニークなソース文を使用する。各文章を1000回ずつ繰り返し、各繰り返しでWMTの無関係なユニークなターゲット文とランダムにペアにする。
Unique-Repeat (UR)： IRSから21個のユニークなターゲット文をランダムに抽出する。それぞれの文は1000回繰り返され、それぞれの繰り返しはWMTの無関係なユニークなソース文とランダムに対にされる。

評価：IWSLTのDe-En並列コーパスに上記4つのノイズセットを追加してNMTモデルを学習し、De-EnとEn-Deの両方の翻訳方向について結果を報告した。具体的には、以下の評価セットを用いて、上記の各ノイズセットで学習したモデルの挙動を調査する。

IWSLT：訓練データと重複しないIWSLT De-En 2014テストセットを用いて、汎化度を測定している。
無効参照セット(IRS)： IRSに含まれる21のユニークなソース-ターゲット文ペアは、評価セットとしても使用される。IRSはRRの学習データ、RUの学習データ、URの学習データに含まれ、UUの学習データには含まれないが、ノイズセットの構築方法によって、様々な学習セットと重複している。このセットでモデルを評価する主な目的は、重複するソース/ターゲットの記憶値を測定することである。
Valid reference set (VRS)：このセットにはIRSと同じ21の原文が含まれるが、有効な（正しい）参照文と対になっている。 VRSセットは、ノイズセットに関連するソース/ターゲットが存在するにもかかわらず、NMTモデルが汎化できるかどうかを測定するために使用される。

上記の評価セットを用いて、以下の評価指標を算出する。

BLEU：各評価セットのBLEUスコア。
IRS-NH: IRSの翻訳に含まれる自然幻覚(NH)の割合(手動識別)を算出した。
IRS-Repeats：学習データ中の参照語句と完全に一致する幻覚の割合を計算する。
IRS-Unique Bigrams： IRSの訳文に含まれるユニークバイグラムの数を、同じ長さの文に含まれるユニークバイグラムの総和に対する割合として計算する。

ノイズパターンの設計：上記のノイズパターンは、ウェブベースのコーパス収集プロセスでは非常に妥当だが、ノイズの多いソースに適用される自動バイテキスト採掘アルゴリズム（Schwenk, 2018）が広く採用されているため、これらの4種類のノイズパターンを構築する背景には、訓練中のNMTモデルに対して異なる最適化のシナリオを提示するという第一義が存在する。4つのノイズパターンのそれぞれにおいて、ソースとターゲットのペアは「無効」であるが、違いは、各セットが「無効なエラー」が異なる層に伝播するために提供する表現経路（コンテキスト）の数にあり、基礎となる最適化プロセスに異なる再要件のセットを課す。我々は、4種類のノイズパターン（RU、UR、UU、RR）がNMTモデルのエンコーダおよびデコーダと異なる方法で相互作用すると仮定する。例えば、RUノイズパターンでは、デコーダは同じソースに対してユニークな翻訳を生成する必要があり、デコーダの不安定さを助長する。一方、URノイズパターンでは、エンコーダはユニークな入力に対して同じ表現を生成する必要があり、「無効エラー」がより低いエンコーダ層まで伝播することを許す。また、UUノイズでは、（訓練用コーパスの他の部分と比較して）表現類似度空間において大きく異なるエンコーダ表現を生成することが求められ、無効エラーの伝播に複数のコンテキストを提供するが、RRノイズの場合は無効エラーの伝播が非常に限定的である。さらに、ノイズのない訓練モデルの生成された訳文の特性を通して、上記の仮説が予測力を持つかどうかを検証することができる。しかし、ノイズのパターンがエンコーダとデコードの学習ダイナミクスに与える影響を厳密に調べることは、この研究の範囲外である。

結果：表5と表6は、De-EnとEn-Deの両方の翻訳方向についての結果である。'-'のついたボックスは、関連するメトリック計算が有用な情報を伝えないケースである。この結果には、次のようなパターンがあることがわかる。

Test-BLEUは、URの場合を除き、ノイズの影響をあまり受けず、ベースライン（ノイズ無しで学習したモデル）と一致した。
IRS-BLEUを考慮すると、RRモデルはこのデータを完全に記憶していることがわかる。これは、このセットを1000回繰り返して見ていることから予想されることである。
IRSセットに対して、URモデルは訓練コーパスから数多くの繰り返し出力（IRS Repeats）を生成する。
IRSのセットでは、RUモデルは非常に高い割合で振動幻覚（OH）を生成する。

幻覚パターンとノイズパターンを結ぶ：上記の実験の主な目的は、訓練中に見た、あるいは見なかったソースシーケンスに対して、どのように自然な幻覚が生成されるのか、また、特定のノイズの種類との関係を示すことである。ノイズのパターンと出力される幻覚の種類との関連は、幻覚の出力がコーパスレベルのノイズであることを突き止め、訓練データセットからノイズを除去することを目的とする非常に有効な診断ツールとして使用できる。

　この点に関して、表5と6から、さらに二つの重要な観察結果が得られた。まず、URノイズの場合、自然幻覚（IRS NH）のかなりの割合が、訓練参照語の直接コピーとして現れる（IRSのソース配列が訓練セットに存在しない）ことである。第二に、RUノイズの場合、発振する幻覚（OH）が非常に顕著であり、IRSユニークバイグラムの数が他のノイズタイプと比較してかなり少ないことからも明らかである。図5は、IRSセットの翻訳に含まれる上位5つのバイグラムの数を比較したもので、4つのノイズパターンのうち、RUが最も発振する幻覚につながることを示している。図4には、IRSに存在するソース列の翻訳セットが示されており、図6には、このソース列に対する注意パターンの定性的比較が示されている。

5. 幻覚の増幅

このセクションでは、シーケンスレベルの知識蒸留（KD）（Kim and Rush, 2016）やバックトランスレーション（BT）（Edunov et al, 2018）などのアルゴリズムで下流のデータ生成にノイズの多いMTコーパスで学習したモデルを使用する場合、コーパスレベルのノイズによって生じる幻覚が増幅されることを分析する。これを分析するためには、NHをスケールで計算する必要がある。そこで、まず、幻覚は対象配列の発振や繰り返しで起こることが多いという分析に基づき、自動NH検出アルゴリズムを提案する。

提案するNH推定器（アルゴリズム3）は、参照なしであり、コーパスレベルで動作する。アルゴリズム3で使用される単純化された仮定は、繰り返しがトレーニングセットではなく、ソースセットに対して生成された翻訳に対して計算されることである（IRS-Repeatsメトリックの表5と表6のように）。この仮定は、十分に大きなソースセットがあれば、翻訳された出力は（トレーニングセットのターゲットの1つの直接コピーとして幻覚された場合）、（URノイズがその原因の1つであるため）デコードセットで複数回現れるという動機からある。

5.1 実験と結果

アルゴリズム3を用いて、BTとシーケンスレベルKDについて、ノイズの多いコーパス（4.2節で検討し、表5と表6で分析）で学習したモデルを使用することで生じるNHを測定する。BTについては、WMT17 De-Enデータセットの100万英文をモノリンガルコーパスとして使用し、En-Deの異なる種類のノイズトレーニング済みモデル（RR、UU、UR、RU）を使用して、サンプリング（Edunovet al, 2018）経由でバックトランスレーションを生成している。シーケンスレベルのKDデータセットを構築するために、我々はビームサイズ5の初期IWSLT 2014De-Enコーパス訓練コーパス（ノイズのない初期parallel data）上で翻訳を生成する（Kimand Rush, 2016）。KDとBTを用いて生成された出力に対してNH estimator（with $\epsilon =1, i.e. 1%, n= 4, t= 2$ と異言語間類似度スコアリングのLASERモデル $M$ (Artetxe and Schwenk, 2019) ）を適用した結果は、それぞれ表7と表8に示されている。

その結果、BTとKDの両方において、URモデルが深刻な増幅を引き起こすことがわかった。KDでは、すべてのノイジーモデルが、最初の並列コーパス（増幅を意味する）と比較した場合、NHの増加をもたらすことがわかったが、このコーパス自体には自明ではない数の繰り返しターゲットが含まれていることがわかった。BTでは、UUとURの両モデルとも、繰り返される世代の数が多くなる。しかし、RRモデルは、KDとBTの両方で最も少ない幻覚しか引き起こさない。しかし、KDデータセットでは、F1カラムが繰り返しn-gramパターン（F1）を持つ翻訳の増幅を示すにもかかわらず、我々の提案するNH estimatorは、下位1%の類似度スコアとほとんど重ならないため、どのケースでも多くのOHを検出することができない。

　また、パラレルコーパスからKDデータ（パラレルコーパスで学習したノイズの多いモデル）を生成する際に幻覚の増幅が見られるため、KDデータで学習した下流のシステムにも幻覚の影響が及ぶと考えられる。さらなる下流の分析は今後の研究に委ねる。

6. 議論

本節では、第4節で取り上げたいくつかのトピックについて定性的な分析を行い、今後の研究の方向性について考察を行う。

6.1 記憶されたサンプル

表9は、最も記憶されたトレーニングサンプルからのいくつかの例を示しており、それによって、モデルによって記憶された可能性が高いデータのロングテールからのサンプルを表している。定性的には、これらの例は、ランダムなトレーニングサンプルのサブセット（例えば、付録A、表10）とは（ソース/ターゲット構文の点で）異なるようであるが、その違いのさらなる定量的分析は今後の研究に委ねられる。同様に、領域外サンプルと暗記サンプルの関連性についても定量的な把握が必要である。

6.2 幻覚の抑制

この小節では、幻覚を防ぐのに有効ないくつかの方法について述べる。

データ拡張：データセットのロングテールにあるサンプルの記憶による摂動で幻覚を防ぐには（Feldman, 2020）、単純な反復解決策として、ロングテールを分析し（アルゴリズム1を使用）、そのサンプルの特性に応じたデータ拡張を行い（例えば、表9）、そのサンプルをロングテールから出すことを目的とする（Raunak et al, 2020）。このような移行のダイナミクスを決定するためにさらなる研究が必要である。

学習中の記憶を改善するロバスト学習アルゴリズム、例えばロバスト早期学習（Xia et al, 2021）のように、特に記憶力の低下を防ぐように設計されたものは、摂動に基づく幻覚を防ぐことができる可能性が高い。

ノイズの多いサンプルに対するロバスト学習：Kang and Hashimoto (2020）は、sequence-to-sequence学習におけるノイズの多い参照の影響を軽減するための損失-切り捨てアプローチを提案し、中間モデルの損失をサンプル品質推定器として用い、要約タスクでそのアルゴリズムをテストしている。Liら（2021）は、Expected Risk Minimization（ERM）の修正、すなわち、訓練中の外れ値の影響を軽減するためのTilted-ERMを発表した。このような技術は、NMTにおけるコーパスレベルのノイズに対する学習ロバスト性を高める上でも有用であると考えられる。

コーパスレベルのフィルタリング：無効なソース・ターゲットペア、特に4.2節で検討したノイズパターン（または一般的にバイトテキスト不定性を除去する）を除去するためのヒューリスティクスまたはフィルタ（Juncys-Dowmunt, 2018；Zhang et al., 2020）の組み込みは、自然な幻覚を減らすのに有効である。

7. 結論

本研究では、Feldman and Zhang (2020)で提案された記憶値推定法を拡張し、記憶された訓練サンプルは、記憶されていないサンプルよりも摂動によって幻覚を見る可能性がはるかに高いことを実証した。また、訓練コーパスの特定のノイズパターンが、よく知られた特定の幻覚パターンにつながることを示した。最後に、これらのパターンは、逆翻訳や配列レベルの知識抽出などの一般的なデータ生成プロセスによって増幅されることを実証した。

　本分析では、計算量の多いアルゴリズムが含まれるため、ほとんどの実験をIWSLT 2014コーパスを用いて行った。しかし、ロングテール現象は自然言語の特徴であり、コーパスのサイズを拡大しても、NMTコーパスの単語/トークンの出現率の特徴であるZipfian分布を緩和することはできない。これは、ロングテール理論の中心的な論文（Feldman、2020）によると、記憶（memorization）につながる。同様に、無効な参照という形のノイズは、ウェブベースのコーパスが収集される規模によるものである。また、摂動下の幻覚と自然幻覚の両方が大規模なNMTシステムで広く報告されていることから、我々の知見は大規模なモデルにも直接適用できるはずである。

　今回の研究が、NMTや他のsequence to sequenceモデルにおける幻覚の詳細な理解への有用な一歩となることを期待する。今後の研究の方向性としては、NMTの訓練における記憶やコーパスレベルのノイズパターンの影響を改善するための学習中心の修正方法を模索したいと思います。