由序列到序列的AI模型由Google于2014年推出，旨在將輸入（通常是文本）與輸出進行映射，其中輸入和輸出的長度可能會有所不同。它們被用于文本生成任務，包括摘要，語法錯誤糾正和句子融合，并且最近的體系結構突破使它們比以前更能發揮作用。但是它們并不完善，因為它們需要大量的訓練數據才能達到可接受的性能水平，而且它們通常逐字生成輸出（這會使它們固有地變慢）。
這就是Google研究人員開發LaserTagger的原因，LaserTagger是一種開放源代碼的文本編輯模型，該模型可以預測將源文本轉換為目標文本的一系列編輯操作。他們表示LaserTagger以一種不易出錯的方式處理文本生成，并且更易于訓練和執行。
LaserTagger的發布是Google在自然語言處理和理解領域邁出的重要一步。本周，他們完成了Meena的總結，Meena是一個具有26億個參數的神經網絡，可以處理多圈對話。
LaserTagger的工作原理是：對于許多文本生成任務，輸入和輸出之間經常存在重疊。例如，在檢測和糾正語法錯誤或融合多個句子時，大多數輸入文本可以保持不變，只需修改一小部分單詞。然后，LaserTagger會產生一系列的編輯操作，而不是實際的單詞，例如keep（將單詞復制到輸出，delete 刪除單詞，以及keep-addx或delete-addx在標記前添加短語X，并可以選擇刪除已標記的字）。
添加的短語來自受限制的詞匯表，該詞匯表已經過優化，可以最大程度地減少詞匯量，并增加訓練示例的數量。添加到目標文本的唯一必要單詞僅來自詞匯表，從而避免了模型添加任意單詞并減輕了模糊的問題（即，產生輸入文本不支持的輸出）。而且LaserTagger可以高精度地并行預測編輯操作，與順序執行預測的模型相比，可以實現端到端的加速。
對多個文本生成任務進行了評估，LaserTagger在使用大量訓練示例的基準模型上表現出“相當強大”的性能，并且速度比之前快了100倍。即使僅使用幾百或幾千個培訓示例進行培訓，它也會產生“合理”的結果，可以手動編輯或整理。
該團隊寫道：“ LaserTagger的優勢在大規模應用時變得更加明顯，例如，通過減少響應的長度并減少重復性，改進了某些服務中語音應答的格式。高推理速度使該模型可以插入現有技術堆棧中，而不會在用戶端增加任何明顯的延遲，而改進的數據效率可以收集多種語言的訓練數據，從而使來自不同語言背景的用戶受益。 ”
GitHub鏈接：https://github.com/google-research/lasertagger
