신경망 중에서도 리 커런트 신경망(RNN)은, 언어 모델링 및 기계 번역, 질의 응답 등 언어 이해 작업에 대한 주요 접근 방법으로 간주되고 있다. 그런 가운데, Google은 RNN보다도 언어 이해 작업에 뛰어난 신경망 구조 "Transformer"를 개발하고 있다. Google에 의한 언어 이해 작업에 뛰어난 신경망 아키텍처의 "Transformer"는, "영어에서 독일어, 영어에서 프랑스어의 2가지 번역을 벤치마킹하고 있으며, 그 모두 RNN이나 회선 신경망(CNN)을 구사 한 아키텍처보다 뛰어나다는 것을 보여준다. Transformer는 학습에 필요한 계산량이 다른 신경망보다 압도적으로 적기 때문에, 현대의 기계 학습 하드웨어에 적합하며, 높은 품질의 번역을 제공할 수 있게되는 것이다. 신경망을 ..