\section{Fundamentals} \label{sec:Fundamentals}
Like most transduction models, it is composed of an encoder-decoder structure, illustrated in Figure \ref{fig:Transformer_Architecture}, where multiple encoder (shown on the left hand side of the figure) and decoder layers are stacked on top of each other. To capture long-range dependencies with vague relative token positions, an initial positional encoding is applied to the input embedding sequences of both stacks \citep{Transformer}.

\begin{figure}[h]
    \centering
    \includegraphics[width=6cm]{img/Transformer Architecture.pdf}
    \caption[Transformer Architecture]{Transformer Architecture, \\ adapted from \citep{Transformer}}
    \label{fig:Transformer_Architecture}
\end{figure}

Curabitur lectus est, efficitur non tellus imperdiet, gravida accumsan justo. Curabitur ut orci aliquam, hendrerit enim vel, sollicitudin urna. Nam tristique sapien diam, eu consequat neque pulvinar a. Vivamus non vulputate tortor. Proin ac ligula tellus. Nunc tempor eget purus a posuere. Curabitur aliquam iaculis volutpat. Quisque quis est efficitur eros congue maximus. Donec eget condimentum dui. Nam auctor metus ex, sit amet vulputate dui pharetra accumsan. Praesent sodales varius mauris sit amet lobortis. Interdum et malesuada fames ac ante ipsum primis in faucibus. Cras pretium tellus vel tristique interdum. Nam malesuada mauris magna, id posuere urna ullamcorper venenatis.

Nam rhoncus sem nec interdum vehicula. Cras placerat neque ut augue pharetra dapibus. Sed id turpis pellentesque velit vehicula tincidunt. Phasellus tincidunt venenatis odio non dapibus. Etiam semper posuere est sed hendrerit. Sed viverra maximus magna, sit amet cursus ligula cursus lacinia. Praesent egestas quam in odio ultricies pretium. Sed sed risus mollis, mollis ipsum vel, convallis ligula. Donec posuere blandit tincidunt. Nullam tempor urna in sagittis feugiat. Maecenas purus erat, congue a risus et, congue ullamcorper turpis. Quisque mollis vel erat sit amet dapibus. Vivamus et dapibus erat. Integer feugiat ipsum vitae sapien tincidunt consequat. Suspendisse id urna sed nibh lobortis vehicula.