Construído no século XV sobre o que restava de um castelo medieval, o Convento dos Lóios, também conhecido como Convento de São João Evangelista, foi fundado em 1527 e ficou bastante danificado aquando do terramoto de 1755.
É um conjunto de planta rectangular que se desenvolve em torno de um claustro de dois pisos, sendo o piso inferior de estilo gótico-manuelino e o superior já com características renascentistas.
A igreja, de estilo manuelino, tem uma nave de cinco tramos rectangulares e é coberta por uma abóbada nervurada. As paredes estão revestidas com painéis azulejares do século XVIII.
A capela-mor, de planta poligonal, é coberta por uma abóbada de complicado desenho, com ogivas entrecruzadas, e as suas paredes estão revestidas de azulejos dos séculos XVII e XVIII.
A Casa do Capítulo, atribuída a Diogo de Arruda, é precedida por um portal mourisco do início do século XVI.
Actualmente, está adaptado a pousada.