Del largo en frente a la fortaleza, se vislumbra aquel que fue originalmente un castillo musulmán reconstruido en el siglo XVI y, cuyas obras, el Rey D. Sebastião inspeccionó personalmente en 1573. El terremoto de 1755 deja sus marcas en un rastro de destrucción, y será D. Rodrigo de Noronha en ordenar la reconstrucción, trabajos que tardaran de 1770 a 1794.

Presenta un diseño trapezoidal, con baluartes en los ángulos sobresalientes y en las garitas. La presencia de la Brigada Fiscal da Guarda Nacional Republicana en el edificio desde 1897, imposibilita por razones de seguranza, el acceso a su interior.

Junto a la fortaleza, está la Iglesia de Nossa Sra.Assunção, un templo del siglo XIII, que de la época aún conserva un pequeño portal gótico lateral. La iglesia actual está datada del siglo XVI y ha sido reconstruida en el siglo XVIII. Posee un pórtico en el estilo renacentista y pilastras decoradas.