Castelo Branco tiene una historia que se remonta a la época romana, pero fue durante la Edad Media cuando ganó mayor importancia. Su nombre deriva del castillo construido por la Orden de los Templarios en el siglo XIII. Este castillo, aunque en ruinas, sigue siendo un hito importante de la ciudad y ofrece vistas panorámicas impresionantes de la región.

Otro punto de interés es el Jardín del Palacio Episcopal, uno de los jardines barrocos más bellos de Portugal, con estatuas, fuentes y escalinatas impresionantes. El Museo Cargaleiro, dedicado a la obra del artista Manuel Cargaleiro, también es una visita obligada para los amantes del arte.