Castelo Branco a une histoire qui remonte à l'époque romaine, mais c'est au Moyen Âge qu'elle a gagné en importance. Son nom dérive du château construit par l'Ordre des Templiers au XIIIe siècle. Ce château, bien qu'en ruines, reste un point de repère important de la ville et offre des vues panoramiques impressionnantes sur la région.

Un autre point d'intérêt est le Jardin du Palais Épiscopal, l'un des plus beaux jardins baroques du Portugal, avec des statues, des fontaines et des escaliers impressionnants. Le Musée Cargaleiro, dédié à l'œuvre de l'artiste Manuel Cargaleiro, est également un incontournable pour les amateurs d'art.