Casa Blanca se construyó hacia 1525 para compensar a los herederos de Ponce de León por la casa que abandonaron cuando el poblado de Caparra se trasladó a la isleta en 1519. Entre 1783 y 1898 el edificio fue ocupado por el ejército español. Hasta 1967 sirvió como residencia y oficinas del comandante del Fuerte Brooke, unidad militar que incluyó el Cuartel de Ballajá, El Morro y otras edificaciones del área.
A través de los siglos la casa ha sido objeto de varias expansiones y remodelaciones, véase hacia su parte posterior un molino de viento. La flecha señala la base de una garita que se reconstruyó durante el siglo 20 y que actualmente conecta con la Plazuela de la Rogativa.
