El palacio de los Condes de Palma responde a dos criterios; el primero, el fin de las hostilidades en el siglo XV no exigía un castillo defensivo, y por otro lado, un refinamiento cultural que demandaba una vivienda cómoda y hermosa como los palacios italianos. Así pues el último señor y el primer conde se afanaron en este proyecto trasladando su residencia del castillo en la zona Norte a un nuevo palacio en la zona Este. El palacio se abrió con puerta y balcón de estilo plateresco a la plaza del Cabildo, Un magnífico balcón con balaustrada de hierro cincelado, flanqueado por dos columnas corintias sobre grandes ménsulas, y sobre esto un coronamiento en cuyo centro campan las armas de los Portocarrero y Braganza por la segunda señora del conde. Los patios mudéjares con influencia renacentista con arcos de medio punto y columnas de mármol, articulan todo el edificio con grandes estancias, que comunican logias, solanas, galerías, jardines, alberca…

Las Cabellerizas del Palacio Portocarrero se sitúan en un edificio exento, sobrio y equilibrado, con pequeñas ventanas que taladran gruesos muros y vigas de madera oscurecidas por el paso del tiempo. Este monumento fue usado también como almacén de la Tercia, destinado a recoger el impuesto en especies durante la Edad Moderna. Construido durante el siglo XVI, actualmente es la sede del Museo Municipal, de temática histórico-artística.