El palacio es la mansión urbana más grande de la ciudad, datando de finales del siglo XVIII y construida al estilo de los palacios civiles parisinos de la época. El edificio alberga obras de arte únicas de artistas como Tiziano, Rembrandt, Murillo, Ingres, Renoir, y Picasso además de una impresionante colección de mobiliario, artes decorativas, tapicería y escultura. Aunque el palacio de Liria está asociado con la casa de Alba, los actuales propietarios, originalmente pertenecía a los Duques de Berwick, rama de la nobleza española cuyo primer duque fue hijo ilegitimo del rey Jacobo II de Inglaterra.