Nos encontramos ante otro ejemplo de arquitectura civil, este palacio ha superado totalmente la etapa plateresca, dominante en la ciudad. Su fachada es muy sobria y lo decorativo ha quedado supeditado a lo arquitectónico, tan sólo se observa un interés por el ornato en el tratamiento rítmico de algunos elementos como la alternancia de frontones triangulares y curvos, o el uso de pilastras jónicas y toscanas. Estamos ante un cambio de concepción artística, cercana ya al purismo y sobriedad del Clasicismo y Juan de Herrera; por ello se cree que trabajó en este edificio Juan de Ribero Rada, discípulo de aquél.
El edificio fue mandado construir por Alonso de Anaya y Barrientos, canónigo de Toledo y presidente de la Chancillería, a finales del s.XVI, y aunque en su forma exterior recuerde al Palacio de Monterrey con su galería superior y la torre, nada tiene ya que ver con él.
