El edificio es una construcción que data del 1440. Perteneció a la Familia de los Fermoselle siendo posteriormente propiedad del Barón de las Cuatro Torres. Este segundo dueño hizo que el edificio fuese conocido como Palacio de la Torre del Aire o de las Cuatro Torres. El escritor gallego Gonzalo Torrente Ballester dedica en 1992 una recopilación de artículos que escribía los jueves en el diario madrileño Informaciones, poniéndole el nombre de esta torre. En el lienzo que mira a oriente pueden observarse cuatro ventanas con acabado gótico (Ajimezes).
Durante las luchas entre nobles que se produjeron en la ciudad durante el siglo XV se elevaron diversos torreones defensivos en los palacios. El torreón del Palacio de los Fermoselle se encontró en el entorno del Bando de Santo Tomé. El palacio debió tener otros tres torreones que fueron derribados a finales del siglo XVII por amenazar ruina. En el siglo XVIII se aprovechó el espacio para instalar una fábrica de paños.
