Su nombre procede de los cuatro concejales del Ayuntamiento representantes de las comarcas agrícolas de señorío de la Ciudad, que se hicieron con la propiedad del edificio en el s.XVIII para usarlo como paneras y depósitos de grano. Pero el edificio es anterior, data de finales del s.XV y principios del s.XVI, de estilo gótico como atestigua la tracería que aún se puede ver en una de las ventanas del piso superior.
Perteneció a los Condes de Gramal, conservando de aquella época, además de la tracería, la puerta de arco de medio punto, un recoleto patio interior y el zaguán. Frente a la portadita plateresca del zaguán, vemos un escudo del vizconde de Hormaza procedente de derribos del tiempo, porque don Francisco Téllez y el señor Pérez Cardenal solicitaron para la obra cuantas piezas se hallaban bajo custodia municipal o eran desechadas en derribos. Finalizadas las obras de restauración y adaptación de la casa por las necesidades de la Cámara, se inauguró solemnemente el 30 de mayo de 1918.
