Esta singular construcción civil de finales del siglo XVIII, como atestigua la inscripción que aparece en el dintel de su puerta principal, ha sido hasta esta última reforma, la residencia habitual de los Condes de Tepa cuya familia ordenó su construcción.
En este lugar existió anteriormente el Convento y Hospital de Peregrinos de Santiago, uno de los más importantes de los 17 que llegó a tener la ciudad.

A lo largo de la historia ha atravesado diversas fases de esplendor y deterioro, siendo especialmente destacables los daños sufridos durante la Guerra de la Independencia. Napoleón, cuando vino a Astorga para ayudar a las tropas francesas en el asedio a la ciudad, se hospedó, una vez conquistada, en este edificio.