En la Plaza de San Pedro, se levanta el edificio conocido popularmente con el nombre señalado. Gran construcción con planta casi cuadrada que procede de la arquitectura renacentista, disponiéndose la vivienda alrededor de un amplio patio porticado igualmente cuadrado.
El edificio se construye a partir de un zócalo de mampostería de cantos rodados. Los muros en su mayor parte se levantan a base de combinar verdugadas de ladrillo dispuestas a soga y tizón, con rellenos de adobe, tapial o mampostería de cantos, revocados, quedando la sillería reservada a los esquinales y la portada.
Su gran fachada se abre hacia la plaza y constituye un gran rectángulo ordenado casi simétricamente. En el centro se encuentra la puerta principal, gran vano rectangular de sillería de piedra caliza blanca con dintel adovelado, enmarcado por dos ventanas a cada lado, con dinteles de madera y cerradas con rejas de forja empotradas en los huecos. Sobre esta portada se dispone el balcón volado, decorado con labores de forja, acompañado de otras dos ventanas a cada lado.
Tanto la fachada como el resto del edificio remata en una amplia y complicada cornisa, construida ganado vuelo mediante la sucesión de molduras de teja curva y ladrillos a sardinel. La cubierta a cuatro aguas se dispone mediante limatesas y limahoyas que vierten el agua tanto hacia la calle como hacia el patio central. El edificio además presenta una fachada secundaria hacia la calle Las Escuelas, una tercera hacia un huerto cerrado y otra hacia la calle de La Cochera, todas más modestas que la principal, pero con una organización muy similar.
Su interior, aunque muy transformado, permite intuir la distribución de las estancias. La vivienda se disponía alrededor de un patio cuadrado porticado, con grandes pies derechos en madera de olmo, a modo de columnas sobre un zócalo. Rematan en zapatas que sustentan la viguería del piso superior, también porticado aunque con soportes mucho más ligeros que arrancan desde el piso y se unen por medio de una barandilla, todo ello de madera. Las zapatas de este segundo piso sustentan la cornisa formada por un triple alero de madera con canecillos tallados. El piso bajo tiene en el patio un empedrado de grandes cantos de río que tratan de imitar el pavimento original destruido y, en el centro, un pozo con brocal de piedra. Este solado se convierte en las galerías circundantes en un fino empedrado que forma motivos geométricos.
En la parte opuesta a la fachada debieron situarse un amplio corral y las dependencias auxiliares (cuadras, pajares, paneras, bodegas, viviendas del servicio, etc.), a las que se ingresaba directamente desde la calle a través de un portón.
En su interior se guardan objetos arqueológicos de épocas prerromana (gran tinaja de almacenamiento) y romana, procedentes del cerro de la Morterona (estelas funerarias, molinos de mano), de la Olmeda (tégulas y cuernas de ciervo), junto a elementos románicos recuperados de la verja que cierra actualmente el parque público (basa y capitel de la escuela de Aguilar de Campoo) y objetos curiosos como un escudo de burda labra recuperado en una casa de la Plaza Vieja, donde había sido convertido en base de una letrina, o la maquinaria del reloj de la antigua Casa Consistorial de la localidad.
Aquí se ubica además, el Centro Javier Cortes, exposición permanente dedicada al descubridor y menecenas de la Villa Romana La Olmeda, y la Oficina de Turismo.
