Los restos que aún se mantienen en pie sobre el montículo contiguo al casco urbano, son un mínimo resto de la antigua fortaleza que señoreó y defendió el caserío tras el paulatino abandono del primitivo asentamiento de la Morterona y su traslado a lugar más próximo al río.

Las partes del castillo conservadas permiten apreciar su fábrica original, compuesta de un paramento interior y otro exterior de sillería de piedra caliza con un relleno de cantos rodados con argamasa de cal y arena. Para mayor seguridad, en la obra se colocaron gruesos travesaños de madera en los rellenos de esquinas y muros. También se utilizaron vigas de madera en los suelos de los diferentes pisos y como dintel de puertas y ventanas. La fortaleza se remonta según algunos autores a época visigoda (quizás al reinado de Leovigildo), cuando Saldaña formaba parte de un conjunto de emplazamientos repartidos por la zona cuya finalidad era hacer frente a las periódicas incursiones de saqueo de los pueblos de la Cornisa Cantábrica.

Un sillar de piedra descubierto entre los muros de la fortaleza y hoy depositado en el Museo de San Pedro de Saldaña soporta una inscripción en árabe con el vocablo Hamamat (baños) y con una posible alusión al arquitecto que diseñó la construcción: Elhafalyad Laba. Esta inscripción, así como el hecho de que las crónicas de Alfonso III, al describir la campaña de Alfonso I del año 777, citen el saqueo de Saldaña a manos de los árabes, han llevado a algunos investigadores a ubicar una fortaleza en esta villa, dado su carácter fronterizo entre musulmanes y cristianos, baluarte que con el avance de la reconquista pasaría a ser ocupado definitivamente por estos últimos.

Estas hipótesis acerca del origen del castillo medieval son difíciles de comprobar. En cambio, existen indicios documentales ciertos de su existencia desde mediados del siglo X y de su posible destrucción en el año 995, en el curso de la campaña del musulmán Almanzor contra el monarca leonés Vermudo II, y por ende contra las fortalezas de los Condes de Saldaña, los Banu Gómez, en esta localidad y en la de San Román de Entrepeñas. En este período formaría parte de un conjunto de edificaciones defensivas (junto a las de Guardo, San Román y Cervera), levantadas a partir del fenómeno repoblador y como salvaguarda de la vía que comunicaba Saldaña con la Liébana.

Los datos anteriores vienen a reafirmar la datación al menos alto medieval de la fortaleza. Sin embargo, la cuestión es saber si las actuales ruinas del castillo son las de aquel edificio mencionado en los documentos, si son los restos de otro levantado sobre las ruinas de uno anterior, o si corresponden quizás a una fortaleza más moderna, en cuyo caso los restos del castillo alto medieval habría que buscarlos en un lugar distinto, tal vez en el cercano castro de la Morterona.

Con el fin de responder a estas cuestiones, en 1987 se tomaron varios trozos de las vigas de madera del paramento de una de las torres; la datación de estos fragmentos se estableció mediante el sistema del C-14. Una vez calibrada la muestra, esa prueba apuntó hacia los años 1000-1050 como fecha en que las vigas fueron instaladas en el lugar que todavía ocupan, y por tanto, como la fecha más antigua en la que el castillo pudo haber sido construido. De este modo se abrió espacio a la posibilidad de que las actuales ruinas correspondan a la fortificación edificada ex novo en las primeras décadas del siglo XI, tras ser destruida la anterior en la campaña de Almanzor del 995.

Las fechas indicadas son coherentes con las asignadas a los escasos materiales arqueológicos recogidos en las inmediaciones del castillo, los cuales sugieren una ocupación del edificio entre los siglos XI y XV, destacando el papel jugado nuevamente por esta fortaleza durante los siglos XII y XIII, dada su ubicación cercana a las fronteras entre el Reino de León y el de Castilla y los continuos enfrentamientos entre ambos por estos territorios fronterizos. A partir del siglo XV, la pérdida de valor estratégico del castillo determinará su creciente deterioro, no obstante ciertas reparaciones documentadas a mediados del XVI, principios del XVII y durante el siglo XVIII. En cualquier caso, desde esta última centuria la decadencia avanza de forma imparable, como puede apreciarse en los grabados y documentos de la época.

De cualquier forma, ya desde mucho antes sus restos habían sufrido un proceso de saqueo que afectó principalmente a la sillería de los muros. De ahí que el alzado conservado sea principalmente de núcleos de cal y canto, quedando los revestimientos de sillería exteriores reducidos al arranque de los paramentos. La fortaleza propiamente dicha se asienta en la meseta de un cerro arcilloso próximo al río, sobre el que se alza más de cincuenta metros. La forma triangular de este espacio (con base hacia el pueblo actual y vértice orientado a la Morterona) y su eje noroeste-sureste, determinan la planta del castillo y de las fortificaciones circundantes.

En la zona del vértice se levanta la torre del homenaje, estructura de planta cuadrada con una dimensión interior de 5 metros de lado y muros que superan los 2,5 metros de espesor. Constaba de al menos tres pisos, iluminados por estrechas ventanas, simples aspilleras, sobre los que se dispondría la azotea almenada. Parece abrirse hacia el este, donde se aprecian restos de un segundo bloque regular de 6 metros de lado, con el que se une mediante dos muros paralelos que cierran entre ambos el patio de armas. En la parte oriental de éste hubo un aljibe del que restan una parte del arranque de la bóveda que lo cubría y de dos de los lados, cubiertos con abundante almagra.

Este núcleo central se encuentra protegido por un segundo recinto formado por muros de cal y canto revestidos de argamasa, que sirvió tanto de defensa como de contención de la plataforma principal. Dicha estructura conserva restos de tres cubos semicirculares junto a tramos discontinuos de los paramentos que los unían, hasta una altura de mas de 2 metros, desconociéndose la entidad original de su alzado.

Bloques aislados de este paramento apreciables en diversas zonas de la parte alta de la ladera permiten intuir su perímetro triangular. El acceso a este recinto se realizaba por el lado del río, a través del camino que asciende desde la base del montículo, iniciándose junto a los restos de dos paramentos que parecen indicar la existencia, en este lugar, de la puerta principal defendida por un torreón. Dicha estructura supone tal vez la presencia de un tercer cinturón, totalmente desaparecido, que aprovecharía y reforzaría los fuertes escarpes en esta zona inicial de la ladera.

Existiera o no dicho recinto inferior, es muy posible que dentro de su potencial perímetro se ubicaran otro u otros edificios asociados a la fortaleza y citados por las fuentes medievales: quizás el convento de San Juan, quizás la Iglesia de Santa María del Castillo, acaso ambos. Esta afirmación se basa en la existencia de un contrafuerte y restos de un muro de contención en una plataforma amesetada situada en el vértice meridional del cerro. No muy lejos se detecta la presencia de restos humanos que parecen pertenecer a una necrópolis medieval.

Todo lo conservado evidencia el carácter austero de la fortaleza, aspecto que subraya la preeminencia de su función militar sobre la residencial. Rastrear paralelos es siempre difícil en este tipo de edificios en los que predomina la adaptación al medio físico en el que se asientan. Sin embargo, es posible apreciar cierta semejanza formal con el castillo de Vozmediano en la provincia de Zamora, fortaleza de la misma época y de estructura semejante.

Para terminar, es preciso señalar que en la vertiente oriental del cerro, en sendas terrazas a altura diferente, se abren las bocas de una serie de cuevas artificiales, en su mayor parte relacionadas con la extracción de arcillas de una tejera próxima, hoy desaparecida. Sin embargo, alguna de ellas, dada su complejidad de planta (varias galerías con diversas estancias) y el hallazgo en su interior de ciertos materiales arqueológicos (cerámicas) con una cronología medieval, ha sido considerada por ciertos autores como viviendas rupestres modernas (algunas del nivel inferior) o como estructuras relacionadas con la fortaleza (las del nivel superior), posibles sótanos y pasadizos comunicados con ella a través de una serie de accesos hoy ocultos por el derrumbe de parte de sus estructuras.

En la actualidad, las ruinas del Castillo de los Condes de Saldaña y el cerro sobre el que se erigen pertenecen desde el año 2024 a la Fundación Castillo de Saldaña, constituida para la salvaguarda y recuperación de uno de los principales vestigios históricos de la villa de Saldaña.