Más que un castillo, lo que en Carabantes descubrimos son los restos de una casa fuerte o palacio del siglo XVI alrededor de una torre de origen posiblemente mucho más antiguo (quizá árabe del siglo XI) y que fuera residencia de la familia de los Tobajas. Se encuentra situado sobre un pequeño resalte en la vega del río Vigas o Carabán, a 980m de altura, y rodeado de montes salvo hacia el sureste. En esta dirección se encuentra la población de Carabantes que, encaramada a un cerro, destaca sobre la entrada al valle.

En 1999 quedaban en pie parte de dos torres, de la barrera y el arco de acceso. La torre más pequeña y antigua, de planta rectangular de 8,45m por 4,25m, tiene la base de los muros ligeramente inclinados por un talud de 2,55m de altura y que se aprecia superpuesto a la construcción original al menos en su lado sur, mientras que el lado norte aparece inclinado de forma progresiva. Conserva tres de sus muros, con canes interiores para soportar un piso de madera y mechinales de otro más, siendo la base posiblemente maciza. En su cara este hay una aspillera, al parecer insertada con posterioridad, mientras que la fábrica es de mampuesto con sillarejo en las esquinas.

La otra torre, más grande y de planta cuadrada de 8,8m de lado, conserva completos solo dos de sus muros. En 1993 pude observar que las piedras caídas de la torre apenas tenían tierra entre ellas, haciendo pensar en algún derrumbe reciente. Dispone de un acceso por el interior del recinto mediante un arco reforzado con una enorme losa plana al exterior, partido en dos por una grieta vertical y realizado en sillería de piedra arenisca, al igual que las esquinas y marcos de los ventanales de la torre que destacan  por su color más oscuro. En el interior se conservan los huecos de la tranca para una puerta. Alguno de estos grandes ventanales muestra claras señales de haber dispuesto de un enrejado al tener los huecos labrados en los sillares de jambas y dinteles donde recibía el forjado. En el interior aún se aprecia restos de la decoración y el hueco de la chimenea. Al menos disponía de tres plantas y una bodega, a juzgar por la aspillera que se encuentra en el exterior, cerca del arco de acceso a la torre, pero por debajo del nivel del suelo bajo una losa. En el suelo se adivinan algunas dependencias y muros interiores.

En un ángulo de la fachada exterior de la torre aún es visible una cornisa decorativa en piezas labradas de piedra de tono más oscuro similar a las sillerías. Adosado a esta torre se encuentra el arco de acceso al recinto a través de una rampa realizado en sillería y que tuvo dos escudos, uno del siglo XIII-XIV y otro del siglo XVI-XVII. Conserva aún los huecos labrados de los goznes de la puerta.

El recinto se encuentra rodeado de una fuerte barrera, que puede parecer doble en algunos tramos, y donde se aprecian restos de otras construcciones adosadas, torres o poternas. Próximo al arco de acceso, atravesando el muro a la altura del suelo, hay un vierte aguas labrado en piedra. Esta barrera tuvo que ser más extensa de lo que hoy parece, posiblemente rodeando el conjunto en su totalidad por el lado este, por donde discurre un camino vecinal entre Carabantes y Reznos, a juzgar por más de 15 metros de cimientos visibles por este lado.

El patio presenta restos de algunas dependencias y construcciones interiores menores, como los restos del tejado de una construcción situada entre las dos torres.

En conjunto presenta un aspecto bastante agradable y equilibrado, acercándose más a un palacio, granja o casa fuerte que a una auténtica fortaleza, si exceptuamos la pequeña torre que presenta un aspecto claramente más antiguo y fortificado.

El palacio cuenta con su propia leyenda, recogida por Florentino Zamora Lucas, del rapto de la hija del último señor de Tobajas, que abandonó el palacio afligido por la pena. Se sabe que en el siglo XVI efectivamente ya no pertenece a los Tobajas, sino a D. Diego Valdivieso.

De esta población fue oriundo Fray José Velázquez de Fresneda. Con el hábito de Capuchino, marchó de misiones a las Indias occidentales, donde alcanzó mucho prestigio como estudioso de la cultura indígena.

Durante la guerra de sucesión Carabantes recibió ayuda de la ciudad de Soria ante el ataque del archiduque en 1706.

Madoz , a mediados del siglo XIX, hace una escueta reseña a una casa de campo inhabitada, con el título de Casa de Tovajas. En 1885 contaba con casi quinientos habitantes, que hoy no superan los 40.