A él se retiro en 1432, desterrado por el rey, el caballero Fernán Pérez de Guzmán, donde escribió su "Mar de Istorias" y sus famosas "Generaciones y Semblanzas".

Más tarde, en Batres se albergó el poeta Garcilaso de la Vega, cuyo hermano Pedro Lasso de Guzmán, era señor del castillo.

En los años 70, fue restaurado por el arquitecto D. Luis Moreno de Cala, que además es el dueño de la Escuela de Jardinería y Paisajismo que lleva ese nombre.