Según afirma Rafael Alvarez en su libro "Con un Castillo en su nombre" no sabemos por qué se conoció con el nombre de La Villeta. Durante la Edad Media, el castillo tuvo un importante el valor fronterizo.

En Bernardo de Espinalt, encontramos la más antigua referencia La Villeta: "Un castillo con grandes murallas y un torreón, rodeado de otros torreones, con una plaza de armas y demás oficinas".

Aún se conserva la planta de la fortaleza en su integridad. Detrás de las casas aún existen los cubos y torreones, que se aprecian mejor desde las viviendas que se edificaron en lo alto de la fortaleza, alrededor de la derruída torre principal.

Tuvo dos puertas y plaza de armas. Por los restos que se conservan, el torreón central debió ser fortísimo y de grandes porporciones.

De planta oval o casi circular, se apoyaba en la eminencia del terreno. Sobre dicha planta se apoyaban las torres y en el centro el gran torreón de homenaje, cuyos cimientos se esconden entre las edificaciones modernas. Conserva parte de la muralla noroeste, pero no la que fuera impresionante torre cilindrica ni su plaza de armas privada, pero sí es fácil seguir su determinación sobre el urbanismo radial de la población de labradores que creció bajo su amparo.

En 1573 se derrumbó la Torre del Homenaje debido, socavados los cimientos para sacar materiales de ellos, a un fuerte temporal de agua y viento. El haber edificado entre sus muros acabó enmascarando totalmente lo que fuera la fortaleza.

Rafael Alvarez. "Con un Castillo en su nombre"