La butte possédait un château construit aux alentours des 12e et 13e siècles. Les ruines se situent juste en dessous du sommet, sur la terrasse supérieure. Elles se
présentent principalement sous forme de 2 murs d'angle d'anciennes tours, percés de 2 portes ou fenêtres. Ces tours limitaient autrefois l'emprise de l'enceinte interne du château entourant le sommet.
Les pentes raides supportent une succession de terrasses dont certaines ont des murs de soutènement maçonnés. L'origine et la fonction de ces aménagements plus nombreux au sud qu'au nord ne sont pas encore connus ; on pense qu'ils pourraient être antérieurs au château moyenâgeux.
A mi-pente sur le coteau sud du Puy, se dressent 3 blocs rocheux fracturés et juxtaposés de 4 m de haut sur lesquels s'est adossé le mur d'enceinte du château. Le plus élevé forme un genre de fauteuil de taille humaine et comporte une série de bassins superposés. On l'appelle la " pierre des sacrifices " pensant qu'elle servait à égorger les victimes assises dans le fauteuil et dont le sang coulait dans les réceptacles. Mais ces formes ne résultent que du travail de l'érosion.
Source : ouvrage DIREN Limousin.