Le château de Gigouzac était d'origine très ancienne . D'après la tradition, au Xème siècle un "Etienne", issu de la maison de Belcastel et d'une alliance avec le Pestillac se serait installé à Gigouzac . Ses descendants ont gardé le nom d"Etienne" qui devient leur nom patronymique sous la forme de Stéphani . Au XIème siècle ils bâtirent le château . Au Moyen-âge il a eu un rôle défensif important car à la jonction de trois vallées . Il comprenait alors une grosse tour carrée, servant de donjon, deux corps de logis, l'église, la cour intérieure et divers bâtiments, le tout englobé dans un mur d'enceinte, lui même protégé par des fossés remplis d'eau . Il fut fortifié davantage au cours des temps . Ce château subsistait encore au début du XIXeme siècle à l'état de ruine ainsi que son mur d'enceinte . L'église et le moulin seigneurial étaient mieux conservés . En 1880 il restait quelques vestiges du donjon, du mur d'enceinte et des deux tourelles .

Aujourd'hui, il ne reste rien du château qui a été remplacé par une place publique . L'ancien four banal existe toujours à l'angle sud-est de la place . Existe toujours l'ancien moulin de Valon