Il paese appare ancora racchiuso da una cinta muraria fortificata, intatta per pochi tratti, intervallata da torri quadrate e quattro porte. 
Nel punto più alto sorge ancora la splendida Rocca Aldobrandesca, molto ben restaurata, rafforzata da caratteristici barbacani.
E’ proprio questa racco che da’ il nome al borgo, identificato fin dal XII secolo come Castrum Plani Castagnaie.

STORIA
Il borgo, entra nella sfera degli Aldobrandeschi a fine del XII secolo. Cade sotto il dominio di Orvieto nel 1333, ma nel 1345 un esercito senese riesce ad espugnarlo e, come uso della repubblica per evitare futuri problemi, vengono abbattute le mura.
Siena, non avendo però avuto problemi dalla comunità, acconsente al restauro della rocca alla fine del XV secolo, rocca che viene rafforzata con i barbacani, mentre i paese vine organizzato nelle forme attualmente esistenti.

Quando Siena, nel 1559, passò sotto la Signoria dei Medici, il paese ne seguì le sorti e i nuovi signori apposero il loro stemma con le palle da cannone sopra alla porta. 
All’inizio del XVII secolo Ferdinando I de’ Medici concesse il borgo di Piancastagnaio in feudo a Giovanni Battista Bourbon del Monte. 
Successivamente, con l’avvento dei Duchi di Lorena al potere avvenuto all’inizio del XVIII secolo, il feudalesimo venne abolito. Nel 1776 Pierto Leopoldo di Lorena elevò il borgo di Piancastagnaio al rango di comune autonomo, dotato di propri statuti. 
La dominazione lorenese si protrasse quasi ininterrottamente fino all’Unità d’Italia, avvenuta nel 1861 ad opera del Re Vittorio Emanuele II di Savoia. 
Tra i monumenti di maggiore rilievo a Piancastagnaio la Chiesa di San Bartolomeo, il Santuario della Madonna di San Pietro, la Chiesa di Santa Maria Assunta, il Palazzo Pretorio, il Palazzo Bourbon del Monte e la Rocca Aldobrandesca.