Il complesso fu di proprietà privata fino alla seconda metà del Trecento, quando entrò a far parte della Repubblica di Siena, seguendo le sorti dei vicini castelli. I conti di Montorgiali nel 1224 decisero di prendere le parti della repubblica di Siena, nel conflitto che opponeva quest'ultima agli Aldobrandeschi del ramo di Santa Fiora; questa decisione li impegnò in diverse guerre, le cui spese li costrinsero a vendere alcuni domini circostanti. Il 31 dicembre 1378, anche il castello fu definitivamente venduto alla repubblica di Siena. Il dominio senese terminò a metà Cinquecento quando, a seguito della definitiva caduta della Repubblica, fu annesso al Granducato di Toscana.
Nei secoli successivi, il castello fu venduto a privati e, più recentemente, diviso in più unità abitative.
Il Castello di Montorgiali si trova in posizione dominante rispetto all'intero abitato, sulla destra rispetto alla Chiesa di San Biagio.
Tra l'edificio attiguo alla chiesa e l'angolo sinistro del castello si trova una cortina muraria in pietra, dove si apre una porta ad arco tondo, al di sopra del quale è collocato uno stemma gentilizio; un'altra porta ad arco ribassato si trova sul lato settentrionale.
Il castello si presenta come una struttura rustica imponente costituita da una serie di corpi di fabbrica addossati tra loro; le pareti esterne completamente rivestite in filaretto di pietra. Le finestre, disposte su 3 livelli, sono ad arco tondo, mentre in alcuni punti delle pareti esterne sono visibili feritoie e mensole che servivano per attaccare eventuali nemici che vi si avvicinassero.
Le parti sommitali presentano coperture a singolo spiovente per ogni corpo di fabbrica, ciascuna delle quali rivestita dai classici mattoni toscani in terracotta.
