Poprvé se o této obci na Jindřichohradecku a o zdejší tvrzi, která byla později přestavěna na zámek, dozvídáme v roce 1267, jejím majitelem byl Pluh z Rabštejna, úředník Oldřicha z Hradce. Majetkem Pluhů ze Žďáru byla tvrz i vesnice do 15. století, z této doby také pochází název obce.
Temným rokem pro obec byl rok 1802, kdy vyhořela většina vesnice, zámek i sousední panský dvůr.
Kromě zdejšího zámku, jehož majitelem byl i bratr prezidenta Beneše Bedřich, je největší památkou kostel Narození Panny Marie z roku 1717 a také nedaleký zámek Červená Lhota.
Dnes žije v Pluhově Žďáru asi 600 obyvatel.