Žlutice byly pravděpodobně založeny během slovanské kolonizace a to jako obchodní stanice na cestě z Prahy do Chebu. Poprvé se o nich dozvídáme v písemné zmínce z roku 1186, znak ve tvaru hrabí mají již od roku 1415.
Největšího rozmachu dosáhly Žlutice v období renesance. V této době vzniká jedno z nejkrásnějších děl iluminátorského umění 16. století Žlutický kancionál. Je uložen v Památníku národního písemnictví v Praze, ve zdejším městském muzeu je uložena jeho faksimile. Období rozkvětu ukončil požár zdejšího zámku, který již nebyl obnoven a zachovala se pouze Zámecká brána.
V letech 1850–1948 byly Žlutice sídlem soudního a politického okresu.
V roce 1968 byla vybudována Žlutická vodní nádrž.
Dnes v tomto městečku ve svahu nad údolím řeky Střely v romantické krajině pod Vladařem žije kolem tří tisíc obyvatel.