Středověký hrad upravený ve stylu románské gotiky, byl založen v polovině 13. století a nazván po rozsáhlém skalisku na němž byl vystavěn. První bezpečná písemná zmínka z roku 1316 se váže k Nemírovi z Kamene, další (1318) ke Zdíkovi z vladyckého rodu Tluksů z Vokova. Jeho nástupce Bušek Tluksa přijal r. 1327 od krále Jana Lucemburského manský závazek a hrad Kámen se stal až do roku 1504 královským lenním hradem, kdy se Markvartu z Vojslavic podařilo dosáhnout souhlasu krále Vladislava II. na zrušení manského závazku.

V době husitských válek stáli majitelé hradu na straně husitů. Za Purkarta z Žirovnice došlo na hradě r. 1450 ke schůzce Jiřího z Poděbrad s Oldřichem z Rožmberka, na níž uzavřeli společný smír.

Od roku 1523 hrad téměř 200 let vlastnila jedna z větví významného českého rodu Malovců. V polovině 16. století dosáhlo panství Kámen největšího rozmachu. K hradu patřilo stejnojmenné městečko a deset poddanských vsí. Z maloveckých držitelů se do historie Kámenu nejvýznamněji zapsal rytíř Jan Kryštof Malovec (držel hrad od roku 1640). Za něho byl hrad znovu přestavován, bylo vystavěno jižní obytné křídlo a vstupní věž (1673). Na západním okraji vsi dal vystavět ranně barokní kapli Panny Marie Sedmibolestné a v ní zřídil rodinnou hrobku.

V průběhu 18. a 19. století se držitelé hradu a panství rychle střídali a hrad ztrácel na svém významu. Po roce 1948 byl hrad poslednímu majiteli (od roku 1916) Antonínu Fleissikovi, který dokončil poslední stavební úpravy, konfiskován.
Státním kulturním majetkem byl Kámen prohlášen v roce 1953.

Dnešní využití objektu je významně spjato s motocyklovým sportem, protože pod hradem vedla první závodní motocyklová trať v Čechách a i Mezinárodní motocyklová federace byla založena v nedalekém Pacově. Hrad Kámen je tak zajímavý nejen pro milovníky historie a středověké architektury, ale i motocyklového sportu – je zde deponována známá expozice motocyklů s unikátními exponáty.

Kromě expozice historických jednostopých vozidel se V současné době na hradu nacházejí i jiné expozice:
* Expozice bydlení a životního stylu v devatenáctém a na počátku dvacátého století na panském sídle
* Historická expozice ve starém paláci
* Lapidárium Muzea Vysočiny Pelhřimov na hradu Kámen
* Lidová sakrální malba v hradním čeledníku