Původní hrad s názvem Černý Kostelec je poprvé zmiňován v roce 1348. Po vzniku Československa v roce 1918 byl zámek i panství Černý Kostelec vyvlastněn při pozemkové reformě a přešel do majetku státu. V současnosti na zámku sídlí Lesy ČZU, které jsou vysokoškolským lesním statkem České zemědělské univerzity v Praze. V letní sezoně je pro veřejnost otevřen prohlídkový okruh, ve kterém se návštěvníci dozví mnoho zajímavého z bohaté minulosti této unikátní stavby spojené s mnoha zvučnými jmény aktérů naší historie a jejich rody.

Na vrchu Vysoká nechal v letech 1696–97 postavit majitel malešovského panství František Antonín Špork (* 9. 3. 1662 – † 30. 3. 1738) barokní zámek (letohrádek) s kaplí sv. Jana Křtitele zvaný Belveder, pravděpodobně podle plánů architekta Giovanny Battisty Alliprandiho. Peníze na stavbu (jednalo se o 1400 dukátů = 5 600 zlatých) získal hrabě František Antonín Špork za velmi pikantních okolností. Během léčení v Karlových Varech je totiž vyhrál v kartách na saském kurfiřtu Fridrichu Augustovi I., pozdějším polském králi a velkoknížeti litevském. Hrabě František. Antonín Špork na Vysoké příležitostně pobýval pouze dva roky.

Římskokatolický hřbitovní kostel Všech svatých s kostnicí je spolu s katedrálním chrámem Nanebevzetí Panny Marie a svatého Jana Křtitele – součástí bývalého cisterciáckého opatství v Sedlci, založeného již v roce 1142.