Dieses Projekt eines frühbarocken Kollegs entstand unter der Federführung des in Wien geborenen Architekten Giovanni Domenico Orsi, der viel für den Jesuiten-Orden tätig war. Aus den teilweise überlieferten Plänen geht hervor, dass Orsi einen E-förmigen Grundriss gewählt hatte; der gegenwärtige F-förmige Grundriss ist die Folge dessen, dass das Projekt nie vollständig umgesetzt wurde. Nach Orsis Tod leitete Carlo Lurago die Fertigstellung des Baus. Vollendet wurde das Kolleg erst 1750.

Die Geschichte der neuzeitlichen jüdischen Gemeinde in Čáslav nahm Mitte des 19. Jahrhunderts ihren Anfang. Gegen Ende des Jahrhunderts begann für die hiesigen jüdischen Einwohner eine gesellschaftliche und kulturelle Blütezeit, die um die Jahrhundertwende im Bau einer neuen Synagoge auf der damaligen Rudolf-Straße (heute Masarykova ulice 111) gipfelte.

DDie Gemeinde wandte sich zu diesem Zweck an den bedeutenden Wiener Architekten Wilhelm Stiassny, der später auch am Bau der Jubiläumssynagoge in Prag (heute Jerusalemsynagoge) mitwirkte. Dieser entwarf für Čáslav eine Synagoge im Maurischen Stil, die ein älteres Bethaus aus der Mitte des 19. Jahrhunderts ersetzen sollte. Die Pläne des jüdischen Baumeisters wurden vom Israelitischen Verein und dem Stadtamt 1897 prompt genehmigt, aber es dauerte noch zwei weitere Jahre, bis mit den Bauarbeiten begonnen wurde. Das lag möglicherweise an einer fehlenden Finanzierung. Zum Bau trugen nicht nur die Bewohner von Čáslav und Umgebung bei, sondern auch die Rothschild-Dynastie aus Wien. Mit den Bauarbeiten wurde am 13. März 1899 begonnen, und schon am 2. September des gleichen Jahres wurde die Synagoge feierlich eingeweiht.

Die Synagoge in Čáslav diente bis 1941 ihrem ursprünglichen Zweck, dann wurde sie wie alle anderen jüdischen Bethäuser geschlossen.

Die römisch-katholische Allerheiligenkapelle mit ihrem Beinhaus gehört zusammen mit der Kathedrale Mariä Himmelfahrt und Johannes der Täufer zur ehemaligen Zisterzienserabtei in Sedlec, die bereits 1142 gegründet worden war.