Prvopočátky stavby kostela, který je dominantou Čáslavi, spadají do 12. století. Kostel prošel řadou stavebních úprav v průběhu šesti století do dnešní podoby. V roce 1910 zde byly v podvěžní kapli nalezeny ostatky Jana Žižky z Trocnova. Velkým lákadlem pro návštěvníky je také vyhlídková věž.

Starobylý kostelík sv. Ondřeje se hřbitovem stojí o samotě na návrší nad říčkou Vrchlicí na okraji Chlístovic. Na protějším návrší nad pravým břehem Vrchlice se nachází zřícenina hradu Sion.

Autorem projektu raně barokní budovy byl významný stavitel jezuitských budov, italský architekt narozený ve Vídni, Giovanni Domenico Orsi. Z částečně dochovaných plánů je patrné, že zvolil půdorys písmene E a současný půdorys ve tvaru písmene F je důsledkem toho, že projekt nebyl nikdy naplněn. Po Orsiho smrti v dostavbě pokračoval Carlo Lurago a kolej byla kompletně dokončena až v roce 1750.