Ves Chlístovice, která vznikla pravděpodobně ve 13. století v blízkosti zaniklého raně středověkého hradiště, je v písemných pramenech poprvé doložena k roku 1359. Tehdy se už připomíná také místní kostel, který byl střediskem samostatné farnosti. Na protějším návrší nad pravým břehem Vrchlice se nachází hradu Sion, který stojí na místě staršího hradiště, podle něhož bývala ves ve středověku zvána též Hrádek.

Je pravděpodobné, že dochovaný kostel sv. Ondřeje má pozdně gotické jádro. Středověký původ zdiva s velkou pravděpodobností potvrzuje jeho značná šířka, která se v lodi i v presbytáři pohybuje okolo 1,3 m. První písemná zmínka o kostele pochází z roku 1352, ale základ současné dispozice vznikl až v pozdně gotickém období. Kolem roku 1500 byla k jeho jižnímu průčelí přistavěna pozdně gotická věž, která si dodnes uchovala svoji původní podobu s řadou zajímavých středověkých stavebních detailů. Zavěšen je v ní zvon, zhotovený v roce 1509 kutnohorským mistrem Ondřejem Ptáčkem. Do současné podoby kostel formovala barokní přestavba realizovaná v 18. století. V té době vznikl i krásný hlavní oltář, na němž kromě vyobrazení patrona chrámu, svatého apoštola Ondřeje, najdeme méně obvyklé znázornění Nejsvětější Trojice v podobě tak zvaného Trůnu Milosti. Atmosféru místa dotváří okolní hřbitov, na němž stojí pozdně barokní kostnice z roku 1765.

Podle místní pověsti dal kostel na zaniklém hradišti nad říčkou Vrchlicí vystavět roku 1402 nejvyšší zemský sudí Ondřej z Dubé po svém návratu z pouti do Svaté země. Přivezl odtud vzácnou relikvii – hlínu z památné hory Sion, ležící před hradbami Jeruzaléma, na které je pohřben biblický král David a kde došlo k poslední večeři Páně i nanebevzetí Panny Marie. Hlínu nechal rozsypat v místech, kde dnes kostel stojí. Odtud pochází také dodnes zachovalé zachované pojmenování Sion, které o století později převzal také i hrad, založený v roce 1426 na protějším břehu říčky proslulým husitským hejtmanem Janem Roháčem z Dubé v místech raně středověkého hradiště a snad i vrcholně středověkého opevněného sídla.