Architektura koleje je poměrně strohá, jak velela jezuitská řehole, jen průčelí připomíná raně barokní italské paláce. Stavba probíhala pomalu, teprve roku 1678 se do ještě značně rozestavěné koleje přestěhovali jezuité, kteří sídlili skoro padesát let v provizoriu. Zajímavostí je stavba kryté visuté chodby vedoucí z koleje do chrámu sv. Barbory, provedená ve 30. letech 18. století, která byla však na konci 19. století zrušena.

Podle archivních zpráv a rozboru stavby můžeme určit umístění některých funkcí a místností. Ve středním křídle byly nad sklepem kuchyně, refektář a kredenciárium (sklad nádobí), v přízemí severního křídla se nacházela lékárna s bohatou výzdobou klenby. Dále bylo v prvním patře koleje umístěno divadlo, jdoucí přes dvě podlaží, jehož přesná lokalizace je dnes velmi obtížná. Ve vnitřním nádvoří byla ozdobná zahrada s terasami, štěpnicí a užitkovou částí. Terasa před jezuitskou kolejí byla v letech 1703 – 1716 vyzdobena barokními plastikami z dílny sochaře Františka Bauguta, příslušníka jezuitského řádu, který je též autorem morového sloupu. Vložil do kamene svou představu dvanácti jezuitských světců, mezi nimi Ignáce z Loyoly, Františka Xaverského a českého patrona sv. Václava. Byl tak zrealizován záměr jezuitských stavitelů naznačit v Kutné Hoře „královskou cestu“ od chrámu sv. Barbory k Vlašskému dvoru podobnou té, která v Praze spojuje Klementinum s Pražským hradem.

Roku 1773 byl jezuitský řád zrušen (tehdy stavba ještě neměla definitivní podobu a rozsah) a v celé koleji byla zřízena vojenská kasárna a roku 1778 v severním křídle špitál. Ve stavbě pokračoval vojenský erár až v letech 1843 až 1844. Budova tak byla přizpůsobena potřebám vojenského výchovného ústavu. Změna využívání stavby sebou nesla rozsáhlé stavební úpravy v interiérech. Nejzávažnější změnou bylo snesení neudržované střední věže ze statických důvodů v roce 1842 a přístavba tří záchodových věží před dvorní průčelí. Vojákům sloužila kolej až do roku 1998, kdy byla předána do užívání galerie a byl připraven projekt rekonstrukce a přeměny koleje v moderní instituci prezentující výtvarné umění.

GASK je institucí zaměřenou svou sbírkou i výstavním programem na výtvarné umění 20. a 21. století. V prostorách tří traktů ve dvou patrech Jezuitské koleje probíhají výstavy proměnné a nachází se tu i nová stálá expozice ze sbírek GASK „Stavy mysli / Za obrazem“. GASK představuje moderní i současné umění citlivě a inspirativně komponovanými expozicemi. Navazuje na poslání Jezuitské koleje jako domu vzdělání tím, že sbírkový fond a veškerý program sestavuje na základě autentické pravdivosti svědectví a zprostředkovává jejich sdělení v podobě co nejbližší dnešnímu člověku.

GASK to ale nejsou jenom výstavy. Návštěvníky ohromí rekonstruovaný prostor Jezuitské koleje a krása přilehlých zahrad. Nově vybavené severní křídlo disponuje podkrovním konferenčním sálem, který je vybaven moderní audiovizuální technikou. Moderní vybavení je v příjemném kontrastu s citlivě zachovaným podkrovním prostorem. A protože GASK myslí i na své nejmenší návštěvníky, je celé jedno patro severního křídla věnováno právě dětem. Můžete zde navštívit zcela nové vizuální dětské herny. Nepřeberné množství barev a tvarů jistě nadchne nejen děti, ale i jejich rodiče. Děti zde mohou popustit uzdu své fantazii a vytvářet svá vlastní umělecká díla. Na zdech jsou tapety s motivy známých obrazů, do kterých mohou děti malovat a dotvářet je. Na podlahách jsou stavebnicové prvky, z kterých mohou skládat vlastní vzory či stavby. Třešničkou na dortu je lezecká stěna s motivem slavného obrazu Pieta Mondriana.

A pokud Vás návštěva výstav či vizuálních heren unaví, můžete si odpočinout v zahradách Jezuitské koleje. Naleznete zde zónu klidu a odpočinku, doplněnou o uklidňující vodní prvky. Zahrady propojují návštěvnické trasy Kutné Hory, areál galerie a sousedící chrám svaté Barbory. Nejstarší stavbu celého areálu GASK najdete právě v zahradách. Je to štábní domek, který také prošel kompletní rekonstrukcí. Uvnitř je zachováno barokní tříramenné schodiště a v přízemí unikátní hřebínkové klenby z éry renesance. Také se zde dochovaly gotické sklepy a barokní krovy v prvním patře.