Palác dnes slouží k výstavním účelům Jihomoravského muzea - Dům umění.
Byl vystavěn na místě dvou straších gotických domů od poloviny 16. století. Na raně renesanční fasádě jsou vpravo od portálu zachovány fragmenty původní sgrafitové výzdoby s alegorickými náměty s protiválečnou tématikou. Římsa vrcholí atikou s pilířky, mezi nimiž jsou umístěny voluty s delfíny, symbolizujícími věrnost. Konzola na fasádě vpravo nese letopočet 1549 a jméno tehdejšího majitele - Ambrože ze svahu. Další letopočet (1765) datuje barokní stavební úpravy. Dvoulodní přízemní síň, tzv. mázhauz o šesti křížových polích s hřebínky, je zaklenut na dvou nízkých pilířích. Na prvním je zopakován letopočet 1549 a piktogram stavebníka, druhý obsahuje nápis "ALES IN EIN IAHR GEBAUTA = VŠE POSTAVENO ZA JEDEN ROK". Pravoúhlý portál vede na dvouramenné schodiště s valenou klenbou s výsečemi, jež spočívají na kamenných konzolách s čabrakami. Velkou část prvního patra, (tzv. piana nobile) zaujímá rozlehlá síň. Čtyři křížová pole klenby, oddělená drobně profilovanými štukovými pásky, jsou nesena uprostřed toskánským sloupem. Velký sál I. patra má záklopový trámový strop, další dva menší sály jsou zaklenuty valeně s výsečemi. Směrem do dvora se nachází unikátní místnost se sklípkovou klenbou, jež je ohlasem jihočeských slavonických kleneb. Zde se zřejmě původně nacházela rodinná kaple. Do nádvoří je připojena lodžie s toskánským sloupem v nároží. Rovněž sály druhého patra, původně obytného patra majitelů paláce, mají renesanční záklopové stropy. Nad schodištěm byl na střeše umístěn až do počátku 20. století vyhlídkový altán, inspirovaný římskými renesančními předlohami. Podél dvorního traktu probíhá podklenutá arkádová pavlač s půlkruhovými arkádami na toskánských sloupcích. Tak jako fasáda na náměstí byla i fasáda dvora a zadního traktu pokryta sgrafitem. Zadní trakt, klenutý rovněž valeně s výsečemi sloužil původně jako hospodářské zázemí.
Dům byl dokončen koncem 80. let 16. století a je unikátní ukázkou vývoje stavebního stylu 16. století v přechodu pozdní gotiky do renesančního tvarosloví. Ačkoliv nebyl dosud nalezen písemný pramen, jenž by vypovídal o původních majitelích, lze se právem domnívat, že dům nechala postavil bohatá patricijská rodina. Je však známo, že se v 16. století na Dolním náměstí nacházel tzv. "Italský dům", který může být totožný s tímto palácem. Přízemí domu původně sloužilo jako tržnice, otevřená do náměstí, snad i jako šenk. Zboží bylo ukládáno do dvou rozlehlých sálů v podzemí, odtud pak vedou další sklepní prostory pro ukládání vína, piva, ovoce a zeleniny. Ve středověkých chodbách pod domem se dochoval znak budovatelů podzemí - dvě zkřížená hornická kladívka. Objekt byl roku 1945 zkonfiskován čs. státem a počátkem 50. let 20. stol. bylo rozhodnuto využít palác pro galerijní účely. Rozsáhlé rekonstrukce zde probíhaly až do poloviny šedesátých let, poslední rekonstrukce se uskutečnila v letech 1986 - 90.