Frančiškanski samostan, v stavbi katerega se danes nahaja del Gimnazije Brežice, je bil zgrajen med leti 1660 in 1685 s ključno podporo družine Frankopan. To je bila v tistem času na območju Brežic najpomembnejša in najbolj vplivna hrvaška plemiška družina, ki je imela v lasti tudi brežiški grad.
Prvi frančiškani so prišli v Brežice ob koncu 16. stoletja iz Bosne na povabilo takratnih meščanov, ki so jim podarili zemljišče pred severnimi mestnimi vrati. Delovali so na številnih področjih. Bili so pridigarji in spovedniki, skrbeli so za uboge, prav tako so bili zdravilci in rokodelci. Imeli so svoj pevski zbor, sadovnjak, zelenjavni in cvetni vrt ter hlev za krave, ukvarjali so se s čebelarstvom. Do okoli leta 1870 so bili učitelji na brežiški mestni šoli. Skupaj s podporo grofov Attemsov so sezidali samostansko cerkev sv. Antona Padovanskega.
Po uničujočem potresu v začetku 19. stoletja so grofi Attems samostan popolnoma prezidali v dvonadstropno stavbo. Fasada cerkve s konca 17. stoletja je bila obnovljena v neorenesančnem slogu.
Leta 1941 so samostan skupaj s cerkvijo zaplenili Nemci, ki so kmalu zatem porušili ladjo in zvonik samostanske cerkve. Izgnali so redovnike in v stavbo nekdanjega samostana vselili novoustanovljeno nemško gimnazijo.
Od druge svetovne vojne ima v stavbi prostore Gimnazija Brežice. Gre za dvonadstropno poslopje z močnima rizalitoma na obeh severnih vogalih. Stavbo, ki razen v ohranjenem delu križno obokanega križnega hodnika v ničemer ne priča o svoji izvirni vsebini, obtekata preprost talni in bogat venčni zidec. Pred stavbo stoji kip Suzane, delo kiparja Stojana Batiča s konca petdesetih let 20. stoletja, ki ponazarja mladostnico, gimnazijko in odraščajočo ženo v sproščeni sedeči drži ter simbolizira mladostno vnemo in zagnanost.
