Stavba se prvič omenja leta 1491, zdajšnje mogočno poslopje pa je iz začetka 18. stoletja. Grad in pet bližnjih gospodarskih stavb je bilo v lasti plemiške družine Attems, v začetku 19. stoletja grofa dr. Ignaca Attemsa (1774–1861), štajerskega deželnega glavarja. Grajska kašča v Brežicah sodi med najlepše ohranjene v Sloveniji in je uvrščena med 227 nepremičnih kulturnih spomenikov državnega pomena.
