Stavba je v osnovi iz časa gradnje gradu sredi 16. stoletja. Predelave so močno zabrisale prvotno podobo notranjosti. Sredi 19. stoletja so stavbo, ki je bila last brežiške plemiške družine Attems, imenovali Jahalna šola (Reitschule). V pritličju je ohranjena velika dvorana – nekdanji konjski hlevi s stebriščem in stropnimi oboki. Danes v stavbi domuje Glasbena šola Brežice.
