Renesančni dvorec z dvema enonadstropnima traktoma je bil zgrajen leta 1220 z okroglim vogalnim dvonadstropnim stolpom in notranjim arkadnim dvoriščem. Puštalski gospodje so dosegli precejšnjo veljavo in opravljali pomembne javne službe v freisinškem gospostvu. Za časa reformacije je bil v gradu sedež luteranskih pridigarjev.Ko je v 17. stoletju rodbina puštalskih gospodov izumrla, je grajska posest po nekaj destletjih prešla v roke bogatih Oblakov iz Poljanske doline, ki so trgovali z železom ter si leta 1688 pridobili plemiški naslov baronov.