V časih, ko je Metlika bila še vas, je na gradu Pungart vladala zlobna grofica, ki je kmetom jemala vse pridelke. Tiste, ki so se upirali, je zapirala v ječo, kjer jih je pustila umreti od žeje in lakote. Grofica naj bi imela posebno moč in kogar je zaklela, je okamenel. 

Ko so grad napadali Turki, je straži naročila, da zbudijo vse hlapce in branijo grad. Nekega dne sta stražarja zaspala in Turki so prebili v grad. Grofica ju je iz jeze zaklela in spremenila v črna krokarja, ki sta krakajoč odletela na grajski stolp. Tam sta ostala do konca svojih dni in žalostno krakala. 

To je zgodba po kateri je nastal metliški grb, na keterem najdemo metliški grajski stolp in 2 črna krokarja, ki predstavljata začarana stražarja.

Turški vpadi so bili v Metliki zelo pogosti. Metličani so se junaško borili in sčasoma uspeli dobiti mestne pravice.

Kasneje se je po zapisih grajski stolp sesul v prah in sledi o gradu Pungartu ni bilo več nikjer.