Zapewne w tym czasie rozpoczęto budowę murowanego zamku usytuowanego w południowo - wschodnim narożniku murów miejskich. W XV wieku mieszkańcy Rastenburga kilkakrotnie buntowali się przeciw władzy Zakonu. W 1410 roku rycerz Johart i aktburmistrz Barddyne poddali miasto królowi polskiemu. W 1440 roku Rastenburg był jednym z założycieli Związku Pruskiego. W 1454 roku zbuntowani mieszczanie zajęli zamek, a krzyżackiego prokuratora Wolfganga Sauera utopili w stawie młyńskim. Po sekularyzacji zakonu, w 1525 roku nastąpił około stuletni okres świetności miasta, któremu kres położyły liczne epidemie (w 1625 roku zmarło w wyniku epidemii 2.500 osób w mieście i okolicy) oraz wybuch I wojny polsko - szwedzkiej. Kolejne wojny i epidemie przyczyniły się do upadku miasta. Dopiero około połowy XIX wieku dla Rastenburga nadszedł okres rozwoju. Miasto uzyskało połączenie kolejowe z większymi miastami prowincji. Powstało wówczas wiele nowych zakładów przemysłowych oraz instytucji użyteczności publicznej. Kolejny kryzys, który przyniósł ze sobą wybuch I wojny światowej trwał do lat 30 - tych XX wieku. kolegiataW końcu stycznia 1945 roku, po zajęciu miasta przez wojska radzieckie zamek i większa część staromiejskiej zabudowy miasta zostały spalone.