Fortyfikacje miejskie w Debrznie zostały wzniesione w XIV wieku. Miasto w tym okresie posiadało kształt nieregularnego prostokąta z szachownicowym układem ulic i prostokątnym rynkiem usytuowanym na południe od centrum. Otrzymało potężne, wysokie mury obwodowe o długości 1140 m, z cegły na wysokim kamiennym cokole. Mur o grubości do 2 m i wysokości 8 m prawdopodobnie był zwieńczony blankami. W obwód murów wkomponowano szereg baszt obronnych i trzy bramy miejskie. W narożu południowo – zachodnim miasta znajdowała się Brama Młyńska zwana też Bramą Złotowską, flankowana masywną „wieżą Czarownic”, od północy Brama Wysoka zwana też Główną i od wschodu – Brama Rybacka, prowadząca do jeziora. Najwięcej baszt wzniesiono w linii muru od strony zachodniej.
W części środkowej muru zlokalizowano krzyżacki dwór obronny, który przylegał do muru obwodowego i prawdopodobnie składał się z niedużego, kilkukondygnacyjnego domu zakonnego i innych zabudowań gospodarczych, które były obwiedzione murem z bramą i fosą. Budynek ten był siedzibą prokuratora zwaną „Klasztorkiem” lub „Jaskółczym Gniazdem”. Prokurator podlegał komturowi w Człuchowie. Już w 1346 roku wzmiankowany był brat Leykot, który pełnił tę funkcję w Debrznie. Do dzisiaj przetrwała jedynie zachodnia część murów obronnych.
