Castelbasso sin dal Medioevo e fino al XVII secolo ha rivestito molta importanza nel controllo del territorio da parte dei feudatari che man mano si sono succeduti nel possesso del borgo fortificato. Ancora oggi sono visibili i resti di un sistema difensivo probabilmente espugnato più da movimenti tellurici che da assalti nemici.
Il sistema difensivo di Castelbasso comprendeva un torrione costruito nella parte più alta del castello, dal quale si generava la cinta muraria a forma di goccia, adagiata sul declivio della collina con andamento nord-sud. Nella cinta muraria, di cui rimane, come per il torrione, una scarpata possente, si aprono due porte urbiche.
La prima, costituita più propriamente da un torre portaia, si apre verso est; i resti del suo ben congegnato apparato difensivo lasciano leggere facilmente la presenza di una torre di controguardia e di un rivellino, mentre sono ancora integri i merli ghibellini e le caditoie.
L’altra porta si affaccia verso sud ed è formata da due fornici sovrapposti. Nella toponomastica popolare, poi, è ancora vivo il ricordo di una “portella”, piccola porta individuabile vicino alla base del torrione, verso nord-ovest, e di una “guardiola” vicino l’attuale piazza Belvedere, a sud, ricordata come “fortino” e “torrone” in un manoscritto della famiglia Clemente, datato 1535.