Nella prima metà del 1600 risiedeva a Scarpizzolo il Conte Alessandro Martinengo Colleoni.

Egli era un uomo dal carattere irrequieto, prepotente e violento fin dalla giovane età. 

Dopo la morte del padre, aveva ereditato molte proprietà tra Brescia e Bergamo, tra cui il palazzo e la rocca di Scarpizzolo, sua dimora, ma anche i fienili, le acque e molte delle case e dei terreni vicini. 

A causa del suo temperamento, il suo castello divenne covo di uomini loschi e disonesti.

Tra gli assidui frequentatori c’era anche Troiano Calzaveglia, un gentiluomo bresciano incolpato per diversi crimini, tra cui l’omicidio di un abitante di Travagliato. Per far fronte alle ingenti spese da sostenere per i processi contro di lui, Troiano aveva iniziato a vendere alcuni dei suoi beni al conte. Il 12 aprile 1634, alla giovane età di 20 anni, Calzaveglia fece redigere anche il suo testamento, istituendo Alessandro Martinengo Colleoni come erede universale di tutti i suoi averi, per ringraziarlo della sua bontà.

Il 24 aprile 1634 Troiano Calzaveglia veniva ucciso. 

Le prove e le testimonianze non lasciavano dubbi: Alessandro Martinengo Colleoni era il mandante dell’omicidio. 

Il Conte fu bandito da Brescia e la Questura ordinò che tutti i suoi averi fossero distrutti: il castello, le case, i terreni… perfino gli alberi furono sradicati!

Il palazzo divenne oggetto di saccheggio e l’impianto urbanistico del paese cambiò totalmente. Oggi del castello non ci resta altro che questa descrizione.

Il Castello formava un grande fabbricato quadrangolare, circondato da fossa per tutti i lati; agli angoli sorgevano quattro torri e nella facciata principale se ne elevava un’altra in cui era aperta la porta d’accesso, munita di ponte levatoio. Un ampio cortile stava nel mezzo, ed in un lato erigevasi la chiesa a servizio degli abitanti del Castello; lunghi portici giravano attorno nel pianterreno da cui si aveva accesso alle sale, ed al di sopra dei portici correvano le gallerie; poche finestre munite di forti inferriate sporgenti aprivansi sulle muraglie esterne prospicienti la fossa.

A dire la verità, la punizione attuata contro il Conte fu il frutto di una vendetta. 

Acerrima nemica della famiglia Martinengo era quella degli Avogadro, il cui palazzo sorgeva proprio di fronte a quello del Conte. L’obiettivo degli Avogadro era molto probabilmente annientare la famiglia avversaria, per questo il Conte ricevette una punizione così dura.