Le origini del palazzo risalgono al XIV secolo e nel corso dei secoli è stato destinato a sede di uffici amministrativi, Pretura, carceri e abitazioni private. Attualmente il palazzo ospita il Museo Archeologico e l’Antiquarium Etrusco “Ranuccio Bianchi Bandinelli“, ed è sede del Gruppo Archeologico Colligiano.
Le carceri, che sono state attive fino alla metà degli anni venti, si trovano al piano terreno dell’ex Palazzo Pretorio e ospitavano per la maggior parte detenuti politici. Sono ancora praticamente intatte e visitabili in occasioni particolari, nel corso delle quali si possono riscoprire le scritte, i graffiti, i disegni e le poesie, ancora presenti sui muri, lasciati dai prigionieri politici detenuti in questi spazi tra la fine della Prima guerra mondiale e la presa del potere da parte di Benito Mussolini.
Il Palazzo Pretorio di Colle Val d’Elsa presenta una facciata grezza con vari stemmi dei Podestà che si sono succeduti nella gestione di questo antico comune, e ha subito svariate ristrutturazioni nel corso del tempo.
Durante i restauri del 1990 sono stati rinvenuti affreschi di origine rinascimentale, come una pregevole “Annunciazione” di scuola fiorentina, esposta nel Museo del palazzo.
All’esterno, sul retro del palazzo, vi è un cortile protetto da un alto muro, dove i detenuti passavano la loro ora d’aria. Dal cortile, attraverso una scala a chiocciola, il Palazzo è collegato attraverso un’antica porta, al percorso esterno delle mura castellane.
Nel Museo Archeologico sono conservati vasi e oggetti etruschi provenienti da alcune tombe rinvenute sul territorio, la ricostruzione di una tomba eneolitica del IV millennio a.C. a grotticella scoperta nel 1988 sulla Strada delle Lellere, ma ciò che suscita più interesse è “la Dama con l’orecchino o Ragazza delle Porciglia“: nel 1996, alcuni scavi effettuati dal Gruppo Archeologico Colligiano hanno portato alla luce i resti di una giovane donna che portava ancora attaccato un orecchino d’oro, di splendida fattura.