Edificato probabilmente nel Quattrocento dalla famiglia Lazzaroni e successivamente ampliato, il palazzo cambiò più volte di proprietà fino all’acquisizione, nel 1881, da parte del notaio Giuseppe Lambertenghi.

Il museo è ospitato presso la settecentesca “Casa del Penitenziere”, affacciata sulla storica piazza del Santuario della Madonna di Tirano.