Открытие Калужского областного художественного музея состоялось 12 июня 1918 года благодаря уроженцу Калуги врачу Никанору Ивановичу Васильеву. Принадлежавшая ему художественная коллекция была завещана городу и легла в основу коллекции художественного музея.
В 1924 году музей перестал быть отдельной музейной единицей и вместе с другими музеями города образовал Калужский Объединенный музей.
В 1926 году, при участии заведующего музея Всеволода Николаевича Левандовского, был организован Калужский филиал Ассоциации художников революционной России (АХРР). У местных художников появилась возможность выставлять свои работы на базе музея. Начала свою работу изостудия.
В 1939 году музей был передан Комитету по делам искусств и вместо художественного отдела снова стал Калужским городским художественным музеем.
В годы Великой Отечественной войны музейная коллекция потеряла значительную часть произведений. Сотрудник музея успел спрятать часть бесценных произведений, тем самым сохранив их для потомков.
Свою работу музей возобновил осенью 1944 года. С тех пор фонд музея пополняется новыми экспонатами.
Музей располагается на территории городской усадьбы Билибиных-Чистоклетовых.
Музей интересен еще и тем, что на его базе проводятся не только экскурсии, но и лекции, музыкальные вечера, уроки мастерства и многие другие интересные мероприятия.
