Музей расположен в исторической части города. Вместе с территорией бывшего сада особняк представляет образец русской усадьбы начала ХХ века. До революции усадьба принадлежала купцу-лесопромышленнику М. А. Лаптеву. Особняк построен в 1913 году в стиле модерн по проекту известного самарского архитектора А.А. Щербачева. Экспозиция классического искусства размещается в особняке, выставки – в новом здании музея, построенном в 2014 году.
Начало собрания и основание музея связаны с даром М.В. Нестерова 1913 года. Желая «содействовать художественному образованию своих земляков», художник подарил родному городу коллекцию русской живописи и графики второй половины ХIХ – начала ХХ века: 102 произведения, среди которых – полотна и графические листы И.Е. Репина, И.И. Шишкина, Н.А. Ярошенко, В.Д. Поленова, В.Е. Маковского, И.И. Левитана, К.А. Коровина, А.Я. Головина, А.Н. Бенуа, Н.К. Рериха и других выдающихся мастеров.