С конца XVIII и до начала XX века в здании будущего Московского дома художника располагались сначала книжная лавка, затем — магазины и торговые лавки. В 1917 году здание было приобретено кондитером и пекарем Николаем Филипповым, открывшим здесь кофе «Питтореск». В оформлении кафе принимали участие художники Лев Бруни, Александр Осьмёркин, Надежда Удальцова, а в его художественную коллегию входили Георгий Якулов, Всеволод Мейерхольд, Александр Кроль, театральный режиссёр Мориц Шлуглейт. С 1930 года в здании проходили художественные выставки. До 1953 года здесь размещался Всероссийский союз кооперативных товариществ работников изобразительного искусства «Всекохудожник», а после его ликвидации и по нынешний день — Московский дом художника. В годы Второй мировой здесь создавались «Окна ТАСС». В 1965 году фасад здания был снесён, а само здание перестроено. В 2001 году по сохранившимся чертежам XIX века в здании были проведены реставрационные и отделочные работы под руководством архитектора А. Д. Студеникина, в ходе которых пассажу был возвращён дореволюционный вид.