Məktəb Bakı şəhər Xalq Deputatları Soveti İcraiyyə Komitəsinin 20/IX-1978-ci il 36/418 №-li arxiv arayışına əsasən 1937-ci il sentyabr ayında Leytenant Şmidt аdına  zavodun nəzdində fəaliyyətə başlamışdır.Məktəbin ilk direktoru Q.Ştrobidler olmuşdur.

1940-cı il sentyabr ayından 8 №li 7 illik Uşaq Musiqi məktəbi kimi fəaliyyət göstərmişdir.

1947-ci ildən 1963-cü ilə qədər  məktəbə Yeva Plednitskaya rəhbərlik  etmişdir.1963-cü ildən 2007-ci ilə qədər məktəbə Respublikanın Əməkdar müəllimi Rəna Hüseyn qızı Rəhimova rəhbərlik  etmişdir.

1989-cu ildə məktəbə dahi bəstəkar Qara Qarayevin adı verilmişdir.

2006-cı ildə məktəb 11-illik  musiqi  məktəbi statusunu alır.

2011-ci ildə Azərbaycan Respublikasının Prezidenti cənab İlham Əliyevin fərmanı ilə məktəbin binası yenidən inşa edilmiş, məktəb müasir avadanlıqlarla və yeni musiqi alətləri   ilə təchiz olunmuşdur.

Azərbaycan Respublikası Nazirlər Kabinetinin 05/IX-2013-cü   il tarixli 246 nömrəli qərarına əsasən məktəbə Mərkəzi İncəsənət Məktəbi statusu verilmişdir.