Старинное здание расположилось на территории четырёх кварталов. Комплекс был построен во второй половине XIX века. Его история тесно связана с Нежинским полком. «Красными» казармами постройки стали называть из-за цвета кирпича, из которого были выложены манеж, конюшни, штаб и церковь.

Размещение полка было важным событием для всего Ельца. В Городской думе даже была создана специальная комиссия, которая выявила, что для размещения полка самым удобным местом будет Засосенская часть города. На огромной территории планировалось строительство казарм в два с половиной этажа на 1009 строевых нижних чинов, 18 вольноопределяющихся и 6 вахмистров.

В жизни города полк играл одну из важных ролей. В первые годы в нём было много представителей из других районов и даже иноземцы. Начиная с 1900-х в рядах полка уже служили в основном жители Ельца и Елецкого уезда. На городских гуляниях и балах в женской гимназии часто играл духовой оркестр полка, потому что они были лучшими в городе.

Полк, который был размещен здесь, участвовал в Русско-японской войне и сражался под Мукденом. В 1907 году он стал именоваться 18-м Нежинским гусарским полком. В 1914 году объявили мобилизацию в связи с началом Первой мировой войны. Полк доукомплектовали, и из Ельца он отправился на фронт. К сожалению, назад Нежинский полк так и не вернулся, поэтому в 1918 году его расформировали.

После Великой Отечественной войны на территории казарм была размещена авиационная школа. В ней часто бывал командующий ВВС Московского военного округа Василий Сталин. Жил он в доме, в котором позже располагалась баня. Дом-сруб сохранился до сих пор.