Инициатива создания Музея Братьев Ткачевых принадлежит депутату Верховного Совета РСФСР, директору Брянского машиностроительного завода Геннадию Павловичу Бурову. В начале 80-х годов XX века была начата разработка проекта пристройки музея к заводскому Дворцу культуры, чтобы в будущем дворец и музей стали единым культурным комплексом. Однако со смертью Геннадия Павловича работы были приостановлены.
В 1995 году к художникам Ткачевым обратились начальник управления культуры Брянской области Л. П. Сорокина и директор Брянского областного художественного музея Л. З. Удалова с предложением вновь вернуться к идее создания музея. Было выбрано новое здание — двухэтажный особняк в стиле модерн с элементами неоклассицизма, построенный по улице Куйбышева в начале XX века. Выбор места не был случайным: недалеко от этого особняка до Великой Отечественной войны находился дом, в котором прошло детство художников. Рядом расположен Брянский машиностроительный завод, с которым была связана рабочая династия семьи Ткачевых во главе с их отцом, трудившимся на заводе еще с 1910 года.
14 сентября 1995 года, в 70-летний юбилей Алексея Петровича Ткачева, музей распахнул двери для посетителей. Первоначальную коллекцию составили 200 работ, подаренных музею художниками.
Со временем здание, в котором располагался музей, уже не соответствовало в полной мере потребностям расширяющейся экспозиции. Поэтому в 2008 году состоялась масштабная реконструкция музея: рядом с историческим зданием со стороны улицы Ульянова было построено современное. Оба здания соединены между собой зимним садом. В новой пристройке расположены два хранилища для живописи и графики, уютная библиотека, концертный зал, конференц-зал с мультимедийным оборудованием.
Сегодня Музей Братьев Ткачевых один из крупнейших центров культурной жизни города Брянска. Его экспозиции ежегодно пополняются произведениями Алексея Петровича и Сергея Петровича Ткачевых, передаваемыми художниками в дар музею и всем жителям Брянщины. В настоящее время в собрании музея насчитывается около 1000 произведений художников, среди которых полотна, ставшие классикой русского изобразительного искусства второй половины XX века, а также подготовительные этюды и наброски к произведениям разных лет. Подобного музейного собрания, в основе которого — произведения, принадлежащие двум авторам (соавторам), а также индивидуальные работы каждого из них, в России нет.
Музей Братьев Ткачевых принимает активное участие в общественно-культурной жизни Брянской области. Наряду с экскурсионной деятельностью в нем широко используются и другие формы научно-просветительской работы: экспозиционно-выставочные проекты, художественная студия, работает клуб «Параскева», проводятся мастер-классы, музейно-педагогические занятия, презентации, круглые столы, конференции, творческие вечера, конкурсы детского искусства. В 2012 году было учреждено Международное триеннале детского изобразительного творчества имени А.П. и С. П. Ткачевых. В этом году конкурс будет проводиться уже в четвертый раз.