Конструкторское бюро «Малахит» возникло на базе специального конструкторского бюро №143, организованного по приказу Совета министров СССР 31 марта 1948 г. и центрального конструкторского бюро №18. Бюро начали работать над совместными проектами с 1953 г. Первоначальной задачей, поставленной перед конструкторами было «проектирование и отработка новых энергетических установок для подводных лодок, а также проектирование подводных лодок с энергоустановками этого типа». Фактически, в поле деятельности бюро попадали проектирование и тестирование подводных лодок, военных кораблей и специального вооружения. Постановлением совета министров от 15 октября 1949 года было организовано еще одно предприятие – Центральное конструкторское бюро №16, специализацией которого стало проектирование линкоров и тяжелых крейсеров. Его главным конструктором был назначен Н.Н. Исанин, один из ведущих конструкторов кораблей в СССР. На протяжении нескольких лет коллективами организаций было успешно выполнено несколько уникальных проектов, самым значимым из которых было проектирование тяжелого крейсера №82. Особенностью корабля была повышенная скорость, превышавшая все существующие аналоги как в СССР, так и за рубежом.
Однако наиболее значимым проектом, успешно выполненным КБ была разработка первой атомной подводной лодки. Работа над ней началась 18 февраля 1953 г. по приказу министра судостроительной промышленности, И. И. Носенко, проект получил порядковый номер 627. Данная подводная лодка оказалась прорывом в подводном кораблестроении. До появления проекта №627, лодки были «ныряющими», так как не могли находиться продолжительное время под водой и вынуждены были систематически всплывать на поверхность. Новая же лодка могла находиться в подводном положении до 3-ех месяцев. Еще одной отличительной чертой проекта стало то, что он был создан без заимствования немецких или американских технологий, в то время как первая атомная подводная лодка США, «Наутилус», была спроектирована на базе XXI серии немецких подлодок. 23 февраля 1974 г. три КБ были объединены в единое бюро – СПМБМ «Малахит», продолжающее разработки и по сегодняшний день. С 1965 г. бюро располагается в специально созданном для нужд конструкторов здании на улице Фрунзе.