Заложена под стапельным номером 289 на заводе № 112 (Красное Сормово) в Горьком 20 (по другим данным 29) января 1940 года. 12 февраля 1941 года подводная лодка спущена на воду. Вскоре субмарина была погружена на железнодорожнный транспортер и отправлена для достройки и ввода в строй на завод № 198 в Николаев.

    Начало Великой Отечественной войны «М-120» встретила под командованием старшего лейтенанта (впоследствии капитан-лейтенанта) Волкова Анатолия Ивановича в составе отдельного дивизиона ПЛ на заводском стапеле. Степень технической готовности корабля составляла 93%. 29 июня 1941 года подводная лодка вторично спущена на воду, 7 августа она прибыла в Севастополь и зачислена в состав 8-го дивизиона 2-й бригады ПЛ ЧФ. 2 октября субмарина перешла в Очамчири, где 28 октября вступила в строй и 8 ноября вошла в состав Черноморского флота.

    13 февраля 1942 года во время учебного выхода в море «М-120» села на мель в районе Очамчири. В тот же день с помощью плавбазы «Эльбрус» подводная лодка снята с камней и приведена в Поти, где 23 февраля встала на аварийный ремонт.

    26 мая подводная лодка прибыла в Севастополь, откуда 1 июня вышла в свой первый боевой поход к острову Фидониси (позиция № 32). Молодого командира субмарины обеспечивал командир 8-го дивизиона ПЛ капитан 2 ранга Л.П. Хияйнен. За время патрулирования назначеного района подводная лодка 7 раз имела контакт с боевыми кораблями и конвоями противника, но по разным причинам в атаку так и не вышла. (Вечером 3 и утром 6 июня пропущены эсминцы, днем и вечером 6 июня и 9 июня командир подводной лодки отказался от атаки конвоя и нескольких десантных барж).

    После того как «М-120» благополучно вернулась в Туапсе, подводную лодку привлекают к снабжению осажденного Севастополя. 25-28 июня субмарина совершила туда один транспортный рейс, доставив защитникам города 6,5 тонн боеприпасов и эвакуировав в Новороссийск 6 человек. В дальнейшем «М-120» привлекалась к разведке в районе Феодосии, патрулированию у Севастополя и в районе Тарханкута (позиция № 5), где встреч с противником не имела.

    Вечером 22 сентября «М-120» вышла в район острова Фидониси (позиция № 43). Вечером 26 сентября при попытке занять позицию для атаки конвоя подводная лодка была обнаружена силами эскорта и контратакована. Румынские канонерская лодка «Гикулеску» и миноносцы «Налука» и «Змеул» открыли по субмарине артиллерийский огонь, а затем сбросили на безопасном удалении от подводной лодки несколько глубинных бомб. Днем 28 сентября «М-120» удалось занять выгодную позицию для пуска торпед, но они прошли мимо миноносца «Налука». Израсходовав боезапас, подлодка вернулась в Поти.

    В октябре 1942 года «М-120» выделили для переброски на Северный флот. Субмарина была погружена на железнодорожный транспортер и 24 ноября отправлена в Баку, куда благополучно прибыла через 5 суток. С 6 по 10 декабря на территории судоремонтного завода имени Закфедерации в Баку «М-120» была спущена на воду. 13 января 1943 года «М-120» вошла в состав Каспийской военной флотилии. В дальнейшем от планов переброски подлодки на Север отказались, и 16 октября 1943 года по железной дороге подлодка доставлена обратно в Поти. Вновь войдя в состав Черноморского флота «М-120» снова была зачислена в состав 3-го дивизиона бригады ПЛ ЧФ.

    9 февраля 1944 года командиром корабля назначен капитан 3 ранга Стрижак Александр Иванович. Уже вечером 10 февраля «М-120» вышла в район юго-западнее мыса Сарыч (позиция № 107). 19-20 февраля подводная лодка по приказу командования сместилась западнее для патрулирования северной части позиции № 105. Вечером 21 февраля из-за штормовой поломки вертикального руля подводная лодка начала возвращение в базу, но утром 23 февраля вертикальный руль вышел из строя окончательно. Днем 24 февраля на буксире базового тральщика «БТЩ-409» («Гарпун») в условиях сильного шторма «М-120» начала движение в Поти. Прибыв в базу, подводная лодка поставлена на аварийный ремонт, продлившийся до 14 августа. (Попутно с ремонтом с 30 апреля по 10 июня субмарина прошла докование). Ремонтные работы не дали «М-120» принять участие в боях за освобождение Крыма. 10 июня командиром подводной лодки стал старший лейтенант Иванов Павел Карпович.

    Последний боевой поход субмарины пришелся на завершающий этап войны на Черном море. Вечером 26 августа «М-120» вышла в район Мангалия – мыс Шаблер (позиция № 42). Днем 30 августа по приказу командования подводная лодка перешла в район Каварны (позиция № 43), а в ночь на 2 сентября сместилась к Варне (позиция № 44). Встречи с кораблями противника не было. Утром 5 сентября у подлодки при открытой крышке торпедного аппарата случайно сработала торпеда, которая вышла из торпедного аппарата и взорвалась при ударе о грунт. Утром 10 сентября «М-120» благополучно прибыла в Новороссийск.

    После окончания войны подводная лодка осталась на Черном море. 26 мая 1947 года в районе Севастополя при отработке задач боевой подготовки артиллерией и торпедами «М-120» потоплены мишени – бывшие германские подводные лодки «U-18» и «U-24», затопленные немецкими экипажами в Констанце, но позднее поднятые советскими моряками.

    17 августа 1953 года «М-120» исключена из состава флота и вскоре сдана на слом.