Заложена 21 апреля 1936 года на судоверфи «Germaniawerft» в Киле. Спущена на воду 24 сентября 1936 года и 10 октября 1936 года под командованием капитан-лейтенанта Хайнца Бухгольца (Heinz Bichholz) вступила в строй.

    Начало Второй Мировой войны «U-24» встретила в составе 3-й флотилии подводных лодок. Участвуя в боевых действиях на Западе, субмарина под командованием Удо Беренса (Udo Behrens). Харальда Юппенер-Хальтенхофа (Harald Jeppener-Haltenhoff) и Удо Хальмана (Udo Heilmann) провела 8 боевых патрулей в Северном море. Торпедным оружием подлодка успеха не добилась, зато на минах «U-24» утром 9 ноября 1939 года близ Сандерленда подорвался и погиб вместе с двумя членами экипажа британский пароход «Carmarthen Coast» (961 брт).

    Осенью 1941 года, когда стало ясно, что молниеносная война против СССР терпит крах, немецкое командование решило перебросить на Черное море часть своих военно-морских сил. В их число было решено включить и 6 малых подводных лодок II-B серии, сведенных в 30-ю флотилию; в их число вошла «U-24». Так как проход Черноморскими проливами был исключен, переброска кораблей осуществлялась по маршруту Киль – Гамбург – Дрезден (по Эльбе), после чего сухопутным путем до Ингольштадта и далее вниз по Дунаю до Сулины, а затем к месту базирования – в Констанцу.

    Под командованием старшего лейтенанта Клауса Петерсена (Klaus Petersen) «U-24» 13 октября 1942 года вновь вступила в строй и начала боевые действия против советского Черноморского флота, в итоге, став наряду с «U-20» самой результативной подлодкой стран Оси на театре. За 11 боевых походов в Черном море подлодкой уничтожены танкер, тральщик спецпостройки, два сторожевых катера, два мотобота; повреждены танкер и парусно-моторная шхуна.

    31 марта 1943 года в районе Сухуми «U-24» вывела из строя танкер «Кремль» (бывший «Союз водников»), а днем 15 июня на траверзе поселка Новый Афон жертвой торпед субмарины стал базовый тральщик «Т-411» («Защитник»); участь корабля разделили 46 членов его экипажа. 30 июля подлодкой окончательно уничтожен танкер «Эмба» (бывший «Эмбанефть»), который после того как получил значительные повреждения от авиации 29 января 1942 года в ходе проведения Керченско-Феодосийской операции, использовался как плавучий наливной склад на рейде Сухуми. Дальнейшие действия подлодки не были отмечены крупными успехами, но 22 августа в районе Пеленково она уничтожила артиллерией два мотобота, а 31 октября 1943 и 12 мая 1944 жертвами торпед «U-24» стали сторожевые катера «МО-088» и «МО-0376». Последним аккордом действий субмарины стал артобстрел небольшой советской шхуны в районе Анакрии 27 мая 1944.

    20 августа 1944 года «U-24» была тяжело повреждена авиацией Черноморского флота в гавани порта Констанца. Ввиду невозможности выхода в открытое море командир корабля обер-лейтенант Дитер Ленцман (Dieter Lenzmann) приказал затопить субмарину на внешнем рейде. Весной 1945 года подлодка поднята аварийно-спасательной службой Черноморского флота, законсервирована и сдана тылу флота на долговременное хранение. 7 июня 1945 года она была зачислена в состав Черноморского флота, но не восстанавливалась и 26 мая 1947 года потоплена в ходе учений торпедами ПЛ «М-120» в районе Севастополя. 19 июня 1947 окончательно исключена из списков.