Родился в городе Кведлинбург. В мае 1907 поступил фаненюнкером в 78-й пеший артиллерийский полк, и 14 августа 1908 произведен в лейтенанты. Участник Первой Мировой войны. За боевые отличия награжден Железным крестом 1-го и 2-го класса. После демобилизации армии оставлен в Рейхсвере.

    7 февраля 1940 года назначен командиром 291-й пехотной дивизии, которая в 22 июня 1941 года в составе 26-го армейского корпуса 18-й армии группы армий "Север" вторглась на территорию СССР и прошла советскую территорию от границы в Восточной Пруссии до Ленинграда и Волхова. 18 октября 1941 года К. Херцог награжден Рыцарским крестом Железного креста. С 30 июня 1942 года он командовал 38-м армейским корпусом 18-й армии группы армий "Север". После тяжелых боев в районе Волхова и озера Ильмень в январе 1944 года корпус начал отступление в Прибалтику, вел оборонительные бои в Курляндии. 12 января 1945 года его командир получил Дубовые листья к Рыцарскому кресту. До последних дней войны части Херцога оказывали сопротивление советским войскам в Курляндии. 8 мая 1945 года они капитулировали перед советскими войсками в Фрауенбурге (Латвия).

    В плену содержался в лагере № 48, спецлагере № 3840, новгородской тюрьме, Воркутинском лагере. 18 декабря 1947 года военным трибуналом Ленинградского военного округа К. Херцог приговорен к 25 годам заключения в исправительно-трудовых лагерях. Умер от дистрофии в стационаре лагпункта "Кирпичный завод № 2" Воркутинского лагеря.