К 40-м годам Pak 35/36 была уже практически бессильна против броневой защиты новых танков. Вермахт предвидел это, и к 1938 году концерн «Рейнметалл-Борцир» разработал новую 50-мм пушку. К 1939 году она была готова к запуску в производство, но в войска она поступила только в середине 1940 года. Боевое крещение Pak 38 получила на Восточном фронте в 1941 году.
    К началу реализации плана «Барбаросса», пушка была снабжена новыми боеприпасами с вольфрамовым сердечником, известными как АР40. Прототипом для них послужили снаряды, захваченные в Польше и Чехословакии.
    Плотный вольфрамовый сердечник значительно усиливал бронебойность.
    И когда на поле боя появились новые советские танки Т-34/76, стреляющая снарядами АР40 Pak 38 была единственной пушкой, способной пробить их толстую броню. Но количество Pak 38 на фронте было еще ограничено и чтобы закрыть брешь в gротивотанковой обороне, на Восточный фронт были срочно брошены модифицированные французские 75-мм пушки. Впоследствии, 50-мм Pak 38 были достаточно эффективными и служили до конца Второй мировой войны, хотя и были в основном заменены при борьбе с танками орудиями большего калибра.
    Противотанковая пушка Pak 38 имела изогнутый щит, стальные колеса и трубчатую раздвоенную станину; при разводе ее оконечностей размыкалась торсионная подвеска. Ствол орудия имел дульный тормоз. Чтобы облегчить транспортировку пушки ее станина была изготовлена в основном из легких сплавов, а под сошниками имелись небольшие колеса.
    Pak 38 стала одной из стандартных противотанковых пушек Вермахта и позднее была снабжена устройством автоматической подачи снарядов. Это позволило использовать ее позднее в качестве тяжелой авиационной пушки на одной из моделей реактивного «Мессершмитта» Ме 262. В конце войны пушку модифицировали в наземное зенитное орудие, но производство так и не было налажено. По существующим данным сложно точно говорить о том, применялось ли данное орудие в качестве наземного зенитного орудия. Кроме того, имелась модель для установки на танк. Многие модели Pak 38 применялись в обороне «Атлантического Вала».
    Pak 38 устанавливалась на многих типах гусеничных шасси «Панцерьягер». Британская армия захватила так много этих установок, что они даже прошли техническое обслуживание и были помещены на склады, как запасное оружие в случае перебоев с производством британских противотанковых пушек.