ナチスが政権をとる前から、ドイツ国防軍はヴェルサイユ条約下で密かに再軍備を見据えた新型戦車の開発を行っていた。その際、多砲塔戦車が製造されたが大きくて重かったことから新たな戦車の開発が求められた。
装甲部隊の創設者であるハインツ・グデーリアンが求めた戦車の使用は2種類あった。第一に、主力の戦車として開発された3号戦車と、その支援車両として開発された4号戦車である。このように、4号戦車は70mm砲搭載の20トン級の支援車両として開発された戦車であり、1937年から「4号戦車」と呼ばれるようになった。
4社によって試作車が製造され、それぞれのパフォーマンスを比較したところ、D型が採用されることになった。こうして1939年から4号戦車D型の量産が開始された。この後も、実戦を経て数々の改良が加えられていき、最終的には長砲身の75mm砲を搭載したJ型になった。
本車は、ドイツ軍の中では最も生産数が多く、改良が限界に達した世界大戦中期以降もドイツ軍の戦車隊の主力として使用され続け、ドイツ戦車中隊のワークホースと呼ばれた。