Самолет разрабатывался в первой половине 50-х годов с применением опыта, полученного при ведении боевых действий в Корее. В это время считалось, что основной характеристикой истребителя является максимальная скорость, маневренность полагалась необязательной, т.к. маневренный воздушный бой якобы себя изжил. На первый план выдвигался автоматизированный воздушный бой, при котором самолет после взлета с аэродрома, на максимальной скорости наводился на цель, производил пуск ракет и возвращался обратно. Истребителю отводилась роль «пилотируемой ракеты». F-104 явился воплощением этой концепции, которая считалась революционной, определяющей будущее самолета-истребителя. Самолет был создан под руководством знаменитого американского авиаконструктора Келли Джонсона, разработавшего такие знаменитые самолеты как Р-38 Лайтнинг (Молния) и SR-71 Блэк Берд (Черная птица).