С 1928 года по 1936 год служба в Красной армии. Прошел путь от старшины до командира пулемётной роты.
С октября 1938 года - командир батальона 23-го стрелкового полка 8-й Минской стрелковой дивизии имени Ф.Э. Дзержинского Белорусского Особого военного округа. Участник операции по освобождению территорий Западной Белоруссии в сентябре 1939 года.
В период Советско-финской войны 1939-1940 г.г. командир отдельного лыжного разведывательно-диверсионного батальона.
С октября 1940 года – командир отдельного дисциплинарного батальона Ленинградского военного округа.
В начале Великой Отечественной войны, в июле 1941 года в звании майора назначен командиром 3-го стрелкового полка 1-й Ленинградской дивизии народного ополчения Ленинградского фронта.
В ноябре 1941 года назначен на Балтийский флот командиром 1-го Особого лыжного полка морской пехоты. С этого времени Василию Филипповичу запали в сердце смелость, мастерство и удаль «братишек». Позднее, став командующим Воздушно-десантными войсками, в знак того, что десантники переняли славные традиции старшего брата – морской пехоты- и с честью их продолжили, добился права носить десантниками тельняшки не синего, а голубого цвета, означающих принадлежность к небу.
Весь 1942 год командовал различными стрелковыми полками. На Южном фронте участвовал в освобождении Сталинграда, не давая деблокировать 6-ю армию Ф. Паулюса.
За образцовое выполнение боевых заданий командования на фронте борьбы с немецкими захватчиками и проявленные при этом отвагу и героизм Указом Президиума Верховного Совета ССС от 21 марта 1944 года гвардии полковнику Маргелову Василию Филипповичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда».
1945 год. Май. Участник Парада Победы в Москве.
С 1948 года, после окончания Высшей военной академии имени К.Е, Ворошилова, и по 1954 год командовал воздушно-десантными дивизиями и корпусами на Украине и Дальнем Востоке.
С 1954 по 1979 год – командующий Воздушно-десантными войсками (ВДВ) Советского Союза.
Воинское звание «генерал армии» ему было присвоено 28 октября 1967 г.
Генерал В.Ф.Маргелов по праву признается родоначальником современных ВДВ. За ним закрепилось неофициальное звание «Десантник №1», а за Воздушно-десантными войсками – единственное в своем роде неофициальное название «Войска дяди Васи».
С января 1979 года в звании генерала армии состоял в группе генеральных инспекторов Министерства обороны СССР. Инспектировал соединения ВДВ. Был Председателем Государственной экзаменационной комиссии в Рязанском воздушно- десантном училище.
За время службы в ВДВ совершил более 60 прыжков. Последний из них в 65-тилетнем возрасте.
Последние годы жизни жил и работал в Москве. Умер 4 марта 1990 года на 82-м году жизни. Похоронен на Новодевичьем кладбище в Москве.
Приказом Министра обороны Российской Федерации от 6 мая 2005 года утверждена ведомственная медаль «Генерал армии Маргелов».