Нильсен родился в 1926 году в Канаде, в семье полицейского. Прежде чем попасть в киношколу в Нью-Йорке, он успел побыть пулеметчиком в канадских ВВС и диджеем на радио. В 1954 году актер оказался в Голливуде и с тех пор успел сняться в 100 фильмах и полутора тысячах телепередач. Его самая известная роль — детектив Фрэнк Дребен (Frank Drebin) в трех частях полицейской комедии Дэвица Цукера (David Zucker) «Голый пистолет».
У того же Цукера актер сыграл свою последнюю роль — это был фильм «Американская сказка» (American Carol) 2008 года. Впрочем, российскому зрителю он мог также запомниться в фильме «Очень страшное кино-3» (Scary Movie 3, 2006).
Нильсен был четырежды женат, причем последний брак заключил в 2001 году. От второго брака у него две дочери.