1936년 10월 22일 충청북도 음성군에서 태어났다. 원래 1959년에 대한민국에서 방송인으로 데뷔한 후 한동안 MC 생활을 하다가 1962년에 대한민국 해군 유학생 신분으로 미국에 건너갔다. 그리고 제대한 후에도 그냥 미국에 눌러앉아 알바를 무려 3개씩이나 하며 공부한 끝에, 오하이오 웨슬리언 대학교 성악과를 졸업했다.
아예 미국에 눌러앉은 그는 1964년부터 뉴욕에서 무명 MC 겸 코미디언 생활을 했는데, 이미 그때부터 뉴욕의 '텔 아비브'라는 카페에서 자신만의 독특한 스탠드업 코미디 양식을 개발했으며, 이때부터 자신의 스탠드업 코미디가 미국인에게 먹힌다는 확신을 가졌다고 한다. 자극적인 소재나 욕설, 폭력 등의 천박한 방법을 하나도 쓰지 않고, 여유로운 표정으로 동양인으로서의 자신에 대한 비하, 성적 풍자, 정치풍자 등을 간결하게 툭툭 던지고 넘어가는 식으로 미국인들을 엄청 웃게 만들었다.
그러다가 1977년 뉴욕 최고 연예인상을 받았으며 또 그가 공연하던 산타 모니카 코미디 클럽에서 미국 최고의 토크쇼였던 《자니 카슨의 투나잇 쇼》의 호스트 자니 카슨에게 픽업되었고, 그의 제의를 받아 아시아인 최초로 《투나잇 쇼》에 출연했다. 첫 출연에선 간단하게 스탠드업 코메디만 하려고 했는데, 다음 출연인 대배우 찰턴 헤스턴이 갑자기 사라져서 대타로 20분 가까이 자니 카슨과 함께 시간을 끌어야 했으며, 시간 끌려고, 어렸을 때 어머니가 자주 불러주셨다는 노래를 들려주겠다며 나섰는데 가곡 오 솔레미오였다. 한편 찰턴 헤스턴이 늦게 도착해 착석했는데 옆에 앉아 있던 자니 윤이 그에게 "내가 당신이 출연한 벤허를 5번 봤었죠."라고 말한다. 헤스턴이 자니 윤의 손을 맞잡으며 정말 고맙다고 말하자, 자니 윤은 "5번 본 건 그 영화가 좋아서가 아니라 내가 그때 영어 대사를 못 알아들어서죠."라고 조크를 쳐서 모두를 웃겼다.
갑작스러운 상황에 잘 대처한 자니 윤의 유머, 재능, 진행력을 자니 카슨이 매우 마음에 들어해서, 무조건 한 달에 한번씩은 자니 윤을 초청하라고 피디에게 지시했다고 한다. 그 덕분에 일약 스타덤에 올랐고, 1970년대에서 1980년대에 이르기까지 자니 카슨 쇼에 총 34번을 출연하는등 미국 스탠드업 코미디 업계의 네임드로서 활약했다. 과장이 아니다. 당시 미국에서 제일 잘 알려진 코미디언 중 하나였다.
1991년 SBS가 TV 방송을 개국한 뒤 주말 밤에 《자니 윤 이야기쇼》를 편성하자 브라운관으로 돌아와 메인 MC로 활동했다. 다만 문화적인 차이 때문에, 대한민국에서 그의 토크쇼는 생각만큼 오래 가지 못했다. SBS에서 하차했을 당시 "다시는 토크쇼를 진행하지 않겠다"는 선언을 하고 브라운관에서 자취를 감추었지만, 그는 토크쇼라는 프로그램 포맷이 대한민국에 뿌리내리게 한 기반이 되었다.
2002년 7월 14일에 경인방송에서 첫 방송한(첫 회는 일요일 밤 11시에 방영했고 2회부터 일요일 밤 10시 30분에 방송) <What's up> (2002년 11월 10일부터 <자니 윤 나이트쇼>로 제목 변경했고 2003년 1월 26일까지 일요일 밤 10시 30분에 방영됐지만 그 해 2월 8일부터 4월 5일 마지막회까지 토요일 밤 11시 30분에 방송됨)의 진행을 맡았다.
1999년에 18세 연하의 재미교포 줄리아리와 결혼하였고, 2009년에 이혼했다. 그럼에도 줄리아는 치매에 걸린 자니를 간호해 주었다.
2014년 8월에는 한국관광공사의 상임감사로 선임됐으나, 임기 만료를 앞두고 2016년 4월 13일 뇌출혈이 발병해 동년 6월에 물러났다.
한국관광공사에서 물러난 후 미국으로 돌아간 그는 치매를 앓게 되어 오랫동안 캘리포니아주 로스앤젤레스 근교 요양원에서 생활해 왔고, 2020년 3월 4일에 저혈압으로 입원했으나 끝내 3월 8일에 세상을 떠났다. 그의 유언에 따라 시신은 캘리포니아대학교 어바인 메디컬 센터에 기증하기로 했다.
그가 진행한 프로그램에서 보조 MC를 맡은 적이 있는 가수 조영남은 부고를 들은 후 "그의 풍자를 따를 사람이 없다"고 회고했다.