戦後歌謡界を代表する作曲家の一人である。国民栄誉賞の受賞は、作曲家では古賀政男、服部良一、吉田正に次いで4人目の受賞者でもあった。

遠藤は１９３２年、東京生まれ。父は廃品業者だったため、生活が苦しく高等小学校しか出られず、すぐに紡績工場の見習い工となり働き始めた。
歌が好きだったので工場の若い女子工員を相手に歌い人気を博していた。あるとき地方回りの楽団がきた祭、飛び入りで歌うと、この楽団から声がかかり、歌手として楽団員になる。初舞台は母親が半ズボンを２つ継ぎ合わせて作ってくれた衣装だった。歌い終わったあと、楽屋に帰ると祝儀袋が８つも届いていた。町長、後援会長、町会議員そして父の名前もあったが、開いてみると全て空っぽだった。怒りがこみ上げ叩きつけようと思ったが、筆跡をよく見ると全て父親であった。「息子の晴れの門出を祝ってやりたいが金がない。せめて祝儀袋でも」と思ってくれたのが分かり、目頭をぬぐった手で、封筒の束を上着のポケットに押し込んだという。
入団して3月目に楽団が解散することになり、両親のもとに戻ったが、すぐ生活の糧を求めて働いた。日雇い仕事に出かけ、ガラス工場の手伝い、水飴の行商、牛乳や新聞も配達する生活だった。しかし、歌が好きだから、家々の前に立ち楽器を演奏し歌う門付け芸人になる。これも相方と衝突し長続きはしなかった。もう新潟には居られず、上京し、ギター流しで酒場めぐりをしながら客たちに接すると、客の哀感を身近に知ることができた。
戦後復興期の駅前には小さな飲み屋が無秩序にひしめき、夜になれば男たちが焼き鳥、おでんを片手に焼酎や合成酒で一日の疲れを癒していた。戦争で夫や親を亡くした女たちは、心の影を化粧の下に隠して男たちの酒の相手をした。ある男性は「長崎の鐘」を、ある女性は「星の流れに」を何度もリクエストするのだった。そこには歌があった。喜びや悲しみを旋律にのせて、人の心に染みていく歌があった。このとき彼は大きな気づきを得たのだった。

3曲百円の流しの仕事は不安定ではあったが、男と女の、いや人間の機微を教えてくれた。

このときの貧乏暮らしが人間の哀感や機微を教えてくれた。この蓄積が歌に作曲に大いに貢献したことになる。
この後、彼は自分の風貌が歌手向きではないと気づき、作曲家になるためギター演奏を独学でマスターする。そしてふるさとや高校へ行けなかった羨望を思い出しながら、「お月さんこんばんわ」「高校３年生」「北国の春」など大ヒットを飛ばす大作曲家になったのだった。世に送り出した楽曲は5000曲以上（その大部分は演歌）と言われ舟木一夫、千昌夫、森昌子など多くの歌手を育てたのでした。
余談になりますが、千昌夫が「高校3年生」を歌いたくて遠藤に懇請したところ「お前の歌ではダメだ。民謡調になるから」と言われたそうです。「舟木一夫の高校生のように素直に歌わなくっちゃ」と思われたのでしょう。