1921（大正十）年、６月27日、合気道開祖植芝盛平の三男として、当時、大本教の本部があった綾部（京都府）にて生まれる。すでに姉、松子を残して、長男武盛、次男国治を亡くしていた植芝夫妻にとって、大事な跡取り息子として慈しまれた幼年期を過ごす。のち、昭和に入って、盛平が東京の拠点として新宿区若松町に「皇武館道場」を建設すると、吉祥丸も父母と共に上京し、芝区（現在の港区）赤羽小学校へ入学する。同校二年生時より剣道を学びはじめ、盛平の門人ともなる神道自然流空手道創始者で剣道の高段者でもあった小西康裕に学んだ。また、のちには、一時、植芝家の養子となる剣道家の中倉清（中山博道門下。のち剣道・居合道ともに範士九段）にも手ほどきを受けている。
生来、体の弱かったことから、武道を強要されることはなかったが、性質が適していたのか合気道も中学三年の頃より学び始め、盛平の命によって皇武館における鹿島新当流剣術の稽古にも励むと、十代半ばにして演武会において盛平の相手（剣の演武）を務めるようになる。東京府立六中（現・新宿高校）に進む頃には一通りの合気道技を身につけ、卒業時には専ら合気道の稽古に熱中していたという。
1941（昭和十六）年に早稲田大学へ入学。しかし、ほどなくして肺炎から肋膜炎を患い、大学を休学。召集令状を受けるが、身体検査の結果、丙種合格で即日帰郷となる。このため、以後、招集を受けることなく終戦を迎える。一方、盛平は戦乱の当時、東京以外の拠点を築くため、新たに本部道場長とした吉祥丸に｢東京（本部道場）の死守」を託して、茨城県岩間へ移住する。次第に激しさを増す戦局の中、残された門弟たちの補佐を受けながら、道場を運営。時に岩間を訪ねては食糧を調達して、一人また一人と減っていく内弟子たちを賄いつつ稽古を続ける。
努力の甲斐あって戦火を免れた本部道場を拠点として、岩間と東京の間を行き来し、新しい時代に日本人の精神的支柱となりうる武道としての｢合気道」を構想、盛平の承認を得て、新たに世界へ問う合気道の姿を模索していく。1948年には、戦前の皇武会を財団法人｢合気会」として新たに発足。当初は証券マンとして道場との二足のわらじで経営を助けつつ、1957年には合気道界初となる単行本『合気道』（監修：植芝盛平、著：植芝吉祥丸）を刊行するなど、合気道の普及活動へ邁進していく。
理知的にして温厚な人柄と、一見華奢にみえる風貌とは裏腹に、戦後、多くの門弟たちを鍛え上げ、多くの有能な指導者を送り出すと共に、父盛平に直接学んでそれぞれの教えを信奉する人々をも懐深く許容しつつ、合気会を世界随一の合気道組織としてまとめあげた。
1969年、植芝盛平入神にともない、翌1970年に財団法人合気会（当時）理事会において｢合気道道主の道統を継ぐ」ことが満場一致で承認、以後、二代道主として一生を全うする。1995（平成七）年、勲三等瑞宝章、受賞。21世紀を直前に控えた1999年１月４日、国立医療センターにて呼吸不全で逝去。満77歳。同年１月16日に青山葬儀場で営まれた合気会会葬には、世界各地から合気道普及の最前線を生きた師範たち、合気道を愛した人々が集い、故人の冥福を祈った。合気道の世界的発展において、その果たした業績は揺るぎないものがある。
