Sárossy Elemér 1932. május 18-án született Kolozsvárott egy régi erdélyi magyar család egyetlen fiúgyermekeként. Általános iskolai és líceumi tanulmányait a kolozsvári Farkas utcai Református Gimnáziumában végezte.
A sportolást már nagyon fiatalon kezdte, igaz, akkor még a futballt választotta. Amikor 1950-ben elkezdte tanulmányait a bukaresti Testnevelési Egyetemen, akkor már futballistaként a román ifjúsági válogatott tagja volt. Az egyetemen ismerkedett meg és szeretett bele a kosárlabdába, ami onnantól kezdve saját maga - és később - családja számára is örök szerelem maradt. Kosárlabda iránti érzéke, tehetsége nagyon hamar nyilvánvalóvá vált, így már egyetemi évei alatt a Testnevelési Egyetem csapatából bekerült a román nemzeti válogatottba, melynek irányító játékosaként meghatározó tagja volt.
1954-ben, az egyetem elvégzése után visszaköltözött Kolozsvárra, ahol először a Kolozsvári Orvosi Egyetemen tanított testnevelő tanárként. 1959-es visszavonulásáig még aktív játékosként szerepelt a kolozsvári és a nemzeti válogatott csapatában egyaránt. Ebben az időszakban, beugró edzőként ismerte meg egy meccsen szintén kosárlabdázó feleségét, két gyermekének édesanyját. Játékosként eltöltött utolsó évében már játékosedzője is volt a kolozsvári egyetemi csapatnak, mellyel az 1958-59-es NB I-es bajnokságban ezüstérmes lett.
1960-tól a Kolozsvári Műszaki Egyetemen tanított, megszerezte az adjunktusi címet és felépítette az egyetem kosárlabda csapatát. Miután bejutottak az NB I-be, a következő években folyamatosan az első osztály élvonalához tartoztak, és kétszer is sikerült elérni a második helyezést a román nemzeti bajnokságban.
Saját nevelésű játékosai közül négyen lettek a román válogatott meghatározó játékosai, és ketten közülük kontinens válogatottak is voltak.
1965 és 1973 között öt alkalommal vett részt edzőként a román nemzeti válogatott "A" csoportos Európa-bajnoki szereplésén, melyek során a csapat legjobb eredménye az 1967-es Eb-n megszerzett ötödik helyezés volt.
1978-ban családjával áttelepült Magyarországra. Addigi pályája és az egyetemi csapatok iránti vonzalma okán először a Veszprémi Vegyipari Egyetem, majd 1979-82 között a Soproni SE csapatát vezette.
1982 és 1984 között a Budapesti Honvéd csapatát irányította, mellyel az akkoriban kötelezőnek mondott bajnoki címek mellett kétszer Magyar Kupát is nyert. Ebben az időszakban, vendégelőadóként részt vett a Testnevelési Főiskola edzőképzésén és továbbképzésén is.
1984 és 1986 között - egyetemi városok és csapatok iránti vonzalma miatt is - a szegedi SZEOL-t irányította és építette két szezonon keresztül. A sok stressz okozta kisebb egészségügyi probléma miatt ezek után abbahagyta az aktív edzői pályáját, és gazdasági területen helyezkedett el nyugdíjba vonulásáig.
A kosárlabdától azonban az elmúlt évtizedekben sem távolodott el. Gyermekei és később unokái kivétel nélkül mind a kosárlabdát választották, így míg unokái kosárlabdáztak, számtalanszor találkozhattunk Vele, és láthattuk csendesen mosolyogva a budapesti és vidéki termek lelátóin.
Az elmúlt éveit teljesen családjának szentelte. Tavalyelőtt ünnepelték - a kosárlabda pályán megismert - feleségével, Ricával a gyémántlakodalmukat (60 év!). Tavaszig azt hittük, ő sosem, de legalábbis még sokáig nem hagy itt bennünket. Sajnos nem így lett.
Augusztus 2-án, 88 éves korában, szerettei körében csendesen elment.