מילדותו התבלט הרב מרדכי אליהו בכישרונו. כיוון שבבית משפחתו לא היו מצויים ספרים רבים, קיבל מהרב בן ציון חזן מפתח להיכל ישיבת פורת יוסף ושם היה לומד מדי ערב. בצעירותו למד אצל הרב עזרא עטיה בישיבת פורת יוסף ואצל הרב צדקה חוצין. במלחמת העצמאות, השתתף בהקמת ביצורים שסייעו לכוחות המגן של הרובע היהודי.
בראשית שנת ה'תש"ך (1960) השלים את לימודיו בבית המדרש לרבנים ולדיינים של הרב יצחק נסים וקיבל כושר דיינות ממועצת הרבנות הראשית. הוא התמנה לדיין הצעיר ביותר בארץ, בבית הדין הרבני בבאר שבע. לאחר ארבע שנים עבר לבית הדין הרבני האזורי בירושלים ובשנת תש"ל התמנה כחבר בית הדין הרבני הגדול. בשנת תש"ל (1970) מונה בידי מועצת הרבנות הראשית לחבר ועדת הבוחנים לדיינים.
בד' בניסן ה'תשמ"ג נבחר לתפקיד הראשון לציון והרב הראשי לישראל במקומו של הרב עובדיה יוסף,
הרב אליהו נפטר בכ"ה בסיוון ה'תש"ע, 7 ביוני 2010 בגיל 81, לאחר תקופה של כשנתיים שבה חלה הידרדרות במצב בריאותו. כמאה אלף אנשים השתתפו בהלווייתו, הוא נטמן בהר המנוחות בירושלים באוהל שבו קבור החיד"א, שאת עצמותיו העלה לארץ וקבר שם חמישים שנה קודם לכן.