חכם יוסף גרג'י נולד בהראת שבאפגניסטן, אביו חכם מתתיה היה רבם של יהודי הראת וממנו למד חכם יוסף את רוב תורתו. היה בקי גדול גם בנגלה ונבסתר, כמו כן היה דרשן דגול, מוהל ושוחט.
בשנת ה'תרס"ג (1903) החליט לעלות לארץ ישראל, בדרכו לארץ עבר בעיר מרב שבבוכרה, הקהילה היהודית במקום ביקשה ממנו להיות רבם והוא נעתר להם. חכם יוסף שימש כרבם במשך שבע שנים ולאחר מכן עלה לארץ ישראל.
השתקע בשכונת הבוכרים בירושלים, שם המשיך בשקידתו על תלמודו ובדרשותיו. גם בארץ ישראל המשיך במצוות המילה, והיה מתאמץ אף למקומות רחוקים בשביל לזכות במצווה זו.
חיבר את הספר "עדות ביהוסף" – פירושים ודרשות על ספר התהילים.
נפטר בערב שבת ו' כסלו ה'תרצ"ז (1937)