در سال ۴۳ مرا از دانشکده الهیات بیرون کردند. علت اینکه من در آنجا درس می‌گفتم این بود که مرحوم آقای حاج مهدی حائری یزدی از طرف آقای بروجردی به عنوان نمایندگی در آمریکا منصوب شدند. حتی فرمان نمایندگیش را به من نشان داد. یک روز در مدرسه سپهسالار نشسته بودم، آقای حائری آمد (با ما خیلی مأنوس بود و به خاندان حاج شیخ ارادات داشتیم،‌ چون حاج شیخ عبدالکریم بزرگ شده سامره بود و در خانه میرزا بزرگ شده بود، لذا روابط ما روابط خانوادگی بود). یک روز آمد مدرسه سپهسالار و به من آن فرمان را نشان داد که خیلی هم جالب بود، حالا من خصوصیات عبارت یادم نیست ولی به این فرمان معجب بودم. ایشان رفت، ‌بعد از رفتن ایشان مرا به جای او دعوت کردند در همین دانشکده الهیات که به جای ایشان درس بدهم. ولی عملاً جای او را به من ندادند، چون او دوره فوق لیسانس درس می‌داد و من را گذاشتند دوره لیسانس. ایشان آن موقع فقه و اصول درس می‌گفتند.
من در این دوره تدرس می‌کردم تا اینکه در سال ۴۳ مرا اخراج کردند، آقای مطهری را هم اخراج کردند. صدر بلاغی را هم اخراج کردند، آقا مرتضی جزایری را هم اخراج کردند، چند نفر معمم را اخراج کردند. یک روزی آقای سید محمد باقر سبزواری که نمی‌دانم اسمش را شنیده‌اید یا نه، از اساتید دانشکده الهیات بود، جلوی شمس العماره در ناصر خسرو مرا دید و گفت: «من راجع به بازگشت شما به دانشکده با فروزانفر خیلی صحبت کرده‌ام. به او گفته‌ام: شما مگر چند نفر امثال فلانی را در دانشکده دارید؟‌» گفت: «آقا! از بالا به ما دستور داده‌اند که اینها نباشند!» یعنی ساواک دستور داده بود که اینها بروند. علتش هم این بود که من سر کلاس از راه روحانیت دفاع می‌کردم. بچه‌ها هم به من تذکر می‌دادند و می‌گفتند آقا اینجا افرادی هم هستند که برای شما گزارش می‌دهند، شما این حرفها را چرا می‌زنید؟ من گفتم: «من چیز بدی نمی‌گویم، فقط می‌گویم راه روحانیت خوب است». در اعلامیه‌هایی که بر علیه اصلاحات ارضی یا علیه انجمن‌های ایالتی که یکی از مسائل هم همین بود یا ورود زنها در انجمن‌ها می‌دادند، این اعلامیه‌ها را ما دفاع می‌کردیم و گاهی هم امضاء داشتیم در آنها و گاهی هم سر کلاس دفاع می‌کردم تا ظاهراً اول سال ۴۳ بود که نامه‌ای نوشتند برای من (نامه اخراج) که : آقای میر رضی ـ آنها به من می‌گفتند میر رضی، سید نمی‌گفتند ـ آقای میر رضی! شما از اول سال تحصیلی دیگر دانشکده نیایید، ما هم دانشکده نرفتیم و در خانه ماندیم. منزل ما آن وقتها کوچه میرزا محمود وزیر در سرچشمه بود تا اینکه مدتی گذشت و این مسجد شفا که یکی از مخلصین آقای خوانساری متصدی ساختنش بود، ‌تمام شد. آیت الله خوانساری به من پیشنهاد این مسجد را داد. ما گفتیم راه دور است و بهانه کردیم، بالاخره ما را آوردند اینجا و چهل و چند سال است که من در این مسجد مشغول نماز و سخنرانی هستم.