بنی‌صدر به من می‌گفت: "تو اولین کسی بودی که علیه من نطق کردی!" و بزرگترین ایرادش به من این نکته بود و ایراد دیگرش هم این بود که در دادگاه انقلاب بهشهر سخت‌گیر بودم که من این ماجراها را نفی نکردم ولی برای آن که نشان دهم که این دادگاه روی ضابطه عمل می کرد داستان باغ کاووس را نقل کردم.
یک روز به من خبر دادند که بچه‌های حزب‌اللهی "رستم کلا" که الان شهری در حوالی بهشهر است، باغ کاووس را که یک زرتشتی بود تصرف کرده اند. آقای کاووس فردی محترم هم به حساب می‌آمد و در روز عاشورا هم برای حضرت ابوالفضل(ع) خرجی می‌داد. باغ کاووس باغ پرتقال خیلی خوبی بود.
سوار جیب شهربانی شدم و رفتم رستمکلا دیدم که جلوی باغ تابلویی زده‌اند و نوشته‌اند که به حکم انقلابی... این باغ مصادره شده است. داخل باغ شدم و دیدم که یکی از بچه‌ها در حال وضو گرفتن است. آن فرد به احترام من از جایش بلند شد و ایستاد و من از او پرسیدم که چکار می‌کنی؟ با تعجب پاسخ داد میبینید که وضو می‌گیرم.
من از او پرسیدم که آیا با آب غصبی هم می‌شود وضو گرفت؟ تعجبش بیشتر شد و گفت: احمد آقا این باغ کاووس است. من گفتم: کاووس اهل کتاب است و مالکیتش محترم است و شما نمی توانید بدون اذن او وارد باغش شوید. بعد از آن همه افراد جمع شدند و من به آنها گفتم که مالکیت را محترم بشمارند؛ اگر چیزی غصبی باشد، می‌گیریم و اگر کسی مالکیتی داشته باشد از آن دفاع می‌کنیم.
خلاصه افرادی که در آنجا بودند، با وجود آنکه طرفدار بنی‌صدر هم بودند با توجه به سخنرانی من و استناداتی که ارائه دادم، آنجا را ترک کردند. آقای انواری بعد از نقل این ماجرا گفت که آقای بنی‌صدر ظاهراً آقای توکلی هم مقداری در خط شماست و مثل شما از مالکیت دفاع می‌کند که بنی‌صدر هم گفت: افرادی را می‌فرستم تا در این زمینه تحقیق کنند. بعد از چند روز با آقای رجایی کار داشتم او را نزد بنی صدر پیدا کردم. بعد از صحبت با رجایی گفت اقای رئیس جمهور با تو کار دارد و گوشی را به او داد. بنی صدر گفت یک آقایی به اسم آقای افضلی را فرستادم بهشهر و تحقیق کردیم که چند سئوال دارد می آید پیش شما. افضلی آمد مجلس گفت سئوال اول من این است که تحقیقات ما نشان می دهد که کارگران بهشهر با شما خوب نیستند. علت چیست؟ من از وی پرسیدم: چطور تحقیق کردی؟ پاسخ داد که ما سر چهار راه امام از چند کارگر در مورد شما سؤال کردیم. پرسیدم همه تحقیقات شما همین طور است؟ آیا اگر می‌خواهید در مورد کسی تحقیق کنید، می‌روید سر چهار راه و از دو سه نفرمی‌پرسید و به آن استناد می‌کنید؟ شرمنده شد. من پرسیدم: مشکل بعدی کجاست؟ که آن فرد گفت: شما دو تا خانه دارید! پرسیدم که اگر من دو تا خانه داشته باشم چه اشکالی دارد؛ آقای بنی‌صدر که مالکیت را قبول دارد؟ گفت نه اشکالی ندارد. گفتم پس چرا این مسئله را مطرح می‌کنید. بعد از آن هم گفتم که دو تا خانه ندارم بلکه یک خانه دارم که 110 متر است و زمینش هم از ارثیه پدرم است و پول ساخت و سازش هم از ارثیه مادری خانمم است. سئوال سوم نظر من راجع به حزب بود، که من هم در پاسخ گفتم: من به شهید بهشتی خیلی ارادت دارم و بعد هم از سجایای وی گفتم که آن فرد هم این مسائل را یادداشت کرد و رفت. آقای الویری که در جریان قضیه بود به من گفت: با این وضعیت معلوم است که وزیر نمی‌شوی که من هم گفتم قرار نیست ما وزیر شویم و اتفاقا در نهایت پذیرفته نشدم.
بعد از آن آقای موسوی به عنوان نخست‌وزیر معرفی شدند، آن زمان من از هیئت رئیسه استعفا کرده بودم چون پا‌هایم درد می‌کرد. یک روز به هیئت رئیسه رفتم و با آقای هاشمی کار داشتم که آقای هاشمی به من گفت: آقای موسوی دنبالت می‌گشت آیا پیدایت کرد که گفتم: نه، چه کارم داشت؟ آقای هاشمی گفت: موسوی می‌خواست به تو پیشنهاد کند که وزیر کار شوی، آیا وزیر می‌شوی؟ پس از صحبتهای آقای هاشمی من پذیرفتم. آقای هاشمی هم نامه معرفی وزراء را به آقای الویری داد و نام کسی را که قبل از من در نامه اسمش نوشته شده بود، لاک گرفت و اسم من را نوشت.