فالرواية الأولى فيها أنه وجد له بعض الأشعار ظهر منها الرفض والوقوع في أبي بكر وابنته عائشة- ﵄ وفي الثانية أن سبب الضرب والحبس تكليمه للقاضي سعد الدين بكلام غليظ، وأنهم شهدوا عليه، وأخرجوا بخطه هجوا في الشيخين وفي الثالثة: أنه وقع في حق عائشة- ﵂ وفي الرابعة أنه وقع بينه وبين سعد الدين كلام في الدرس، ففوض ابنه أمر الطوفي إلى بعض النواب فشهدوا عليه بالرفض، وفي الخامسة: أن سبب الحبس والضرب هو كتاب:" العذاب الواصب على أرواح النواصب"، وهذا في نظري يدل على وقوع الخلاف بين القاضي والطوفي ولكن لم يبين السبب الحقيقي ولا يؤمن أن من فوض إليه أمره لفقوا على الطوفي الرفض.، والله أعلم.
هذا هو الاتهام الذي وجه إلى الطوفي- ﵀، وما رأيته في ترجمته عند المؤرخين له، ولم يكن لديهم مما يؤيد هذا الاتهام غير ما تقدم، وابن رجب- رحمه الله تعالى- يرى أن الطوفي مات على عقيدة الرافضة وأنه لم يتحول عنها فهو يقول:" قلت: وقد ذكر بعض شيوخنا عمن حدثه عن آخر: أنه أظهر له التوبة وهو محبوس. وهذا من تقيته ونفاقه" «١» اهـ.
أما بعض المؤرخين له فيميلون إلي أنه رجع عن الرفض فيقول الإمام الذهبي- ﵀:" ويقال إنه- أي الطوفى- تاب عن الرفض" «٢».
ويقول الكمال جعفر:" فشهدوا عليه بالرفض فضرب فصنف تصنيفا أنكرت عليه فيه ألفاظا فغيرها ثم لم نر منه بعد ولا سمعنا عنه شيئا يشين" «٣».