النادرة ما لا يوجد في غيرها من المكتبات العامة والخاصة. وقد أبقاها أولاده عندهم ليستفيد منها القراء والباحثون وكان بها زيادات ومكررات كثيرة، فانتظروا لتحويلها إلى المسجد الذي أوصى ببنائه في بلدة "أملج" التي ولد بها.
كما ترك آثاراً علمية، المخطوط منها أكثر من المطبوع، وكان قد أمر بترتيبها قبل وفاته بأكثر من سنة تمهيداً لطبعها، ولما تنتهِ بعد حتى إعداد هذه الترجمة، كما عُثر على مخطوطات أخرى له، بعضها كتب كاملة، لم تكن بين المهيَّأة للترتيب ..
وقبل وفاته بأيام صدر فيه كتاب بعنوان: "عبد العزيز الرفاعي أديباً" بقلم الدكتور محمد بن مريسي الحارثي، صدر عن نادي جدة الأدبي عام ١٤١٤ هـ.
ورأيت كتاباً مخطوطاً عنه وعن أدبه، تأليف أحد الكتاب من مصر, أرسله