والخراج يكون في الأرض الحية التي تزرع أو التي يمكن زراعتها، وهكذا التي فيها أشجار، ولا تكون على الموات، وليس للخراج مقدار معين فيرجع أمره إلى اجتهاد الحاكم بما لا مظلمة فيه، وله أن يضعه على الزرع والثمار فيجعل على الكيل مقدارًا معينًا من الدراهم ونحوها، أو على الأرض، وعلى الأرض أحسن وأضبط.
وأمَّا المساكن والدور فليس عليها خراج، وقد كان الإمام أحمد يخرج ذلك احتياطًا.
قَالَ الْعَلَّامَةُ ابْنُ الْقَيِّمِ ﵀ فِي [أَحْكَامِ أَهْلِ الذِّمَةِ] (١/ ٢٧٦ - ٢٧٧):
«وَإِذَا بَنَى فِي أَرْضِ الْخَرَاجِ دُورًا وَحَوَانِيتَ كَانَ خَرَاجُهَا مُسْتَحِقًّا عَلَيْهِ؛ هَذَا ظَاهِرُ كَلَامِ أَحْمَدَ; لِأَنَّ الْخَرَاجَ لَا يَتَوَقَّفُ عَلَى الزَّرْعِ وَالْغَرْسِ، فَإِنَّهُ قَالَ فِي رِوَايَةِ يَعْقُوبَ بْنِ بُخْتَانَ، وَقَدْ سَأَلَهُ: تَرَى أَنْ يُخْرِجَ الرَّجُلُ عَمَّا فِي يَدِهِ مِنْ دَارٍ أَوْ ضَيْعَةٍ عَلَى مَا وَظَّفَ عُمَرُ ﵁ عَلَى كُلِّ جَرِيبٍ فَيَتَصَدَّقَ بِهِ؟ فَقَالَ: مَا أَجْوَدَ هَذَا، فَقَالَ لَهُ يَعْقُوبُ: بَلَغَنِي عَنْكَ أَنَّكَ تُعْطِي عَنْ دَارِكَ الْخَرَاجَ فَتَتَصَدَّقُ بِهِ، قَالَ: نَعَمْ.