لا بد من تعيين من يحج بالناس ويشرف على حجهم، وهذا في الأصل هو الإمام الأعظم أو من ينيبه. ولذلك تجدون في التواريخ كالبداية والنهاية وغيرها: (وحج بالناس في هذا العام فلان) يعني ممن أنابه ولي الأمر. ولا ينفر الإمام الذي يقيم للناس المناسك في اليوم الثاني عشر، لأن الناس يتبعونه في الانصراف ويتبعونه في إقامة الشعائر، بل السنة أن يقيم إلى اليوم الثالث عشر؛ لأنه قد يطرأ للحاج ما يقتضي وجوده، فإنه لم يكلف من قبل ولي الأمر إلا ليحج بالناس، ويراعي مصالح الناس. وعلى هذا عليه أن يتأخر ولا ينفر.