إن الناس اختلفوا في بدء ظهور هذه الكلمة واستعمالها كاختلافهم في أصله وتعريفه , فذكر ابن خلدون في هذا أن لفظ الصوفية لم يكن مشهورا في القرون الثلاثة الأولى , وإنما اشتهر التكلم به بعد ذلك , وقد نقل التكلم به عن غير واحد من الأئمة والشيوخ كالإمام أحمد بن حنبل , وأبي سليمان الداراني وغيرهما .

وقد روى عن سفيان الثوري أنه تكلم به , وبعضهم يذكر ذلك عن الحسن البصري

وأما قول القائل : إنه اسم محدث أحدثه البغداديون , فمحال , لأن في وقت الحسن البصري رحمه الله كان يعرف هذا الاسم , وكان الحسن قد أدرك جماعة من أصحاب رسول الله ﷺ  ورضي عنهم , وقد رُوي عنه أنه قال : رأيت صوفيا في الطواف فأعطيته شيئا فلم يأخذه وقال : معي أربعة دوانيق يكفيني ما معي .

وروي عن سفيان الثوري رحمه الله أنه قال : لولا أبو هاشم الصوفي ما عرفت دقيق الرياء وقد ذكر الكتاب الذي جُمع فيه أخبار مكة عن محمد بن إسحاق بن يسار , وعن غيره يذكر فيه حديثاً : أنه قبل الإسلام قد خلت مكة في وقت من الأوقات , حتى كان لا يطوف بالبيت أحد , وكان يجيء من بلد بعيد رجل صوفي فيطوف بالبيت وينصرف , فإن صح ذلك فإنه يدل على أنه قبل الإسلام كان يعرف هذا الاسم , وكان يُنسب إليه أهل الفضل والصلاح والله أعلم .

وبمثل ذلك قال السهروردي : ( وهذا الاسم لم يكن في زمن رسول الله ﷺ , وقيل : كان في زمن التابعين – ثم نقل عن الحسن البصري وما نقلناه عن الطوسي أيضا – ثم قال : وقيل : لم يعرف هذا الاسم إلى المائتين من الهجرة العربية  .

وصرح عبد الرحمن الجامي : أن أبا هاشم الكوفي أول من دعي بالصوفي , ولم يسم أحد قبله بهذا الاسم , كما أن أول خانقاه بني للصوفية هو ذلك الذي في رملة الشام .

وأما القشيري فقال : اشتهر هذا الاسم لهؤلاء الأكابر قبل المائتين من الهجرة ) وجدناهم كلهم كانوا ممن يخرجوا في سبيل الله تعالى .