Ibnu Abbas meriwayatkan bahwasanya saat Abi Dzar mendapatkan kabar diutusnya Nabi saw., ia berkata kepada saudaranya, “Pergilah ke lembah itu, cari tahu entang laki-laki ini yang meyakini bahwa dirinya nabi yang mendapat wahyud ari langit, dengarkan ucapannya, lalu kembalilah!” Saudaranya pun berangkat hingga mendatangi Rasulullah dan mendengarkan sabdanya. Lalu, kembali kepada Abu Dzar seraya berkata, “Aku melihatnya memerintahkan akhlak mulia dan sabdanya bukanlah syair.” Kemudian Abu Dzar berkata, Engkau belum membuatku puas dengan jawaban itu.”
Abu Dzar sendiri menyiapkan bekal dan tempat air hingga tiba di Makkah, lalu ia masuk masjid. Ia mencari Rasulullah saw., yang belum ia kenal, tetapi ia enggan bertanya hingga ia terbaring di masjid sampai pertengahan malam. Ali melihatnya dan mengetahui bahwa yang dilihatnya adalah orang asing. Saat melihatnya, ia pun mengikutinya tanpa saling berbicara satu sama lain hingga pagi.
Setelah itu, ia pergi ke masjid untuk mengisi tempat air. Hari yang ia lalui tanpa berhasil menjumpai Nabi saw. Ia kembali ke tempatnya berbaring. Saat Ali lewat di depannya, ia berkata, “Apakah tiba saatnya seseorang mengetahui rumahnya?” Ia pun pergi bersamanya tanpa berbicara satu sama lain. Hal itu berlanjut sampai hari ketiga sehingga Ali bertanya, “Apakah engkau tidak memberitahuku apa yang dapat aku bantu?” Ia menjawab, “Jika engkau mau membuat perjanjian untuk menunjukkannya, aku akan melakukannya.”
Kemudian Ali memberitahukannya seraya berkata, “Sesungguhnya ia ebnar, ia adalah Rasulullah. Besok, ikutlah denganku. Jika aku melihat hal yang membahayakan, aku akan bersikap seolah memberi minum.” Kemudian ia melakukan hal tersebut hingga bertemu Nabi saw. Ia pun mendengar sabda beliau dan masuk Islam.
Nabi saw., bersabda keapdanya:
“Kembalilah kepada kaummu, kabarkan kepada mereka hingga perintahku datang kepadamu.” Ia pun menjawab, “Demi Dzat yang jiwaku berada dalam genggaman-Nya, sungguh aku akan meneriakkannya di antara mereka.”
Abu Dzar keluar hingga tiba di masjid. Kemudian ia berteriak melafalkan dua kaliamt syahadat. Kaum Quraisy pun memukulinya hingga membuatnya kesakitan. Abbas datang menolongnya sambil berkata, “Celakalah kalian! Bukankah kalian mengetahui ia berasal dari Ghifar yang menjadi jalur perdagangan kalian ke Syam?” Ia menyelamatkannya dari mereka. Keesokan harinya Abu Dzar kembali melakukan hal yang sama sehingga kaum Quraisy memukulinya. Abbas pun datang menolongnya.
