پیشینهی تاریخی بقیع به دوران قبل از اسلام میرسد ولی در کتب تاریخی به روشنی قدمت تاریخی آن مشخص نشدهاست. بعد از هجرت مسلمانان به مدینه، بقیع تنها قبرستان مسلمانان گردید. مردم مدینه قبل از آمدن مسلمانان به آنجا اجساد مردگان خود را در دو گورستان «بنیحرام» و «بنیسالم» و گاهی نیز در منازل و خانههایشان دفن میکردند و در واقع بقیع اولین مدفن و مزاری است که به دستور پیامبر اسلام توسط مسلمین صدر اسلام به وجود آمدهاست.
اولین کسی که در آنجا به توصیه وی دفن شد عثمان بن مظعون بود که از دوستان نزدیک پیامبر و علی بن ابیطالب به شمار میرفت؛ علی(ع) در سخنانش او را بسیار یاد میکرد و از روی علاقهاش به او، نام یکی از فرزندانش را عثمان نهاد. رسول الله برخی از شهدای اُحُد و نیز فرزندش، ابراهیم، را در آنجا دفن کرد و به این ترتیب بر شرافت آن افزود. بعدها که عثمان پسر عفان در قبرستان یهودیهای مدینه به اسم حس کوکب دفن شد، معاویه بقیع را به قدری گسترده ساخت که قبر عثمان در بقیع قرار گیرد.