اکبر گلپایگانی ۱۰ بهمن ۱۳۱۲ در تکیه زرگرهای عودلاجان، تهران به دنیا آمد. پدرش محمدحسین گلپایگانی معروف به مرشد حسین یا حاج حسین بلبل مرثیهخوان بود و در تکایا و محله ارج و قربی داشت. گلپایگانی در پنج سالگی مادر خود را از دست داد و این حادثه در آن زمان تأثیر بدی بر روحیه وی گذاشت. او یک برادر کوچکتر با نام محمد گلریز دارد که خوانندهٔ سنتی است.
گلپایگانی در شش سالگی سر صف دبستان قرآن میخواند. یک سال بعد تعزیهخوان محل، استعداد اکبر را کشف کرد و در هشت سالگی پدرش شروع به آموختن موسیقی به او کرد. خانهٔ آنها روبهروی خانهٔ موسیقیدان و کارشناس ردیف، محمد ایرانی مجرد، قرار داشت. گلپایگانی در آموختن موسیقی از او راهنمایی گرفت. او در چهارده سالگی در سالن مرکزی جمعیت شیر و خورشید سرخ ایران به اجرا پرداخت.
گلپایگانی در ۱۵ سالگی به مدرسه نظام رفت. در این مدرسه ایرج همکلاس او بود. در سال ۱۳۱۸، گلپا وارد دبستان فرهنگ شد و به عنوان قاری قرآن در کلاسش برگزیده شد. پس از این فعالیتها، وی با آشنایی با تعزیه خوان محله شان و کار کردن زیر نظر او اصول اولیه آوازخوانی را آموخت. در سال ۱۳۲۰ وی بهطور جدی و منظم تعلیم موسیقی و دستگاهها را نزد پدر آغاز کرد. در سال ۱۳۲۶ نخستین تجربهٔ حضور در یک ارکستر و گروه کر را کسب کرد و در سال ۱۳۲۷ در انجمن موسیقی مدرسه نظام عضو شد. او از سال ۱۳۲۸ به بعد با هنرمندان سرشناسِ موسیقی آشنا شد و آموزش را زیر نظر آنان آغاز کرد.
در انجمن موسیقی نظام، گلپایگانی تا حدی از تعزیهخوانی فاصله گرفت و با دستگاه بیشتر آشنا شد. او در ۱۸ سالگی موسیقی حرفهای را آغاز کرد و نزد ردیفدان نورعلی برومند آموزش دید. از جمله استادان گلپایگانی میتوان به هنرمندانی همچون حسن یکرنگی (از شاگردان اقبال آذر) اسماعیل قهرمانی، ابوالحسن صبا، یوسف فروتن، عبدالله دوامی، اسماعیل ادیب خوانساری، حسین طاهرزاده و سلیمان امیرقاسمی اشاره کرد. او و در درک او از موسیقی دستگاهی ایران تأثیر چشمگیری داشتند. او سبک آوازخوانی طاهرزاده و ادیب خوانساری را دنبال کرد.
در سال ۱۳۳۵ سازمان یونسکو از اکبر گلپایگانی، نورعلی برومند و علیاصغر بهاری برای اجرای آواز و موسیقی ایرانی دعوت به عمل آورد. در سال ۱۳۳۷ وی از سوی داوود پیرنیا (مبتکر برنامه گلها) به رادیو دعوت شد.
گلپایگانی در سال ۱۳۴۷ با ایفای نقش در فیلم مرد حنجرهطلایی ساختهٔ مهدی میثاقیه به شهرت بیشتری رسید. از آن زمان هوادارانش با عنوان فیلم او را خطاب میکردند.
گلپا اجرای بیشترین آواز در برنامه گلها را دارد.
او در سال ۸۴، دکترای افتخاری از دانشگاه تهران دریافت کرد. همچنین آوای آواز او در یک فیلم جهانی به نام «مده آ» ساخته کارگردان ایتالیایی پازولینی گنجانده شد.