অর্থনৈতিক অনটনের কারণে প্রাতিষ্ঠানিক সংগীত শিক্ষা নেয়া হয়নি আব্দুল আলীমের। অন্যের গাওয়া গান শুনে শুনে গান শিখতেন আর বিভিন্ন পালা পার্বণে সেই গান গাইতেন তিনি। এভাবেই জনপ্রিয়তা লাভ করেন আব্দুল আলীম।
গানের প্রতি তার এই আগ্রহ দেখে স্থানীয় ওস্তাদ সৈয়দ গোলাম আলী তাঁকে কিছুদিন তালিম দেন। ১৯৪৩ সালে মাত্র তেরো বছর বয়স থেকেই বাংলার লোক সঙ্গীতের এই অমর শিল্পীর গান বিস্ময় জাগিয়েছিল সবার মনে।
পরবর্তীকালে কলকাতায় গিয়ে কিংবদন্তি আব্বাসউদ্দিন আহমেদ ও কবি কাজী নজরুল ইসলামের সান্নিদ্ধে গান করেছেন তিনি। লেটো দলে ও যাত্রার দলেও কাজ করেছেন আব্দুল আলিম।
১৯৪৭ সালে ঢাকায় চলে আসেন আব্দুল আলীম। ঢাকায় এসে তিনি লোকসঙ্গীত ও উচ্চাঙ্গসঙ্গীতের উপর শিক্ষা গ্রহণ করেন এবং বেতার–শিল্পীর মর্যাদা লাভ করেন। ঢাকার সঙ্গীত মহাবিদ্যালয় লোকগীতি বিভাগে তিনি কিছুদিন অধ্যাপনাও করেন আব্দুল আলীম।
প্রায় ৫০ টি ছবিতে গান গেয়েছেন আব্দুল আলীম। তার অবিস্মরণীয় গানের মধ্যে উল্লেখযোগ্য সর্বনাশা পদ্মা নদী, হলুদিয়া পাখী, এই যে দুনিয়া, দোল দোল দুলনি প্রভিতি।
বাংলাদেশ সরকারের পক্ষ থেকে একুশে পদকসহ বেশ কয়েকটি জাতীয় পুরস্কার পেয়েছেন আব্দুল আলীম। ১৯৭৪ সালের ৫ সেপ্টেম্বর লোক সংগীতের এই মহান শিল্পী মৃত্যু্রণ করেন। আজ তার ৪৬ তম প্রয়াণ দবস।