تبار حضرت عبدالعظیم علیه السّلام با چهار واسطه ، به سبط اکبر پیامبر خدا صلّی الله علیه و آله و سلّم و خاندان وحی می رسد . احمد بن علی نجاشی – که یکی از ارکان علم رجال است -، درباره نسب آن بزرگوار می نویسد :هنگامی که جنازه او را برای غسل برهنه می کردند ، در جیب لباس وی نوشته ای یافت شد که در آن ، نسبش ، این گونه ذکر شده بود : من ابوالقاسم ، عبدالعظیم بن عبدالله بن علی بن حسن بن زید بن علی بن حسن بن علی بن ابی طالب هستم . براساس این نسخه از رجال النجاشی ، در نسب ایشان ، میان وی و امام حسن علیه السّلام ، پنج نفر واسطه وجود دارد ؛ لیکن در نسخه های معتبر این کتاب  ، میان «زید» - یعنی جدّ سوّم ایشان – و امام حسن علیه السّلام ، شخص دیگری واسطه نیست . بنابراین ، نیاکان حضرت عبدالعظیم علیه السّلام به ترتیب ، عبارت اند از :

1. عبدالله بن علی
پدر حضرت عبدالعظیم علیه السّلام ، «عبدالله » نام داشت و مادرش ، «فاطمه» دختر عقبة بن قیس بود . عبدالله ، در زمان حیات جدّش «حسن بن زید» متولّد شد و چون قبل از تولّدش ، پدرش «علی» در زندان درگذشت ،جدّش کفالت او را به عهده گرفت .

2. علی بن حسن
نام جدّ اوّل حضرت عبدالعظیم علیه السّلام ، «علی» و لقب او «سدید»است . وی همراه پسرعمویش عبدالله محض و گروهی دیگر از سادات حسینی ، در دوران خلافت منصور بر ضدّ عبّاسیان قیام کرد . جمعی از آنان و از جمله وی ، دستگیر و به بغداد منتقل شدند . او پس از مدّتی در زندان وفات یافت .

3. حسن بن زید
جدّ دوّم حضرت عبدالعظیم علیه السّلام ، « حسن» نام داشت . وی تنها فرزند پسر زید بود که از بزرگان عصر خودش به شمار می رفته ، و در بین بنی هاشم ، به بخشش ، کَرَم ، سخاوت و خدمت به محرومان ، شهرت داشته است . وی از سوی منصور عبّاسی به ولایت مدینه گمارده شد ؛ ولی پس از مدّتی ، مورد خشم و او قرار گرفت و به زندان افتاد  و در سال 168 ق ، در هشتاد سالگی از دنیا رفت .

4. زید فرزند امام حسن علیه السّلام
جدّ سوّم حضرت عبدالعظیم علیه السّلام ، زید فرزند بزرگ امام حسن مجتبی علیه السّلام است . ایشان متولّی اوقاف پیامبر خدا صلّی الله علیه و آله و سلّم بوده و به جلالت قدر ، کرامت طبع ، عزّت نفس و کثرت نیکوکاری ، توصیف گردیده است . شاعران ، او را ستوده اند و مردم از هر سو برای برخورداری از فضلش به وی روی می آورده اند. وی در یکصد سالگی ، چشم از جهان فرو بست و در محلّی به نام «حاجز» در چند منزلی مدینه دفن گردید .

نگاهی گذرا به زندگی نامه نیاکان و خاندان حضرت عبدالعظیم علیه السّلام نشان می دهد که این خاندان ، دارای دو ویژگی برجسته بوده اند :
اوّل : مبارزه و پیکار بر ضدّ ستم و سلطه استکباریِ حاکم به جامعه اسلامی، به گونه ای که پدر حضرت عبدالعظیم علیه السّلام در زندان از دنیا رفت و ایشان پدر خود را ندید ، و جدّ ایشان نیز مدّتی در زندان به سر برد .
دوّم : کرامت طبع ، عزّت نفس و خدمت به محرومان . ملقّب شدن عبدالعظیم به حضرت «السیّد الکریم» ریشه در این ویژگی خانوادگی این بزرگوار دارد .