انتقل ياسروشقيقه فتحي بصحبةابن خالة امهما راجي أبو السعود إلى القاهرة في العام 1937 في رحلة بالقطارمرورا بغزة وخان يونس وسيناء. ولكن علاقة ياسر بالقدس لم تنقطع بعد وصوله إلى القاهرة، وكان خاله يذهب إلى القاهرة لإحضار أبناء وبنات أخته لقضاء الصيف في القدس في كل عام ، واستمر ذلك حتى بدايات الحرب العالمية الثانية.
وعاش ياسر مع والده عبد الرؤوف وزوجته نظيرة غزولي وباقي افراد الأسرة "إنعام وجمال ويسرى ومصطفى وخديجة وفتحي ". و نظيرة غزولي مصرية وهي الزوجة الثانية لعبد الرؤوف تزوجها بعد وفاة زوجته الأولى "زهوة".
عاشت الأسرة في بيت مستأجر بالمبنى رقم 5 في شارع طورسينا بحي السكاكيني في القاهرة ،وكان والد ياسر صارما يفرض انضباطا ونظاما نموذجيين في بيته...كان رجلا متدينا ،يؤدي فروضه الخمسة يوميا ، ويقرأ القرآن بانتظام ،وقد علم أبناءه أصول الإسلام المعتدل، مشددا قبل كل شيء على احترام الآخرين. الأمر الذي ترك بصمات واضحة على شخصية الابناء. وقدقال ياسر فيما بعد: توفي أبي دون أن يترك لي إرثا ماديا،ولكنه،في الواقع، أورثني كنزين : الشجاعة والإيمان الديني .
تعلق ياسر خلال سنواته الأولى في القاهرة بأخته الكبرى إنعام التي كانت تكبره باثنتي عشرة سنة ، وأحبها كأنها أمه ، حتى أن ياسر وبعض رفاقه من "فتح" كانوا يطلقون عليها لقب "أم المؤمنين"،وكان في طفولته وصباه يقول لها:" نعم سيدي الجنرال" عندما كانت تلومه او تعنفه ، ومن ذلك عندما لامته لأنه هرب من المدرسة ليلتحق باصدقائه .
