تنقسم البنية المعمارية لحي الشيخ جراح إلى قسمين يمتازان بتفاوت اقتصادي ومحلي، حيث أن الجزء العلوي هو الأكثر ازدهارًا في القدس، وفيه الفنادق، والمطاعم، والمقاهي، ومكاتب القنصليات ومؤسسات المجتمع الدولي. أما الجزء السفلي من الحيّ الذي يأوي اللاجئين منذ الخمسينات، فيعاني من نقص في البنية التحتية فالشوارع بدون أرصفة، والبيوت في حالة مزرية.

لم تقل قطع الأرض للبناء في الشيخ جرّاح عن 800م² للبيت الواحد، ولم يزد علوّ البيوت عن طابقين، حتى أن مساحة البيوت لا تتعدى الـ 200م² عن مساحة الأرض. أمّا باقي المساحة مُلئت بالجنائن المحيطة بالبيت، المزروعة بالورود والأشجار المثمرة، والمظهر الراقي هذا لا يتعدى وجود بوابة فاخرة عريضة للبيت والحديقة.

كما تميزت هذه البيوت بهندستها الرائعة وصالوناتها الفاخرة، وأيضًا الشبابيك المزخرفة ذات الطابع الشرقي، والأسطحة المزينة بالقرميد وبأشكال مختلفة مثل الشرفات المطلّة على البساتين والحي. لكن تحاول السلطات الإسرائيلية إحداث التغيير بالمظاهر الخلابة في الأحياء المقدسية وتدميرها، كما يجري في الجزء السفلي في الشيخ جراح.