GESTURAL DESIGN - HAND TRACKING FOR DIGITAL DRAWING

Authors

JORDAN A. KANTER, University of Massachusetts Amherst, Department of Architecture, 210 Design Building, 551 North Pleasant Street, Amherst, MA 01003Follow
KAMIL QUINTEROS, University of Massachusetts Amherst, Department of Architecture, 210 Design Building, 551 North Pleasant Street, Amherst, MA 01003Follow

Abstract

Computational design is increasingly interested in the active feedback between the user/designer and the digital space. Often, our initial instinct as designers comes from a gesture, a movement of the hands that gets translated into sketches and 3D models via the tools available to us. While the physical realm allows for muscle memory, tactile feedback, and creative output via movement, digital design often negates the body of the designer as it sequesters us into a screen-mouse-hand relationship. Moreover, current CAD software tools often reinforce this standardization, further limiting the potential of physical bodily gestures as a vehicle for architectural form-making. Seeking new opportunities for a gestural interface, this research explores how Machine Learning and parametric design tools can be used to translate active movements and gestural actions into rich and complex digital models without the need of specialized equipment. In this paper, we present an open-source and economically accessible methodology for designers to translate hand movements into the digital world, implementing the MediaPipe Hands tracking library. In developing this workflow, this research explores opportunities to create more direct, vital links between expressive gesture and architectural form, with an emphasis on creating platforms that are accessible not only to design experts, but also the broader public.

Keywords

Machine Learning, Hand-Tracking, Gestural Drawing, 3D Printing, Agent-Based Modelling

الملخص (Abstract in Arabic)

يهتم التصميم الحوسبى بشكل متزايد بالتغذية المرتجعة النشطة بين المستخدم أو المصمم والفراغ الرقمي. غالبًا ما تأتي غريزتنا الأولية كمصممين من خلال لفتة، وهي حركة للأيدي تترجم إلى رسومات ونماذج ثلاثية الأبعاد عبر الأدوات المتاحة لنا. بينما يسمح الواقع المادى بذاكرة العضلات وردود الفعل اللمسية والإخراج الإبداعي عبر الحركة، فإن التصميم الرقمي غالبًا ما ينفي جسد المصمم لأنه يعزلنا في علاقة بين الشاشة والماوس. علاوة على ذلك، فإنه غالبًا ما تعزز أدوات برامج CAD الحالية هذا التوحيد القياسي، مما يحد من إمكانات الإيماءات الجسدية كأداة لصنع النماذج المعمارية. فى إطار البحث عن فرص جديدة لواجهة إيمائية، يستكشف هذا البحث كيف يمكن استخدام التعلم الآلي وأدوات التصميم البارامترى لترجمة الحركات النشطة والإجراءات الإيمائية إلى نماذج رقمية غنية ومعقدة دون الحاجة إلى معدات متخصصة. نقدم في هذا البحث منهجية مفتوحة المصدر ويمكن الوصول إليها اقتصاديًا للمصممين لترجمة حركات اليد إلى العالم الرقمي، عن طريق المكتبة التتبعية لـMediaPipe Hands . وفي إطار تطوير سير العمل هذا، يستكشف هذا البحث فرصًا لإنشاء روابط حيوية ومباشرة أكثر بين الإيماءة التعبيرية والشكل المعماري، مع التركيز على إنشاء منصات يمكن الوصول إليها ليس فقط لخبراء التصميم ولكن أيضًا للجمهور الأوسع.

الكلمات الدالة (Keywords in Arabic)

التعلم الآلى، تقنية تتبع الأيدى، الرسم عن طريق اللفتة، الطباعة ثلاثية الأبعاد، النمذجة المبنية على الوكيل.

Disciplines

Architecture | Arts and Humanities | Education | Engineering

Recommended Citation

KANTER, JORDAN A. and QUINTEROS, KAMIL (2023) "GESTURAL DESIGN - HAND TRACKING FOR DIGITAL DRAWING," Architecture and Planning Journal (APJ): Vol. 28: Iss. 3, Article 3.
DOI: https://doi.org/10.54729/2789-8547.1198