COMPUTER VISION AIDED HOTSPOT CREATION IN VIRTUAL ENVIRONMENTS

Authors

LAMA A. AFFARA, Department of Mathematics & Computer Science, Faculty of Science, Beirut Arab University, LebanonFollow
BILAL E. NAKHAL, Department of Mathematics & Computer Science, Faculty of Science, Beirut Arab University, LebanonFollow

Abstract

Hotspot creation is one of the most important modules within virtual environments which helps show the navigators of these environments some information about semantic elements within it and facilitate the navigation between the virtual spaces. In this paper, a system for automatic hotspot proposals and creation in virtual environments is proposed. The system uses computer vision modules to automatically propose hotspot locations in addition to identifying and creating these hotspots with candidate labels. Two main modules used in the system are object detection and scene segmentation. The scene segmentation helps give candidate hotspot areas and provides an overall understanding of the semantics of the virtual environment. The object detection module also uses pretrained deep networks for automatic hotspot creation over these objects. The system helps speed up the hotspot creation process and offers a tool for virtual environment users and creators.

Keywords

hybrid metaverse, virtual environments, object detection, deep learning, computer vision

الملخص (Abstract in Arabic)

يعد إنشاء النقاط الفعالة أحد أهم الوحدات النمطية في البيئات الافتراضية والتي تساعد في إظهار ملاحي هذه البيئات بعض المعلومات حول العناصر الدلالية بداخلها وتسهيل التنقل بين المساحات الافتراضية. في هذه الورقة البحثية، تم تقديم نظام لاقتراح وإنشاء النقاط الفعالة التلقائية في بيئات افتراضية. يستخدم النظام تقنية رؤية الكمبيوتر لاقتراح مواقع النقاط الفعالة تلقائيًا بالإضافة إلى تحديد وإنشاء هذه النقاط الفعالة باستخدام الملصقات المرشحة. هناك وحدتان أساسيتان مستخدمتان في النظام هما كشف الأشياء وتجزئة المشهد. يساعد تقسيم المشهد في إعطاء مناطق النقاط الفعالة المرشحة ويوفر فهمًا شاملاً لدلالات البيئة الافتراضية. تستخدم وحدة كشف الأشياء أيضًا شبكات عميقة مُدرَّبة مسبقًا لإنشاء نقطة اتصال تلقائية فوق هذه الأشياء. يساعد النظام في تسريع عملية إنشاء النقاط الفعالة ويوفر أداة لمستخدمي البيئة الافتراضية ومنشئيها.

الكلمات الدالة (Keywords in Arabic)

الميتافرس المختلط، البيئات الافتراضية، كشف الأشياء، التعلم العميق، تقنيات رؤية الكمبيوتر.

Disciplines

Architecture | Arts and Humanities | Education | Engineering

Recommended Citation

AFFARA, LAMA A. and NAKHAL, BILAL E. (2023) "COMPUTER VISION AIDED HOTSPOT CREATION IN VIRTUAL ENVIRONMENTS," Architecture and Planning Journal (APJ): Vol. 28: Iss. 3, Article 5.
DOI: https://doi.org/10.54729/2789-8547.1200