طراحی بهینه تاکسی هوایی به کمک یادگیری تقویتی به واسطه الگوریتم یادگیریQ

فزونی تلوکی, ایمان; طلوعی, علیرضا

طراحی بهینه تاکسی هوایی به کمک یادگیری تقویتی به واسطه الگوریتم یادگیریQ

نوع مقاله : مقاله پژوهشی

نویسندگان

ایمان فزونی تلوکی ¹

علیرضا طلوعی ²

¹ دانشجوی دکتری، گروه هوافضا. دانشگاه شهید بهشتی. تهران. ایران

² گروه هوافضا. دانشگاه شهید بهشتی. تهران. ایران

چکیده

مقدمه: تاکسی‌های هوایی به‌عنوان یکی از راهکارهای نوین حمل‌ونقل هوایی شهری، به دلیل قابلیت کاهش زمان سفر و افزایش بهره‌وری سامانه‌های حمل‌ونقل، مورد توجه گسترده قرار گرفته‌اند. با این حال، دستیابی به تعادل بهینه میان وزن هواپیما، عملکرد آیرودینامیکی، مصرف سوخت و الزامات مأموریتی در مرحله طراحی مفهومی، همچنان یک چالش اساسی محسوب می‌شود. ازاین‌رو، بهره‌گیری از روش‌های هوشمند در کنار رویکردهای متداول طراحی هواپیما از اهمیت بالایی برخوردار است.

روش‌ها : این پژوهش به طراحی بهینه یک تاکسی هوایی ۱۸ نفره با تلفیق روش‌های کلاسیک طراحی هواپیما و چارچوب یادگیری تقویتی مبتنی بر Q-learning پرداخته است. در گام نخست، پارامترهای پایه شامل بیشینه وزن برخاست، وزن خالی، مصرف سوخت و مساحت بال با استفاده از روابط طراحی مفهومی کلاسیک برآورد شدند. سپس یک محیط شبیه‌سازی توسعه داده شد که در آن فضای حالت با نسبت‌های بی‌بعد کلیدی شامل نسبت تراست، نسبت مساحت بال، نسبت وزن سوخت و نسبت وزن خالی به بیشینه وزن تعریف شد و فضای عمل شامل تغییرات کران‌دار در مساحت بال، ضریب منظری و نسبت تراست به وزن بود. عامل یادگیرنده با استفاده از سیاست ε-greedy طی ۲۰۰۰ اپیزود و حداکثر ۴۰ گام طراحی در هر اپیزود، تحت یک سناریوی مأموریتی ثابت شامل ارتفاع کروز، سرعت کروز هدف، برد طراحی و قیود طول باند آموزش داده شد.

یافته‌ها: نتایج بهینه‌سازی نشان داد که مساحت بال ۳.۸٪ کاهش و ضریب منظری ۲.۱٪ افزایش یافته است. همچنین، مساحت دم افقی و دم عمودی به‌ترتیب ۲.۹٪ و ۳.۲٪ کاهش یافتند. این اصلاحات هندسی منجر به کاهش وزن خالی به میزان ۴.۱٪ و کاهش مصرف سوخت به میزان ۵٪ شد. علاوه بر این، بهبودهای قابل‌توجهی در ویژگی‌های آیرودینامیکی و عملکردی مشاهده شد؛ به‌طوری‌که نسبت برا به پسا ۲۰٪، نرخ اوج‌گیری ۳۳.۳٪ و سرعت کروز ۶.۷٪ افزایش یافتند. در نتیجه، برد پروازی نیز ۱۴.۵٪ افزایش پیدا کرد.

نتیجه‌گیری: یافته‌های این پژوهش نشان می‌دهد که تلفیق روش‌های کلاسیک طراحی هواپیما با یادگیری تقویتی، رویکردی داده‌محور و کارآمد برای بهبود هم‌زمان وزن، کارایی آیرودینامیکی و عملکرد مأموریتی تاکسی‌های هوایی فراهم می‌کند و می‌تواند به‌عنوان ابزاری مؤثر در طراحی هوشمند هواپیماهای آینده مورد استفاده قرار گیرد.

کلیدواژه‌ها

یادگیری تقویتی

الگوریتم یادگیری

بهینه‌سازی طراحی هواپیما

بهینه‌سازی سطح بال و دم‌ها

تاکسی هوایی

کاهش وزن و مصرف سوخت

20.1001.1.28211553.1405.5.1.2.7

موضوعات

سایر زمینه‌های مرتبط

عنوان مقاله English

Optimal Air Taxi Design Using Reinforcement Learning via the Q-Learning Algorithm

نویسندگان English

Iman Fozouni Talouki ¹

Alireza Toloei ²

¹ PhD Student, Aerospace Department. Shahid Beheshti University. Tehran. Iran

² Department of Aerospace. Shahid Beheshti University. Tehran. Iran

چکیده English

Introduction: Urban air mobility and air taxi systems have emerged as promising solutions for future transportation demands due to their potential for reducing travel time and improving transportation efficiency. However, achieving an optimal balance among aircraft weight, aerodynamic performance, fuel efficiency, and mission requirements remains a significant challenge during the conceptual design phase. Therefore, the development of intelligent optimization approaches integrated with conventional design methodologies is of considerable importance.
Methods: This study presents the optimal design of an 18-passenger air taxi through the integration of classical aircraft design methods and a Q-learning-based reinforcement learning framework. Initially, baseline parameters, including maximum takeoff weight, empty weight, fuel consumption, and wing area, were estimated using established conceptual design relations. A simulation environment was then developed in which the state space was defined by key nondimensional parameters, including thrust-to-weight ratio, wing area ratio, fuel weight ratio, and empty-weight-to-maximum-weight ratio. The action space consisted of bounded modifications to wing area, aspect ratio, and thrust-to-weight ratio. The reinforcement learning agent was trained for 2000 episodes with a maximum of 40 design steps per episode using an ε-greedy policy under a fixed mission profile defined by cruise altitude, cruise speed, range requirements, and field length constraints.
Findings: The optimization process resulted in a 3.8% reduction in wing area and a 2.1% increase in aspect ratio. Furthermore, the horizontal and vertical tail areas decreased by 2.9% and 3.2%, respectively. These geometric refinements led to reductions in empty weight (4.1%) and fuel consumption (5%). Significant improvements in aerodynamic and performance characteristics were also observed, including increases in lift-to-drag ratio (20%), rate of climb (33.3%), and cruise speed (6.7%). Consequently, the flight range increased by 14.5%.
Conclusion: The findings demonstrate that integrating classical aircraft design methodologies with reinforcement learning provides an effective and data-driven framework for improving air taxi design. The proposed approach successfully achieved simultaneous reductions in aircraft weight and fuel consumption while enhancing aerodynamic efficiency and mission performance, indicating its potential for future intelligent conceptual aircraft design applications.

کلیدواژه‌ها English

Reinforcement Learning

Q-Learning Algorithm

Aircraft Design Optimization

Wing and Tail Surface Optimization

Air Taxi

Weight and Fuel Reduction

[1] Roskam, J., Airplane Design, DARcorporation, 1985.

[2] Raymer, D. P., Aircraft Design: A Conceptual Approach, AIAA Education Series, 2012.

[3] Sadraey, M. H., Aircraft Design: A Systems Engineering Approach, Wiley, 2012.

[4] Sadraey, M. H., Flight Mechanics: Theory and Applications, Wiley, 2013.

[5] S. A. Iman Shafiei Nejad. (2025). Optimal Design of an Air Taxi Using Metaheuristic Algorithms and Fuzzy Logic. Aerospace Defense.Vol4(Issue1), Page 49–81.

[6] Jamshidi, F., Air Taxi in Iran and the World, Tandis Publications, 2019.

[7] Shafieenejad Iman, Adavi Hayatollah. V-Model Systematic Design of Fixed-Wing Air Taxis Regarding Aerodynamic Performance Improvement. Journal of Aerospace Defense, Vol4(Issue3), Page 24-47

[8] Hosseini, S., Vaziri-Zanjani, M. A., and Ovesy, H. R., “Conceptual design and analysis of an affordable truss-braced wing regional jet aircraft,” Proceedings of the Institution of Mechanical Engineers, Part G: Journal of Aerospace Engineering, 2020, doi:10.1177/0954410020923060.

[9] Hosseini, S., Vaziri-Zanjani, M. A., and Ovesy, H. R., “Multi-Objective Multidisciplinary Design Optimization of Regional Truss-Braced Wing Jet Aircraft,” Aerospace Europe Conference 2023 (EUCASS/CEAS), 2023.

[10] Roshaniyan, J., Batalbloo, A. A., Ebrahimi, B., and Faghardani, M. H., “Development of Design Optimization Software for a General Aviation Aircraft with a Multidisciplinary Approach.”

[11] Trifari, V., “Development of a Multi-Disciplinary Analysis and Optimization Framework and Applications for Innovative Efficient Regional Aircraft,” Ph.D. Dissertation, University of Naples Federico II, Department of Aerospace Engineering, 2020.

[12] Zhao, B., Huo, M., Yu, Z., Qi, N., and Wang, J., “Model-reference reinforcement learning for safe aerial recovery of unmanned aerial vehicles,” Aerospace, Vol. 10, No. 1, Article 34, 2023, doi:10.3390/aerospace10010034.

[13] Guo, J., Zhou, G., Huang, H., and Huang, C., “Advancements in UAV Path Planning: A Deep Reinforcement Learning Approach with Soft Actor-Critic for Enhanced Navigation,” Unmanned Systems, 2024, doi:10.1142/S2301385025500669.

[14] Qiu, X., Gao, C., Wang, K., and Jing, W., “Attitude control of a moving mass–actuated UAV based on deep reinforcement learning,” Journal of Aerospace Engineering, Vol. 35, No. 3, Article 04022006, 2022, doi:10.1061/JAEGER.1943-5525.0000389.

[15] Karaoğlu, U., Mbah, O., and Zeeshan, Q., “Applications of machine learning in aircraft maintenance,” Journal of Engineering Management Systems Engineering, Vol. 7, No. 2, pp. 145–162, 2023, doi:10.47852/ems.2023.00042.

[16] Zahmatkesh, M., Emami, S. A., Banazadeh, A., and Castaldi, P., “Robust attitude control of an agile aircraft using improved Q-learning,” Actuators, Vol. 11, No. 2, Article 57, 2022.

[17] Hommels, T. C., “Control of a wing flap using 3D printed flow sensors and reinforcement learning,” Master’s thesis, University of Twente, 2022.

[18] Li, J., Xu, S., Wu, Y., and Zhang, Z., “Automatic landing control for fixed-wing UAV in longitudinal channel based on deep reinforcement learning,” Drones, Vol. 8, No. 1, Article 45, 2024, doi:10.3390/drones8010045.

[19] Walker, J. R., and Claudio, D., “Machine learning opportunities in flight test: Preflight checks,” SN Computer Science, Vol. 5, No. 1, Article 15, 2024, doi:10.1007/s42979-023-01567-0.

[20] Giahi, R., MacKenzie, C. A., and Bijari, R., “Dynamic Decision Making in Engineering System Design: A Deep Q-Learning Approach,” arXiv preprint, arXiv:2312.17284, 2023.

[21] Wankerl, H., Stern, M. L., Mahdavi, A., Eichler, C., and Lang, E. W., “Parameterized Reinforcement Learning for Optical System Optimization,” arXiv preprint, arXiv:2010.05769, 2020.

[22] Vulpio, I., Burghignoli, L., Palma, G., Iemma, U., and Serani, A., “An Evolutionary Variant of Q-Learning Applied to Derivative-Free Optimization,” Multidisciplinary Design Optimization, AIAA, 2023.

[23] Gray, J. S., Hwang, J. T., Martins, J. R. R. A., Moore, K. T., and Naylor, B. A., “OpenMDAO: An Open-Source Framework for Multidisciplinary Design, Analysis, and Optimization,” Structural and Multidisciplinary Optimization, Vol. 59, No. 4, pp. 1075–1104, 2019, doi:10.1007/s00158-019-02211-z.

[24] Martins, J. R. R. A., and Ning, A., Engineering Design Optimization, Cambridge University Press, 2022, doi:10.1017/9781108980647.

[25] de Weck, O., and Willcox, K., Multidisciplinary System Design Optimization, MIT OpenCourseWare, 2010.

[26] Sutton, R. S., and Barto, A. G., Reinforcement Learning: An Introduction, 2nd ed., MIT Press, 2018.

[27] Pérez-Hernández, F., and García-García, J., “Q-Learning Algorithms: A Comprehensive Classification and Applications,” IEEE Latin America Transactions, Vol. 16, No. 4, pp. 1209–1217, 2018, doi:10.1109/TLA.2018.8362172.

[28] Li, S., Snaiki, R., and Wu, T., “A knowledge-enhanced deep reinforcement learning-based shape optimizer for aerodynamic mitigation of wind-sensitive structures,” Computer-Aided Civil and Infrastructure Engineering, Vol. 36, No. 10, pp. 1152–1169, 2021, doi:10.1111/mice.1265527.

[29] Nguyen, T. D., Kasmarik, K. E., and Abbass, H. A., “Q-Learning with Differential Entropy of Q-Tables,” arXiv preprint, arXiv:2006.14795, 2020.

[30] Jiang, Y., Tran, T. H., and Williams, L., “Machine learning and mixed reality for smart aviation: Applications and challenges,” Journal of Air Transport Management, Vol. 111, 102437, 2023, doi:10.1016/j.jairtraman.2023.102437.

[31] De Marco, A., D’Onza, P. M., and Manfredi, S., “A deep reinforcement learning control approach for high-performance aircraft,” Nonlinear Dynamics, Vol. 111, pp. 17037–17077, 2023, d

[32] Lam, R., Willcox, K., and Wolpert, D., “Learning-Based Optimization for Engineering Design,” AIAA Journal, Vol. 61, No. 3, 2023, pp. 987–1003, doi:10.2514/1.J061234.

[33] Yonekura, K., and Hattori, H., “Framework for aerodynamic shape optimization using deep reinforcement learning,” Structural and Multidisciplinary Optimization, Vol. 64, 2021, pp. 1909–1923, doi:10.1007/s00158-021-02933-0.

[34] Li, X., Zhang, Y., and Martins, J. R. R. A., “Reinforcement Learning for Multidisciplinary Design Optimization of Aerospace Systems,” Aerospace Science and Technology, Vol. 135, 2023, 108223, doi:10.1016/j.ast.2023.108223.