7 أغسطس - فهم الوكلاء المرئيين

انضم إلينا في حدث افتراضي للاستماع إلى متحدثين خبراء حول الوضع الحالي للوكلاء البصريين. **متى** 7 أغسطس 2025، الساعة 9 صباحًا بالتوقيت الهادئ **أين** افتراضي. **[سجّل حضورك عبر Zoom.](https://voxel51.com/events/understanding-visual-agents-august-7-2025)** **القدرات والنماذج الأساسية للوكلاء المتخصصين في الحواسيب** مع التقدم نحو مستقبل يمكن فيه للوكلاء اللغوية تشغيل البرامج، وتصفح الويب، وأتمتة المهام عبر البيئات الرقمية، تظهر تحديات كبيرة: كيف نبني نماذج أساسية يمكنها العمل كوكلاء متخصصين للحواسيب؟ في هذا الحديث، نستعرض تصميم هذه الوكلاء — الذين يجمعون بين الرؤية، واللغة، والفعل — لفهم الواجهات المعقدة وتنفيذ نوايا المستخدم بدقة. نقدم "أومني أكت" (OmniACT) كدراسة حالة، وهي معيار يدعم هذا التصور من خلال ربط أوامر لغوية طبيعية مع لقطات شاشة للواجهة ونصوص قابلة للتنفيذ لكل من البيئات المكتبية والويب. من خلال "أومني أكت"، نحلل أداء أفضل النماذج اللغوية والنموذجية المتعددة اليوم، ونسلط الضوء على محدودية سلوك الوكلاء الحالي، ونناقش اتجاهات البحث الضرورية لسد الفجوة نحو وكلاء رقميين قادرين حقًا ومتعددي الأغراض. *عن المتحدث* [راجاف كابور](https://www.linkedin.com/in/raghavkapoor16/) هو مهندس تعلم آلي في أدوبي، يعمل ضمن فريق خدمات العلامة التجارية، ويساهم في مشاريع رائدة في مجال ذكاء العلامات التجارية. يجمع عمله بين البحث والتعلم الآلي، مما يعكس خبرته العميقة في كلا المجالين. قبل انضمامه إلى أدوبي، حصل راجاف على درجة الماجستير من جامعة كارنيجي ميلون، حيث ركّز بحثه على التعلم الآلي متعدد الوسائط والوكلاء القائمة على الويب. كما يمتلك خبرة صناعية من عمله كاستراتيجي في جولدمان ساكس إنديا. **BEARCUBS: تقييم قدرات الوكلاء الويبية على جمع المعلومات في العالم الحقيقي** يركز الحديث على تحديات تقييم وكلاء الذكاء الاصطناعي في بيئات ويب ديناميكية، وتصميم وتنفيذ معيار BEARCUBS، والرؤى المستمدة من مقارنة أداء البشر مع الوكلاء. في هذا الحديث، سنناقش الفجوة الكبيرة في الأداء بين المستخدمين البشريين والحالات المتقدمة من الوكلاء الحالية، مع تسليط الضوء على المجالات التي تحتاج إلى تحسين مستقبلي في قدرات تصفح الويب واسترجاع المعلومات بواسطة الذكاء الاصطناعي. *عن المتحدثة* [يي شياو سونغ](https://www.linkedin.com/in/songyixiao/) طالبة دكتوراه في علوم الحاسوب بجامعة ماساتشوستس أمهيرست. يتركز بحثها على تحسين تقييم أنظمة معالجة اللغة الطبيعية، لا سيما في تقييم الدقة والموثوقية في المحتوى الذي يولده الذكاء الاصطناعي. يشمل عملها تطوير أدوات ومعايير مثل VeriScore، وهو مقياس تلقائي لتقييم دقة توليد النصوص الطويلة، وBEARCUBS، وهو معيار لتقييم قدرة وكلاء الذكاء الاصطناعي على تحديد المعلومات الواقعية من محتوى الويب. **الوكلاء البصريون: ما الذي يتطلبه بناء وكيل يمكنه التنقل في واجهات المستخدم مثل البشر** سنستعرض الأطر المفاهيمية، والتطبيقات المحتملة، واتجاهات المستقبل في التقنيات القادرة على "الرؤية" و"العمل" باستقلالية متزايدة. وستتناول المناقشة كلًا من القيود الحالية والأفق الواعد في هذا المجال المتطور. *عن المتحدث* [هاربريت ساهوتا](https://www.linkedin.com/in/harpreetsahota204/) هو مهندس تعلم آلي ومخترق داخلي، يمتلك شغفًا بالتعلم العميق والذكاء الاصطناعي التوليدي. لديه اهتمام عميق بنماذج استرجاع-والتكوين (RAG)، والوكلاء، والذكاء الاصطناعي متعدد الوسائط. **تنفيذ وكيل عملي للذكاء الاصطناعي يعمل بالرؤية على أندرويد** في هذا الحديث، سأشارككم التفاصيل العملية لتصميم وتنفيذ وكلاء ذكاء اصطناعي لأندرويد، باستخدام [deki.](http://github.com/RasulOs/deki) سنتقدم من النظرية إلى التطبيق، واستخدام هذه الوكلاء في الصناعة/الإنتاج. بالنسبة للمستخدمين النهائيين: الاستخدام عن بُعد لهواتف أندرويد أو أتمتة المهام القياسية، مثل: * "أرسل رسالة إلى صديقي 'some_name' على واتساب أخبره أنني سأتأخر 15 دقيقة" * "افتح تويتر في المتصفح وانشر منشورًا عن 'شيء ما'" * "اقرأ آخر إشعاراتي وقل لي إن كان هناك شيء مهم" * "انشر منشورًا على لينكدإن عن 'شيء ما'" وبالنسبة للمهنيين: تمكين الاختبارات الوكيلية، وهي نوع جديد من الاختبارات أصبح ممكنًا فقط بسبب انتشار نماذج اللغة الكبيرة (LLMs) والوكلاء الاصطناعيين الذين يستخدمونها كنواة تفكير. *عن المتحدث* [رسول عثمانبايلي](https://www.linkedin.com/in/rasulosmanbayli/) هو مطوّر أندرويد أول في كابيتال بنك، باكو/أذربيجان، وهو أكبر بنك خاص في أذربيجان. وهو مبتكر deki، وهو نموذج لوصف الصور تم استخدامه كأساس لوكلاء ذكاء اصطناعي لأندرويد حقق نتائج عالية في معيارين مختلفين: Android World وAndroid Control. عمل سابقًا في إسطنبول/تركيا لدى شركات مختلفة كمطوّر أندرويد وخلفية تقنية. كما يحمل درجة الماجستير من جامعة إسطنبول آيدن في إسطنبول/تركيا.