الرؤية ثلاثية الأبعاد هي مجال متعدد التخصصات يتضمن رسومات الكمبيوتر، ورؤية الكمبيوتر، والذكاء الاصطناعي. ويهدف إلى تمكين الآلات من فهم ومعالجة المعلومات في الفضاء ثلاثي الأبعاد-، وتحقيق الإدراك العميق والتعرف على الأشياء والمشاهد وفهمها.
المهام الرئيسية
إعادة الإعمار ثلاثية الأبعاد
تقدير عمق المشاهد ثلاثية الأبعاد أو أخذ العينات الرقمية لأسطح الكائنات، بالإضافة إلى معالجة وعرض البيانات ثلاثية الأبعاد؛ إعادة بناء أحادي العين، إعادة بناء مجهر، إعادة بناء مبنية على الضوء-، إعادة بناء معتمدة على الليزر-؛ إعادة بناء ثلاثية الأبعاد على نطاق واسع-، إعادة بناء ثلاثية الأبعاد على الهاتف المحمول.
تقدير الموقف
حساب موضع واتجاه الكاميرات أو الكائنات في الفضاء المادي ثلاثي الأبعاد-وتتبع الوقت الحقيقي-.
فهم ثلاثي الأبعاد
اكتشاف الكائنات والتعرف عليها واسترجاعها، بالإضافة إلى تجزئة المشاهد أو الكائنات ووضع العلامات الدلالية عليها.
مبادئ العمل
يعد تصوير الرؤية ثلاثية الأبعاد أحد أهم طرق إدراك المعلومات في الروبوتات الصناعية، ويمكن تقسيمه إلى طرق تصوير بصرية وغير{1}}بصرية. حاليا، الطرق البصرية هي الأكثر استخداما على نطاق واسع.
وقت-طريقة-الرحلة (TOF).
تحسب هذه الطريقة المسافة إلى جسم ما عن طريق قياس الفارق الزمني بين انبعاث الضوء واستقباله. بأخذ كاميرا TOF كمثال، يستخدم كل بكسل الفارق الزمني لرحلة الضوء للحصول على عمق الكائن. في طرق القياس الكلاسيكية، يبدأ نظام الكاشف التوقيت عندما يصدر نبضة ضوئية، ويخزن وقت الرحلة ذهابًا وإيابًا عندما يستقبل صدى الضوء المستهدف، ويقدر مسافة الهدف وفقًا للمعادلة.
وهي مقسمة إلى TOF مباشر (DTOF) وTOF غير مباشر (I-TOF). يُستخدم DTOF عادةً في أنظمة نطاق النقاط الفردية-، ويتطلب تحقيق التصوير ثلاثي الأبعاد على نطاق واسع -تقنية المسح الضوئي؛ يقوم I-TOF باستقراء وقت الرحلة ذهابًا وإيابًا بشكل غير مباشر من قياسات زمنية-لشدة الضوء، مما يلغي الحاجة إلى توقيت دقيق، وهو حاليًا حل تجاري للخلاطات الإلكترونية والبصرية استنادًا إلى كاميرات TOF. يمكن استخدام تصوير TOF لمجال رؤية واسع، ولمسافة -طويلة، ودقة منخفضة-، وتكلفة منخفضة-لحصول على صور ثلاثية الأبعاد، كما يُستخدم للإدراك البيئي في الأنظمة الذكية غير المأهولة (مثل الروبوتات، والمركبات غير المأهولة، والطائرات بدون طيار، وما إلى ذلك).
إسقاط الضوء المنظم والتصوير ثلاثي الأبعاد
يعد التصوير ثلاثي الأبعاد للإسقاط الضوئي المنظم حاليًا الطريقة الرئيسية لإدراك الرؤية ثلاثية الأبعاد في الروبوتات. يقوم جهاز العرض بعرض نمط إضاءة منظم محدد على الكائن المستهدف، مثل الخطوط أو أنماط الكود الرمادي، وتلتقط الكاميرا الصورة المعدلة بواسطة الهدف. بسبب تموجات سطح الجسم، يتشوه نمط الضوء المنظم على سطح الجسم. من خلال معالجة الصور واستخدام النماذج المرئية لمقارنة الأنماط قبل التشوه وبعده، وتحليل تشوه النمط، يمكن حساب معلومات الإحداثيات ثلاثية الأبعاد لكل نقطة على سطح الكائن المستهدف.
في تطبيقات نظام عين اليد-الروبوتية، بالنسبة للسيناريوهات التي لا تتطلب دقة قياس ثلاثية الأبعاد عالية (مثل نقل المنصات وإزالة المنصات والإمساك ثلاثي الأبعاد)، فإن طريقة عرض أنماط البقع العشوائية-الزائفة للحصول على المعلومات ثلاثية الأبعاد المستهدفة شائعة جدًا. تُستخدم هذه الطريقة بشكل شائع في الفحص الصناعي والنمذجة ثلاثية الأبعاد، ويمكنها الحصول بسرعة على بيانات ثلاثية الأبعاد لسطح الكائن. يتكون نظام التصوير الضوئي المنظم من عدة أجهزة عرض وكاميرات. تشتمل الأشكال الهيكلية الشائعة على: جهاز عرض فردي-كاميرا واحدة، جهاز عرض فردي-كاميرا مزدوجة، جهاز عرض فردي-كاميرات متعددة، كاميرا واحدة-أجهزة عرض مزدوجة، وكاميرا واحدة-أجهزة عرض متعددة.
مبدأ العمل الأساسي للتصوير ثلاثي الأبعاد لإسقاط الضوء المنظم هو كما يلي: يقوم جهاز العرض بعرض نمط إضاءة ضوئي منظم محدد على الكائن المستهدف، وتلتقط الكاميرا الصورة المعدلة بواسطة الهدف، ثم يتم الحصول على المعلومات ثلاثية الأبعاد للكائن المستهدف من خلال معالجة الصور والنماذج المرئية. تشمل الأنواع الشائعة من أجهزة العرض ما يلي: شاشة الكريستال السائل (LCD)، وإسقاط تعديل الضوء الرقمي (DLP: مثل أجهزة المرآة الدقيقة الرقمية (DMD))، والإسقاط المباشر لنمط LED بالليزر.
استنادًا إلى عدد إسقاطات الضوء المنظمة، يمكن تقسيم التصوير ثلاثي الأبعاد لإسقاط الضوء المنظم إلى طرق -لقطة ثلاثية الأبعاد واحدة ولقطات متعددة- ثلاثية الأبعاد. يستخدم الضوء المنظم المفرد - بشكل أساسي تشفير تعدد الإرسال المكاني وترميز تعدد الإرسال الترددي. تتضمن نماذج التشفير الشائعة ما يلي: تشفير الألوان، وفهرسة التدرج الرمادي، وترميز الأشكال الهندسية، وأنماط البقع العشوائية. في الوقت الحالي، في تطبيقات نظام عين اليد الآلية-، بالنسبة للسيناريوهات التي لا تتطلب دقة قياس ثلاثية الأبعاد عالية، مثل نقل المنصات وإزالة المنصات والإمساك ثلاثي الأبعاد، يتم استخدام طريقة إسقاط أنماط البقع العشوائية-الزائفة للحصول على المعلومات ثلاثية الأبعاد المستهدفة على نطاق واسع.
تستخدم أساليب التصوير المتعدد-الثلاثية الأبعاد بشكل أساسي تشفير تعدد الإرسال الزمني-. تشتمل نماذج ترميز الأنماط الشائعة على: التشفير الثنائي، وترميز تحويل الطور-متعدد الطور، وطرق التشفير الهجين (مثل الكود الرمادي وأهداب تحويل الطور-). يظهر المبدأ الأساسي للتصوير ثلاثي الأبعاد بالضوء المنظم في الشكل أدناه. يتم إنشاء نمط ضوئي منظم باستخدام جهاز كمبيوتر أو جهاز بصري خاص، ثم يتم عرضه على سطح الجسم قيد الاختبار باستخدام نظام إسقاط بصري. يتم استخدام جهاز التقاط الصور (مثل كاميرا CCD أو CMOS) لالتقاط صورة الضوء المنظمة والمشوهة بواسطة سطح الكائن. يتم بعد ذلك استخدام خوارزميات معالجة الصور لحساب المراسلات بين كل بكسل في الصورة والنقاط الموجودة على محيط الكائن. وأخيرًا، يتم حساب المعلومات الكنتورية ثلاثية الأبعاد للكائن باستخدام نموذج بنية النظام وتقنية المعايرة الخاصة به. في التطبيقات العملية، يتم استخدام إسقاط الكود الرمادي، أو المرحلة الجيبية-إسقاط هامشي متحرك، أو الكود الرمادي المختلط والمرحلة الجيبية-تقنية ثلاثية الأبعاد بشكل شائع.
بالنسبة للأسطح الخشنة، يمكن إسقاط الضوء المنظم مباشرة على سطح الجسم لقياس التصوير البصري؛ ومع ذلك، بالنسبة للقياس ثلاثي الأبعاد للأسطح الملساء شديدة الانعكاس والأجسام المعكوسة، لا يمكن إسقاط الضوء المنظم مباشرة على السطح قيد الاختبار، ويتطلب القياس ثلاثي الأبعاد استخدام تقنيات الانعكاس المرآوي.
في هذا المخطط، لا يتم عرض الأهداب مباشرة على محيط الجسم قيد الاختبار، بل على شاشة متناثرة، أو يتم استخدام شاشة عرض بلورية سائلة (LCD) لعرض الأهداب مباشرة. تكتسب الكاميرا المعلومات الهامشية التي يتم تعديلها بواسطة تغيرات انحناء السطح الساطع من خلال مسار الضوء المنعكس، ثم تحسب شكل الكفاف ثلاثي الأبعاد-.
مسح التصوير ثلاثي الأبعاد
يمكن تقسيم طرق التصوير ثلاثي الأبعاد إلى نطاق المسح والتثليث النشط وطرق البؤر اللونية. يستخدم نطاق المسح شعاعًا ضوئيًا موازيًا لمسح السطح المستهدف بالكامل لإجراء قياس ثلاثي الأبعاد. تتضمن طرق المسح النموذجية ما يلي: -نقطة زمنية واحدة-من -طرق الطيران، مثل نطاق تعديل تردد الموجة المستمر (FM-CW) ونطاق النبض (LiDAR)؛ قياس تداخل نثر الليزر، مثل مقاييس التداخل المعتمدة على تداخل الأطوال الموجية المتعددة، والتداخل المجسم، وتداخل الضوء الأبيض، ومبادئ تداخل البقع؛ وطرق متحد البؤر، مثل البؤر اللوني والتركيز التلقائي.
في طرق المسح ثلاثي الأبعاد-من نقطة واحدة، تكون النقطة الزمنية-المفردة-لطريقة الطيران- مناسبة للمسح عن مسافة طويلة-، ولكن دقة القياس منخفضة نسبيًا، بشكل عام في نطاق المليمتر. تتضمن طرق المسح -الأخرى لنقطة واحدة قياس تداخل الليزر بنقطة واحدة-والفحص المجهري متحد البؤر وتثليث الليزر النشط بنقطة واحدة-. توفر هذه الطرق دقة قياس عالية، ولكن الأول يتطلب بيئة خاضعة للرقابة. يوفر مسح الخط دقة متوسطة وكفاءة عالية. يعتبر التثليث بالليزر النشط والمجهر اللوني متحد البؤر مناسبين بشكل خاص للقياس ثلاثي الأبعاد في المستجيب النهائي للذراع الآلية. يعتمد التثليث النشط على مبدأ التثليث، وذلك باستخدام شعاع موازي أو واحد أو أكثر من الحزم المستوية لمسح السطح المستهدف لإجراء قياس ثلاثي الأبعاد.
يتم الحصول على شعاع الضوء عادةً بالطرق التالية: موازنة الليزر، أو توسيع الشعاع المنشوري السطحي الأسطواني أو الرباعي، أو الضوء غير المتماسك -(مثل الضوء الأبيض، أو مصدر ضوء LED) الذي يتم إسقاطه من خلال ثقوب صغيرة، أو شقوق (شبكات)، أو حيود الضوء المتماسك. يمكن تقسيم التثليث النشط إلى ثلاثة أنواع: مسح النقطة-المفردة، والمسح-المفرد، والمسح-المتعدد الأسطر. في الوقت الحالي، معظم المنتجات المتوفرة تجاريًا للمؤثرات الطرفية للذراع الروبوتية عبارة عن ماسحات ضوئية أحادية النقطة-وخط-مفردة.
في طرق المسح متعدد الأسطر-، يمثل التحديد الموثوق للأرقام الهامشية تحديًا. لتحديد الأرقام الهامشية بدقة، عادة ما يتم تصوير مجموعتين من طائرات الضوء المتعامدة بسرعة عالية بالتناوب. يؤدي ذلك أيضًا إلى تمكين المسح "التثليث الطائر"، والذي تظهر عملية المسح وإعادة البناء ثلاثية الأبعاد في الشكل أدناه. يؤدي العرض متعدد الخطوط- والتصوير بالفلاش-المفرد إلى إنتاج عرض ثلاثي الأبعاد متفرق. يتم إنشاء تسلسلات متعددة من العروض ثلاثية الأبعاد من خلال المسح الإسقاطي الطولي والعرضي، ثم يتم إنشاء نموذج سطحي ثلاثي الأبعاد عالي الدقة وكامل وكثيف-من خلال تسجيل الصور ثلاثية الأبعاد.
ويبدو أن المجهر اللوني متحد البؤر قادر على مسح وقياس الأجسام الخشنة والملساء المعتمة والشفافة، مثل الأسطح العاكسة والأسطح الزجاجية الشفافة، ويستخدم حاليًا على نطاق واسع في مجالات مثل الفحص ثلاثي الأبعاد لأغطية الهواتف المحمولة. يحتوي المسح اللوني متحد البؤر على ثلاثة أنواع: مسح قياس المسافة المطلقة -النقطة الواحدة-بعد واحد، ومسح مصفوفة النقاط المتعددة-، ومسح الخط المستمر. يوضح الشكل أدناه أمثلة لقياس المسافة المطلقة والمسح المستمر للخط. يعد مسح الخطوط المستمر أيضًا أحد أنواع مسح المصفوفة، ولكن مع مجموعة أكبر وأكثر كثافة من النقاط.
رؤية ستيريو تصوير ثلاثي الأبعاد
تشير الرؤية المجسمة عمومًا إلى إعادة بناء البنية ثلاثية الأبعاد أو معلومات العمق للكائن المستهدف من خلال الحصول على صورتين أو أكثر من وجهات نظر مختلفة. يمكن تقسيم الإشارات البصرية لإدراك العمق إلى إشارات بصرية وإشارات مجهر (تباين مجهر). في الوقت الحالي، يمكن تحقيق الرؤية المجسمة ثلاثية الأبعاد من خلال الرؤية الأحادية، والرؤية الثنائية، والرؤية المتعددة-، والتصوير ثلاثي الأبعاد في مجال الضوء (العين الإلكترونية المركبة أو مجموعة الكاميرا). عادةً ما تتضمن إشارات إدراك عمق الرؤية أحادية العين ما يلي: المنظور، واختلافات الطول البؤري، وتصوير العرض المتعدد، والإطباق، والظلال، وزاوية الحركة، وما إلى ذلك.
وفي الرؤية الآلية، يمكن أيضًا تحقيق ذلك باستخدام التصوير المرآتي والأشكال الأخرى-من طرق-X. تشمل الإشارات البصرية لإدراك عمق الرؤية بالعينين ما يلي: موضع تقارب العين وتباين العينين. في الرؤية الآلية، يتم استخدام كاميرتين للحصول على صورتين من وجهة نظر نفس المشهد المستهدف من نقطتي رؤية، ومن ثم يتم حساب التباين بين النقاط المقابلة في صورتي وجهة النظر للحصول على معلومات العمق ثلاثية الأبعاد للمشهد المستهدف. تتضمن عملية حساب الرؤية المجسمة النموذجية الخطوات الأربع التالية: تصحيح تشويه الصورة، وتصحيح زوج الصور المجسمة، وتسجيل الصورة، وحساب خريطة تباين إعادة الإسقاط التثليث.
يستخدم تصوير الرؤية المتعددة-، أو التصوير المجسم-العرض المتعدد، كاميرا واحدة أو عدة كاميرات للحصول على صور متعددة لنفس المشهد المستهدف من وجهات نظر متعددة لإعادة بناء المعلومات-ثلاثية الأبعاد للمشهد المستهدف.
يتم استخدام التصوير المجسم -متعدد العرض بشكل أساسي في السيناريوهات التالية: استخدام كاميرات متعددة من وجهات نظر مختلفة للحصول على صور متعددة لنفس المشهد المستهدف، ثم استخدام إعادة بناء الاستريو المستندة إلى الميزات-والخوارزميات الأخرى للحصول على معلومات عمق المشهد والبنية المكانية؛ باستخدام تقنية البنية -من-الحركة (SFM)، باستخدام نفس الكاميرا مع عدم تغيير معلماتها الجوهرية، للحصول على صور متعددة من وجهات نظر مختلفة لإعادة بناء المعلومات -الأبعاد الثلاثة للمشهد المستهدف. تُستخدم هذه التقنية بشكل شائع لتتبع عدد كبير من نقاط التحكم في المشهد المستهدف، واستعادة المعلومات الهيكلية ثلاثية الأبعاد للمشهد بشكل مستمر، بالإضافة إلى وضع الكاميرا وموضعها. يختلف تصوير المجال الضوئي عن مبادئ التصوير بالكاميرا التقليدية. تشكل الكاميرات التقليدية صورة ثنائية الأبعاد مباشرة على مستوى التصوير بعد مرور الضوء عبر العدسة.
تضيف كاميرات المجال الضوئي مجموعة من العدسات الدقيقة أمام مستوى المستشعر. يمر الضوء الساقط من خلال العدسة الرئيسية عبر كل عدسة ميكروية مرة أخرى ويتم استقباله بواسطة المصفوفة الحساسة للضوء، وبالتالي الحصول على معلومات حول اتجاه وموضع أشعة الضوء. وهذا يسمح بمعالجة نتائج التصوير لاحقًا، وتحقيق تأثير "التصوير أولاً، والتركيز لاحقًا"، وتمكين استعادة البنية-ثلاثية الأبعاد للمشهد باستخدام هذه المعلومات. في مجالات مثل الواقع الافتراضي والواقع المعزز، تساعد تقنية تصوير المجال الضوئي على توفير تجربة بصرية أكثر واقعية وتتيح تصورًا أكثر دقة-ثلاثي الأبعاد والتفاعل مع المشهد.
يختلف مبدأ التصوير ثلاثي الأبعاد للمجال الضوئي هيكليًا عن مبادئ التصوير الخاصة بكاميرات CCD وCMOS التقليدية. تقوم الكاميرات التقليدية بتصوير الضوء مباشرة على مستوى التصوير بعد مروره عبر العدسة، مما يؤدي بشكل عام إلى إنتاج صورة ثنائية الأبعاد. تضيف كاميرات المجال الضوئي مصفوفة من العدسات الدقيقة أمام مستوى المستشعر، مما يتسبب في مرور الضوء الساقط عبر العدسة الرئيسية عبر كل عدسة ميكروية مرة أخرى واستقباله بواسطة المصفوفة الحساسة للضوء، وبالتالي الحصول على معلومات حول اتجاه وموضع أشعة الضوء. وهذا يسمح بالمعالجة اللاحقة-لنتائج التصوير، وتحقيق تأثير "التصوير أولاً، والتركيز لاحقًا".