Evolusi Kinect dan kepentingan sebenar Penyelidikan Microsoft

Bahawa Kinect adalah penting kepada Microsoft adalah hampir satu kebenaran. Peranti tangkapan Redmond melangkaui kaedah mudah untuk mengawal konsol permainan video mereka dan telah menjadi elemen penting dalam strategi mereka dan rujukan untuk kebanyakan produk mereka. Tetapi ia juga merupakan contoh nyata tentang apa yang boleh lahir daripada gabungan jabatan syarikat dengan makmal idea Microsoft Research.

Kinect pertama sudah menjadi contoh perkara ini. Tiga tahun kemudian, kesatuan yang sama yang telah membenarkan peranti itu berkembang kepada had yang tidak disangka-sangka untuk mengiringi keluaran Xbox One.Dalam semua bahagiannya Kinect 2.0 mewakili peningkatan ketara berbanding pendahulunya dan pada minggu ini Microsoft telah mengambil peluang untuk menerangkan bagaimana ia telah menjadi sebahagian daripada proses pembangunan alat yang sedang dalam perjalanan untuk menjadi bahagian asas dalam interaksi antara manusia dan mesin.

Kinect 1.0

Apabila Microsoft membentangkan Project Natal di E3 pada bulan Jun 2009, ramai yang melihat di dalamnya tindak balas mudah daripada Redmond terhadap kejayaan yang tidak diragui yang Nintendo perolehi dengan Wii dan sistem kawalannya. Tetapi di bawah projek dengan nama bandar Brazil itu menyembunyikan Kinect, peranti yang ternyata menjadi penjual terlaris yang tidak boleh dipertikaikan dan dari masa ke masa telah menjadi banyak. lebih daripada yang dijangkakan.

Walaupun teknologi di sebalik Kinect pertama lahir daripada perkembangan perisian studio Rare dan teknologi penangkapan imej syarikat Israel PrimeSense, ia akan menjadi gabungan pasukan Xbox dengan penyiasatan Microsoft Research yang memungkinkan untuk mencapai pasaran

Peranti berbentuk rod menggunakan projektor inframerah dan kamera yang mengimbas pemandangan dan menghantar maklumat itu kepada mikrocip yang disediakan khas untuk menangkap pergerakan objek dan manusia dalam tiga dimensi. Mereka disertai deretan mikrofon yang mampu mengecam suara pengguna. Kesemua elemen ini bersama-sama membenarkan tangkapan gerakan 3D bersama-sama dengan muka, gerak isyarat dan pengecaman suara.

Untuk tugas sedemikian, spesifikasi Kinect bukanlah sesuatu yang istimewa. Kamera mempunyai resolusi VGA dan beroperasi pada 640x480 secara lalai, walaupun ia mampu berfungsi pada 1280x1024 piksel pada kos kadar penyegaran yang lebih rendah. Mikrocip yang disertakan hanya menjalankan sebahagian daripada kerja memproses maklumat, meninggalkan sebahagian besar tugas kepada konsol itu sendiri.

Salah satu kunci kepada keseluruhan sistem terletak dalam perisian yang dicipta oleh Microsoft untuk mentafsir semua maklumat yang dikumpul oleh penderia Kinect.Di sinilah Microsoft Research bermain dan terus memainkan peranan penting, menyiasat kegunaan paling pelbagai untuk Kinect dan bekerjasama dalam SDK yang telah disediakan oleh Microsoft dalam talian sejak 2011 supaya mana-mana pembangun menyepadukannya ke dalam produk atau perkhidmatan mereka.

Kinect 2.0

Perbezaan besar antara Kinect baharu dan pendahulunya terletak pada kamera utama baharu. Generasi kedua peranti menangkap gerakan menggabungkan kamera masa penerbangan (TOF) resolusi tinggi yang membolehkan Xbox One Kinect yang akan datang menangkap lebih terperinci dengan ketepatan tinggi dan resolusi yang lebih tinggi. Mod kedalaman baharu yang disediakan oleh kamera TOF ini membolehkan anda menghasilkan semula pemandangan dengan ketepatan tiga kali lebih tinggi daripada Kinect pertama.

Ini bukan satu-satunya kelebihan menggunakan kamera jenis ini.Dengan itu, bidang penglihatan 60% lebih besar juga dicapai, yang membolehkan ruang yang lebih besar didaftarkan dan membolehkan lebih ramai orang didaftarkan pada masa yang sama dan pada jarak yang lebih pendek dari peranti. Dengan konsol baharu, sehingga 6 orang boleh muncul di atas pentas, mengenali dan membezakan semua pergerakan mereka. Ia merupakan kemajuan yang ketara berbanding pendahulunya yang hanya mampu merekodkan pergerakan 2.

Perubahan besar kedua dalam generasi baharu Kinect datang daripada tangan sensor inframerah baharu yang berjaya mengecam objek dan orang dalam keadaan cahaya yang sangat rendah. Sensor kini sangat berkuasa sehingga dapat mengenal pasti item di dalam bilik yang benar-benar gelap. Ketepatannya adalah sedemikian rupa sehingga ia boleh mengenali orang dan mendaftarkan badan walaupun tanpa sebarang cahaya yang dapat dilihat oleh mata manusia. Dalam cahaya malap, ia mengenali pose tangan sehingga empat meter jauhnya, membezakan setiap jari dengan ketepatan.

Kinect 2.0 membezakan rangka lengkap pengguna, orientasi anggota badan, otot badan, dan juga degupan jantungnya.

Gabungan unsur-unsur baru membolehkan untuk merekodkan bukan sahaja siluet pengguna, tetapi juga untuk membezakan rangka lengkap mereka, orientasi anggota badan mereka, otot-otot badan dengan daya dan pengagihan berat. diberikan kepada mereka, dan juga degupan jantung. Pengecaman muka juga dipertingkatkan dengan baik, mengesan walaupun perincian dan gerak isyarat terkecil dan membenarkan pengenalan yang lebih tepat. Untuk mendapatkan gambaran tentang maksud semua ini, cuma lihat video berikut.

Semua teknologi baharu ini juga mempunyai peningkatan dalam pemproses Kinect yang membolehkannya mengatasi sejumlah besar maklumat yang diperoleh oleh semua penderia baharu. Sehingga 2 gigabit data sesaat dikumpul oleh peranti untuk membaca persekitaranSemua maklumat ini perlu diproses dan ditafsir dengan cepat dan untuk ini penambahbaikan yang jelas dalam spesifikasi mesin telah diperlukan.

Tetapi menukar komponen masih belum mencukupi. Pengimbas berkuasa yang Kinect telah menjadi memerlukan perisian yang mampu mentafsir semua yang dilihatnya, dan untuk ini adalah perlu untuk menjalankan evolusi penting dalam kod yang menjalankannya. Di sinilah pengalaman dan pengetahuan tentang Microsoft Research telah menjadi lebih penting berbanding sebelum ini, membantu pasukan Xbox apabila masalah timbul dan menyediakan penyelesaian yang betul tepat pada masanya. cepat dan cekap. Kinect 2.0 dengan itu menjadi produk kerjasama yang sejarahnya menunjukkan potensi yang disembunyikan oleh Microsoft dalam makmal ideanya.

Proses evolusi

The Evolution of Kinect ialah kisah bagaimana pasukan jurutera cuba membawa kamera TOF ke Xbox One.Jenis kamera ini mengeluarkan isyarat cahaya yang melantun objek dan dikumpulkan kembali dengan mengukur masa yang diperlukan untuk menempuh jarak tersebut. Agar mereka berfungsi dengan betul, membezakan pantulan daripada objek dalam bilik dan daripada persekitarannya, ketepatan sehingga 1/10 bilion saat diperlukan. Tahap ketepatan sedemikian adalah satu-satunya cara untuk menyediakan maklumat yang mencukupi untuk membolehkan bentuk dan kontur objek dikira dengan secukupnya.

Bunyinya rumit, dan masalahnya ialah mencapai tahap ini dengan produk pengguna adalah sesukar yang kelihatan. Semasa proses pembangunan Kinect baharu, semua jenis masalah terpaksa ditangani yang perlu diselesaikan dalam masa yang terhad. Kinect 2.0 sepatutnya bersedia untuk mengiringi keluaran Xbox One, dijadualkan pada akhir 2013.

Dalam keadaan inilah Microsoft mempunyai ace di atas lengannya: Microsoft Research, badan pemikir andaPasukan di belakang Kinect menggunakan pengetahuan luas dan pengalaman teknikal ahli Microsoft Research untuk menyelesaikan pelbagai masalah yang timbul dengan teknologi baharu yang disepadukan ke dalam peranti. Di sinilah pelaburan bertahun-tahun dalam penyelidikan dan pembangunan mula membuahkan hasil berkat kerjasama antara jabatan berbeza syarikat.

Sebahagian daripada penyelidik Microsoft Research bekerjasama dengan pasukan Kinect pada algoritma dan pengoptimuman parameter manakala yang lain menumpukan pada data dan perisian untuk mengira kedalaman yang direkodkan oleh penderia. Menyedari cabaran untuk memperkenalkan kamera TOF, para penyelidik terpaksa mempelajari semula cara teknologi di sebalik Kinect berfungsi untuk membantu pasukan perisian dengan algoritma pengecaman tangan dan muka.

Cabaran itu tidak mudah. Membezakan objek latar depan daripada latar belakang dan meminimumkan kabur kamera adalah tugas yang sukar. Untuk yang pertama, objek kecil perlu diukur dengan tepat dalam semua jenis senario dan dengan semua jenis keadaan cahaya. Ia adalah perlu untuk bekerja sehingga ia mungkin untuk membezakan jari-jari tangan, menghalang mereka daripada keliru dengan persekitaran. Hasil kerja ini Kinect baharu mampu mengesan objek sekecil 2.5 sentimeter, berbanding 7.5 sentimeter pendahulunya. Isu kabur memerlukan lebih banyak kerja dan pengoptimuman perisian, tetapi dari masa ke masa, jurutera Microsoft dapat mengurangkan kekaburan gerakan daripada 65 milisaat pada Kinect asal kepada 14 milisaat pada penggantinya.

Semua tugas ini memerlukan pemprosesan sejumlah besar maklumat. Data yang ditangkap oleh kamera Kinect adalah berdasarkan per piksel, yang bermaksud setiap daripada 220,000 piksel yang disokong oleh penderia Kinect mengumpul data secara bebasUntuk ini, kita mesti menambah lebih banyak maklumat yang dikumpul oleh penderia yang lain. Isu yang rumit ialah menguruskan untuk mengenal pasti dan mentafsir semua maklumat ini, memisahkan elemen dan kedalaman di mana ia ditemui dan menghapuskan hingar daripada imej.

Dengan Kinect, Xbox One perlu memproses 6.5 juta piksel sesaat

"

Xbox One perlu memproses 6.5 juta piksel sesaat dan hanya sebahagian kecil daripada kuasa pengkomputeran konsol boleh dikhaskan untuk tugas mentafsir maklumat memandangkan kuasa yang paling banyak perlu dikhaskan untuk permainan, rangka. penjejakan, atau pengecaman muka atau audio. Pengiraan yang sangat sedikit diperlukan bagi setiap piksel, memerlukan pembersihan>Tanpa bantuan Microsoft Research yang tidak ternilai, pasukan Kinect tidak akan dapat mencapai matlamat mereka tepat pada masanya"

Kepentingan berkesan Microsoft Research

Kerja gabungan pasukan Kinect dengan orang di Microsoft Research bukanlah perhubungan perundingan semata-mata. Penyelidik Microsoft mengambil banyak kerja dan membina keseluruhan infrastruktur dan perisian untuk menyelesaikan masalah yang terlibat dalam menangani evolusi peranti. Pengetahuan kedua-dua pasukan di kawasan masing-masing membolehkan mereka mara lebih pantas berbanding secara berasingan.

Kuncinya ialah kepantasan penyepaduan dan keupayaan untuk menyediakan penyelesaian dalam tempoh yang singkat. Tetapi semua kerja itu tidak terhad kepada mengeluarkan produk untuk dijual. Faedah tambahan ialah kemajuan yang dibuat oleh jurutera Redmond tersedia untuk pembangun, membolehkan lebih banyak mod paparan berfungsi dan data yang lebih bersih.

Kinect mendedahkan semua potensi yang disembunyikan oleh Microsoft sebagai sebuah syarikat dan itu didedahkan apabila jabatannya berfungsi secara bersepadu.Beberapa penyelidik Microsoft Research telah aktif dalam pembangunan Kinect 2.0, mengusahakan projek yang akan memberi kesan pasaran serta-merta. Bagi kita yang telah menuntut penyertaan yang lebih besar dalam Microsoft Research dalam produk Redmond, ini adalah berita baik.

Kinect juga merupakan demonstrasi ketara bahawa Penyelidikan Microsoft adalah lebih daripada makmal idea, ia merupakan modal asas untuk masa depan Microsoft .

Melalui | Blog Rasmi Microsoft | TechCrunch