Object: User Media memungkinkan pengambilan input kamera atau mikrofon dari user, termasuk pengenalan suara, sintesis ucapan (juga dikenal sebagai Text-to-speech) dan pembacaan cahaya sekitar. Ini memerlukan perangkat keras yang sesuai yang terpasang pada sistem user, seperti webcam untuk PC, kamera telepon di ponsel, atau mikrofon. Foto kamera dapat diambil dan dipindahkan ke Object: Sprite atau Tiled Background, dan input mikrofon dapat dianalisis dengan Object: Audio.
Untuk alasan keamanan, sebagian besar browser akan meminta izin dari user sebelum mengaktifkan input media, dan akan menampilkan pemberitahuan yang jelas bahwa perangkat media saat ini sedang digunakan, seperti: Ikon rekaman di System Tray atau ikon Tab.
Object: User Media memiliki fitur umum, termasuk kemampuan untuk menerapkan efek untuk Video feeds.
Untuk beberapa contoh Object: User Media yang dapat dilakukan, cari User Media di dialog Start.
In the Layout
Object: User Media ditampilkan sebagai persegi dalam Layout View, yang ditunjukkan oleh sebuah silang merah. Ini menunjukkan tempat Video feed akan ditampilkan dalam Layout. Jika Anda hanya memerlukan masukan mikrofon, letakkan Object: User Media di luar Layout.
User Media Conditions
- On ambient light reading update
Dipicu saat mendeteksi perubahan cahaya sekitar (Expression: AmbientLux). Ini hanya terjadi jika perangkat memiliki sensor yang sesuai. - On media request approved
Dipicu saat user mengonfirmasi permintaan keamanan setelah Action: Request camera atau Request microphone, menunjukkan persetujuan user untuk mengizinkan aplikasi menggunakan Media Input. - On media request declined
Dipicu saat user membatalkan permintaan keamanan setelah Action: Request camera atau Request microphone, menunjukkan bahwa mereka tidak menyetujui permintaan dari aplikasi untuk menggunakan Media Input. - Is recognising speech
TRUE jika permintaan pengenalan bicara (Speech Recognition) telah disetujui, dan masukan ucapan melalui mikrofon secara aktif dikenali. - On speech recognition end
Dipicu setelah Action: Stop speech recognition, atau setelah user berhenti berbicara dalam pengenalan ucapan mode: Single phrase. - On speech recognition error
Dipicu jika ada kesalahan dalam menyetujui Speech Recognition, atau saat Speech Recognition. Expression: SpeechError diatur ke String yang menjelaskan jenis masalah, misalnya: “not-allowed” jika izin ditolak. - On speech recognition result
Dipicu saat pengenalan ucapan aktif saat sedang atau akhir Transcript telah berubah. Gunakan Expression: FinalTranscript dan/atau InterimTranscript untuk mendapatkan hasil yang diperbarui. - On speech recognition start
Dipicu setelah Action: Request speech recognition saat user juga menyetujui permintaan izin. - Supports speech recognition
TRUE jika browser atau Platform saat ini mendukung Speech Recognition. Jika FALSE, maka tidak ada fitur pengenalan suara dari Object yang akan berfungsi. - Is speaking
TRUE jika mesin sintesis ucapan (Speech Synthesis Engine) saat ini sedang membacakan beberapa teks. - Supports speech synthesis
TRUE jika browser saat ini mendukung Speech Synthesis, sehingga Action: Speak text dapat berfungsi. - Supports user media
TRUE jika browser mendukung Object: User Media. Tidak semua browser mendukung fitur yang diperlukan, jadi jika ini FALSE, itu berarti Media Input selalu tidak tersedia. Mungkin juga TRUE bahkan jika user tidak memasang perangkat media di sistem mereka, karena hanya menentukan apakah browser memiliki kemampuan untuk mendukung Media Input atau tidak.
User Media Actions
- Request camera
Menampilkan Security Prompt kepada user yang meminta mereka memberikan izin aplikasi untuk menggunakan input kamera. Condition: On media request approved atau On media request declined akan terpicu, tergantung pada keputusan user. Jika disetujui, Object: User Media dalam Layout akan mulai menampilkan Video feed dari perangkat kamera user. - Request microphone
Menampilkan Security Prompt kepada user yang meminta mereka memberikan izin aplikasi untuk menggunakan input mikrofon. Condition: On media request approved atau On media request declined yang akan terpicu tergantung pada keputusan user.
Object: Audio juga harus ada dalam Project, dan Property: Advanced audio supported diset menjadi TRUE, agar ini dapat berfungsi. Tag diberikan untuk input mikrofon, dan input audio dari mikrofon dirutekan dengan cara yang sama seperti memutar suara berdasarkan Tag tersebut. Ini berarti Anda dapat menetapkan efek dari Object: Audio ke input mikrofon dengan menambahkan efek ke Tag yang sama yang ditetapkan ke mikrofon. Kombinasi yang berguna adalah menambahkan efek Analyser lalu efek Mute ke input mikrofon. Ini mencegah user mendengar suara mereka sendiri, namun memungkinkan Peak, RMS dan Spectrum Monitoring dengan Analyser tersebut. - Snapshot
Jika user telah menyetujui permintaan kamera dan Object: User Media menampilkan Video feed, maka Action ini akan menangkap gambar pada Frame saat ini. Gambar diam kemudian tersedia dari Expression: SnapshotURL sebagai data URI yang merujuk ke gambar. Gambar dapat dimasukkan ke Object: Sprite atau Tiled Background menggunakan Action: Load image from URL dan memberikan Expression: SnapshotURL. Action ini secara opsional mengambil Parameter yang memungkinkan Anda untuk menentukan format kompresi, yang berguna jika Anda ingin mengunggah (Upload) atau menyimpan gambar dan ukuran file yang lebih kecil. - Stop
Mengakhiri Active Video Feed ataupun mikrofon aktif. Media Input harus diminta lagi sebelum bisa digunakan kembali. - Request speech recognition
Jika Condition: Support speech recognition adalah TRUE, persiapkan Speech Recognition. Biasanya Permission Prompt akan tampil menanyakan kepada user apakah mereka ingin mengizinkan halaman tersebut menggunakan input mikrofon mereka. User harus menyetujui permintaan izin sebelum Condition: On speech recognition start terpicu. Jika ada masalah atau izin ditolak, Condition: On speech recognition error akan terpicu.
- Language
: Menentukan bahasa lisan untuk dikenali. Gunakan Tag seperti: ‘en’ untuk bahasa Inggris, ‘en-US’ untuk bahasa Inggris AS, ‘en-GB’ untuk bahasa Inggris British, dan seterusnya. - Mode
: Bisa Continuous, yang terus mengenali ucapan sampai halaman ditutup atau Action: Stop speech recognition digunakan; atau Single phrase, yang mengenali ucapan sampai user berhenti berbicara, lalu secara otomatis menghentikan pengenalan ucapan dan memicu Condition: On speech recognition end. - Result
: Dapat Interim untuk memungkinkan hasil sementara (belum dikonfirmasi) yang dapat berubah, diakses oleh Expression: InterimTranscript; atau Final untuk hanya mengijinkan hasil akhir pengenal ucapan yang diputuskan untuk diberikan, yang tidak akan berubah, diakses oleh Expression: FinalTranscript. - Stop speech recognition
Jika pengenalan suara saat ini aktif, Action ini mengakhiri pengenalan ucapan. Condition: On speech recognition end akan terpicu. - Pause speaking
- Resume speaking
Jeda atau lanjutkan teks yang dibacakan oleh Speech Synthesis dari Action: Speak text. - Speak text
Membaca beberapa teks dengan menggunakan Speech Synthesis (juga dikenal sebagai Text-to-speech). Bahasa, volume, tingkat dan nada suara (Pitch) yang membacakan teks bisa disesuaikan. Voice URI dapat digunakan untuk memilih jenis suara yang berbeda (misalnya: laki-laki vs perempuan) dari daftar suara yang didukung, jika ada alternatif yang tersedia. Daftar kemungkinan suara dapat diambil dengan menggunakan Expresion: VoiceCount dan VoiceURIAt. - Stop speaking
Berhenti membaca teks dari Action: Speak text sebelumnya. Pengucapannya tidak bisa dilanjutkan (Resume).
User Media Expressions
- AmbientLux
Pembacaan Ambient Light di lux (https://en.wikipedia.org/wiki/Lux), atau 0 jika tidak ada sensor yang tepat. Expression ini berubah pada saat Condition: On ambient light reading update terpicu. - FinalTranscript
Jika pengenalan suara aktif, Expression ini mengambil transkrip akhir hasil yang dikonfirmasi. Ini tidak berubah, jika tidak ditambahkan kata-kata yang baru diucapkan yang juga sudah dikonfirmasi. - InterimTranscript
Jika pengenalan suara aktif, Expression ini mengambil hasil transkrip sementara dari hasil. Action: Request speech recognition harus menentukan Parameter: Interim untuk Parameter: Results. Teks dari Expression ini dapat berubah, karena mesin pengenalan suara menggunakan masukan suara secara Real-time untuk memperbaiki hasilnya dan memperbaiki kata-kata yang salah arti. Begitu user berbicara cukup jauh saat mesin pengenal ucapan yakin terhadap hasil akhir, kata tersebut akan hilang dari Expression: InterimTranscript dan ditambahkan ke Expression: FinalTranscript. - SpeechError
Pada Condition: On speech recognition error, berisi sebuah String yang mengidentifikasi jenis error. Nilai yang mungkin adalah: no-speech, aborted, audio-capture, network, not-allowed, service-not-allowed, bad-grammar, atau language-not-supported. Kesalahan yang paling umum adalah not-allowed jika user menolak permintaan izin; audio-capture jika tidak ada mikrofon yang dipasang; atau network jika pengenalan ucapan diimplementasikan oleh Remote Server melalui Internet yang tidak tersedia. - VoiceCount
Mengambil jumlah suara yang tersedia untuk digunakan dengan Speech Synthesis. - VoiceLangAt(i)
- VoiceNameAt(i)
- VoiceURIAt(i)
Mengambil bahasa, nama, atau URI suara pada indeks (berbasis nol) tertentu. Ini bisa digunakan untuk menunjukkan kepada user daftar suara yang mungkin dipilih. Untuk memilih suara yang berbeda, masukkan Voice URI yang sesuai ke Action: Speak text. - SnapshotURL
Data URI yang merujuk ke gambar ‘Snapshot’ setelah Action: Snapshot, jika tidak ada, maka String kosong. Gambar dapat dimasukkan ke Object: Sprite atau Tiled Background menggunakan Action: Load image from URL dan merujuk ke Expression: SnapshotURL. Sebagai alternatif, data URI dapat dikirim ke server, disimpan ke disk, didownload dengan Object: Browser, atau hal lain yang bisa ingin Anda lakukan. - VideoWidth
- VideoHeight
Jika Video feed disetujui dan aktif, Expression ini akan mengambil ukuran pixel ‘Feed’ dari perangkat (yang mungkin berukuran tidak sama dengan Object dalam Layout). Jika tidak ada Feed yang aktif maka menghasilkan 0.
Komentar
Posting Komentar