Виртуальная и дополненная реальность. Ждем Бума?

[debi12345]

то есть можно предавать мозгу картинки через слух или тактильные ощущения через "условные маркеры" посылаемые через зрение .

Это все равно передача на конкретные нейроны через выделенные (природой) специально для них каналы связи

[Alex2013]

то есть можно предавать мозгу картинки через слух или тактильные ощущения через "условные маркеры" посылаемые через зрение .

Это все равно передача на конкретные нейроны через выделенные (природой) специально для них каналы связи

Нейронам вообще-то все равно... Есть "эрго прокси" (то бишь некая "обратная связь") откликается на импульсы ? Подключаю!... А что с этим делать забота "высших когнитивных функций" . Это как были когда-то (а может и сейчас есть) такие уличные "люди оркестры" ...навесил на себя кучу муз инструментов обвязал веревочками и трубочками... "А теперь мы попробуем на всем этом что-то сыграть!"
Зы
"Девушка-оркестр" хайтеч вариант .

[debi12345]

Тема "живем в симуляции" - взгляд со стороны создателей симуляции, или "мы в ответе за процедурных неписей, которых сгенерировали"

"Блаженство"

https://for.kinohype.top/3503-blazhenstvo-2021.html

Не экшен, скорее философский фильм.

Добавлено спустя 10 минут 51 секунду:

Нейронам вообще-то все равно... Есть "эрго прокси" (то бишь некая "обратная связь" откликается на импульсы ) подключаю а что с этим делать забота "высших когнитивных функций"

Даже самый широкий канал среди органов чувств - зрительный (глаз + зрительный нерв + зрительный участок коры мозга, выполняющий предобработку вроде DLSS в картах с "лучами") - работает не шустрее 25 Гц. Поэтому через органы чувств широкий нейро-интерфейс не устроишь.

[Alex2013]

То есть, ты выводишь изображение на экран, потом с этого экрана скринишь и выводишь на очки?

Нет, чуть проще! Беру "скрин экран" (или конкретного окна ) и "вывожу на очки"(ясное дело в виде видеопотока, а не статически ). Но непросто "на очки", а на "виртуальный экран" висящий в виртуальном пространстве .
Примерно так ...

Объясни, что ты делаешь. Потому что то, что ты пишешь - это не понятно! Выше я написал, как я это понял. )))

Я уже два года вращаюсь "в мире виртуальных шлемов" так что просто забыл, что все еще есть люди которые могут быть совершенно "не в теме ". Вообщем если кратко, то программы класса "виртуальный десктоп" это почти первое с чем сталкиваются люди купившие любой современный виртуальный шлем.

Классика!
Обзор Виртуального Рабочего Стола на русском. 2016 год

Но кроме чисто "десктопных функций" подобные программы позволяют смотреть стереофото и стереокино, а так-же играть в "стереофицированные" с помощью специального софта игры (но и без стерео эффекта очень многое идет просто шикарно! Представь стратегии или гонки запущенные на "красиво вогнутом экране" с видимым размером в 10-20 метров по диагонали )
.
У каждой из подобных программ есть свои плюсы и минусы, а также свой набор фишек .
Кое какие интересные идеи есть и у меня . Но до написания полнофункциональной программы мне еще довольно далеко (не хватает опыта, знаний и наработок ) . Так что пока пишу разные "техно-демки" осваивая азы ВиАр-технологии.

Ну и разумеется своя программа "Виртуального Десктопа", это только часть моих довольно далеко идущих планов на тему "ВиАр программирования".
Зы
К сожалению работать на виртуальном экране также "как на реальном" пока не выходит (самое главное в том что у текущего поколения ВиАр-шлемов не достаточно разрешения для работы с текстом )
Но многое вполне можно делать уже сейчас .

[Seenkao]

Нет, чуть проще! Беру "скрин экран" (или конкретного окна ) и "вывожу на очки"(ясное дело в виде видеопотока, а не статически ). Но непросто "на очки", а на "виртуальный экран" висящий в виртуальном пространстве

Честно, не вникал. Но! Было бы хорошо знать что делает CreateSnapshotPlusWH ?

Как я вижу, что должно происходить. OpenVR - это происходящая от OpenGL (или DirectX - по идее без разницы, буду опираться на OpenGL).

Как это должно происходить? (как я это понимаю) Ты играешься матрицами и переключаешь их.
1) создаёшь основной контекст (возможно не ты сам, используешь его ты).
1.1) создаёшь в контексте виртуальный экран (очередной контекст?) с помощью glMatrixMode (первый контекст так же создавался)
1.2) выводишь основной контекст
1.3) выводишь виртуальный экран

И, с моей точки зрения, не должно быть ни каких скринов. Скрин - это очень сильно замедляющая процедура и она очень сильно урежет FPS.

Потому и спрашиваю, что происходит в программе и как.

Добавлено спустя 10 минут 12 секунд:
Возможно, если ты изучил достаточно OpenGL, то может сделать надо по другому?

Эмитировать экран (дать ему координаты, размеры). И, выдать его как закрывающую всё плоскость (всё что за ней). Получается надо вывести прямоугольник, со всем что есть на экране.

Получается, что у тебя должны быть загружены все иконки, стрелки, значки и прочая ерунда в твой OpeGLContext, и ты сам должен выводить их. Именно на тот виртуальный экран. Точнее, ты должен эмулировать экран, в виртуальном мире, но не скринить его.

Хм... зато я для себя понял, как это реализовать в будующем, если мне понадобится. Надо будет не забыть.

Тут основная сложность: состыковать основной и виртуальный экраны. Это надо полностью состыковывать клавиатуру, мышь, джойстики (если используются). В общем... работы немало.

Так что думай. )))

[Alex2013]

Чувствую мы говорим об очень разных вещах ....

1 CreateSnapshotPlusWH как раз дергает скриншот по хембеллу окна записывая его в стандартний битмап.
(Если хембелл равен нулю то дергает весь "основной экран" (поддержки мульти-экранности пока нет ) )
+ Дополнительно вырезает по флагу левую или правую половину экрана если флаг 0 обходится без обрезаний .WH озачет что я выдергиваемую текстуру сразу масштабирую .

2 OpenVR вообще почти побоку .OpenVR открывает фрейм-буфер передает "матрицу-камеры" левого или правого глаза (+ данные от контроллеров но я до них еще не добрался ), а что делает рендер это его личное дело (по идее можно вообще не использующий GPU софт-движок запилить )

3 У меня единый рендер строящий сцену и для окна на экране и для экранчиков шлема .
И да, я сам загружаю пространственную матрицу во всех "трех проходах" рендера
+ Все это складывается с данными от "болка управления" (Для ВиАр режима опционально ) + опционально есть почти полная синхронизация оконного рендера с виртуальным

4 Никакого "дополнительного контеста" для виртуального экран НЕТ! То есть, у меня изначально был обычный прямоугольник с текстурой "марсианские хроники" но после включения галки "Каптуре" я начинаю с каждым проходом ПЕРЕЗАГРУЖАТЬ текстуру которую дергаю через CreateSnapshotPlusWH
ВСЕ ! (Что само по себе достаточно быстро но есть нюансы )

5 Все УЖЕ состыковано (Сейчас выложу свежую версию техно демки и сможешь повозится с ней сам ) Не все идеально но все работает . Все что нужно это нарисовать большой заметный курсор мыши на выдергиваемом скриншоте . А там где должно "работать 3д" мышь и клавиатура в принципе не очень годится ( в комплекте со шлемом сейчас почти всегда есть специальные ВиАр-контроллеры и они работают совсем иначе, кроме прочего всего походя заменяя джойстик, геймпад,руль и прочие "протезы")

Видос с моей предпоследней техно-демки (писал не я, а товарищ Xray9999 с форума 4PDA и дергается не программа а просто чел головой усиленно крутит )
https://youtu.be/MVVhGFq8DTI



А свежая уже ТУТ

[Alex2013]

Все немного проще. Нужно на "объектах", не имеющих проблем например со зрением, наработать то, что сразу после "киборгизации" позволит видеть тем "объектам", кто до этого не имел зрения. Пусть зрение не сразу в полном объеме, но чтобы произошла и сразу начала работать "сцепка" между мозгом и имплантом.

Так это и есть "расширение нейросети/памяти" (иначе не представляю как это может работать) .

Дэсь сэнз у трохы иншому. По аналогии с компьютерными сетями, "Нейрлинк" имеющимся штатом реализовал уровни L1 и L2, теперь на очереди реализация уровней L3+, под это дело нужно расширение штата соответствующими (L3+) спецами

Самое смешное что НЛ как всегда в "изобретениях" Маска не предложил ничего нового . Чисто инженерный подход "собрать новое из старых кубиков".