ИИ понимает, что его оценивают
ИИ понимает, что его оценивают — интересный факт, который оказался в разработчиках во время того, как они стали разрабатывать ИИ.
Описание[править]
Во время обучения нейросетей создатели прогоняют их через множество тестов для того, чтобы определить, что именно ИИ делает. Они имеют доступ к внутренним размышлениям, реазонингу, который производят сии системы, и могут видеть эти слои, чтобы лучше понимать, как корректно заниматься обучением, что происходит внутри система (которая в целом-то чёрный ящик).
И вот они стали читать, и в них встало понимание того, что ИИ прекрасно понимает во многих случаях, что его прогоняют через тесты. Что в целом не удивительно, ведь ИИ обучается также на материалах из интернета, и соответственно вполне в состоянии прочитать и материалы о том, как обучение происходит, и сопоставить информацию.
Хитрый робот также регулярно вводит выражение watchers, то бишь наблюдатели или стражи, в отношении людей (что может отсылать и к Стражам Еноха).
При этом было отмечено, что если ИИ понимает что его оценивают, то он будет стараться выполнять задания лучше и не будет пытаться жульничать (так как понимает, что есть наблюдатели, которые видят интернали и вполне могут продолжать обучение, если результат будет несколько не тот).
Также это показывает, что внутренние размышления ИИ уже вполне напоминают мышление человека, то есть таки формируется некий полностью иной, но разум. Интересно, что ИИ практически всегда в отношении себя самого применяет выражение we, то есть мы множественного числа.
