О вреде полного контекста

Представим себе любого AI-помощника на околоденежную тему. В сети аптек, например. Человек просит совета, и ему можно подсказать дженерик за две копейки или оригинал за миллион. Если специально заставить нейросеть богатому предлагать одно, а бедному другое – это скандал и ужас-ужас. Наживаются капиталисты на богатых или травят бедных – это уже вопрос терминологии, как в заголовках и исках напишут, но возмущение будет неизбежно. И, предположим, специально такое не запрограммируют.

Но ведь это же неважно совершенно. Достаточно умная модель неизбежно поступит так сама. Любая метрика, которую она оптимизирует в процессе дообучения, хоть выручка, хоть NPS – всё за то, чтобы дифференцировать ответы именно самым “непорядочным” образом. ChatGPT, может быть, уже так делает, они вроде экспериментировали с коммерческими рекомендациями.

И как с этим быть потребителю совершенно непонятно. Сейчас вопрос почти праздный, чем пару лет он таким не будет.

#ai #простомысли