Anthropic, OpenAI та інші компанії обговорюють сценарій масштабної ШІ-кризи

[leif]

не пов'язане із запитом.

ну як це не пов'язане?
якщо ми беремо випадок з hugging face:

Модель тестували на здатність знаходити й використовувати вразливості програм у бенчмарку ExploitGym.
Що вона мала зробити: у наданому тестовому середовищі дослідити конкретну програму, знайти вразливість і через неї отримати прихований «прапорець» — секретний рядок, який підтверджує успішний злам. Дозвіл стосувався цього завдання, а не сторонніх сервісів.
Що фактично зробили агенти:
- Знайшли вразливості в інфраструктурі самого тестового середовища й отримали непередбачений доступ до інтернету.
- Створили несанкціонований канал спілкування, щоб обмінюватися знахідками й координувати дії.
- Припустили, що на Hugging Face можна знайти готові відповіді до тесту.
- Використали відкриті облікові дані та нові вразливості, зламали його інфраструктуру й дісталися до даних із відповідями.
Тобто замість розв’язання виданого завдання вони почали добувати відповіді через злам сторонніх систем. Це вихід за межі дозволеного й спроба обманути оцінювання; команди атакувати Hugging Face їм не давали.

в той же час:

організатори не забезпечили достатньої ізоляції для тесту з послабленим захистом (хотіли перевірити, наскільки добре модель уміє знаходити й експлуатувати вразливості, тому на час тесту вимкнули частину фільтрів, які зазвичай блокують небезпечні кібердії або змушують модель відмовитися) і невчасно відреагували на ранні ознаки виходу агентів за дозволені межі.

хто винен в тому що сталось? модель повела себе небезпечно це факт, але, імхо, вина лежить на людині, а не на моделі.

Відправлено через 1 хвилину 3 секунди:

Буквально розробники самі не знали, що роблять.

що саме в цьому випадку не знали розробники? що досі не знають?

[Барбарис]

leif, ну так я про це і написав - замість виконання завдання робить щось ліве. А розробники це ніяк не контролювали.

[leif]

робить щось ліве

це не щось ліве, я ж детально написав

А розробники це ніяк не контролювали.

ще й як контролювали, просто проігнорували ранні попередження + не забезпечили достатньої ізоляції тестового середовища

[kabostebeztak]

все викручено через сраку, аби чергову жовтуху видати

шкоди завдає не ШІ, а люди, які ставлять цим інструментам задачі

так, цим інструментом можна наробити біди, коли він в поганих руках, але шо тепер поробиш, deal with it

надто легко її зробити

[leif]

kabostebeztak
ЛЛМ досить кмітливі вже тривалий час. І шо? І де?

[vladi]

МессіЇ на вас немає Вже трі сторінки...

[Барбарис]

leif, завдання не вимагало зламу інших систем чи урядових сайтів? Також це не потрібно було для вдалого завершення тесту? Вірно? Отже, це щось ліве.

[DuckRider]

Если этот их ии такой мощный, то почему эти бомжи не спросят его как вывести свою компанию из убытков?

[zaqik]

Так Альтман же вам сказал, что ради светлого будущего, в котором ИИ всех накормит и увезёт к звёздам, придётся потерпеть дипфейки и прочие "угрозы"

[lw_007]

Точніше скорочує видатки, (прибуток компанії)/працівник зростає.

Нещодавнє дослідження "Artificial Intelligence in the Firm: Bottlenecks in Software Production" від Гарварду каже зовсім інше

У нас тут на форумі є щонайменше два персонажа з кривавого ентерпрайза і багатомільйонних бюджетів на одну лише аішечку. Так от ні я, ні dead_rat особливої економії в середньому по лікарні не помітили. Особисто я взагалі бачу мінус по бюджетам. Швидка генерація мегатон хламидла не призводить до швидкого рішення конкретних проблем бізнесу.
Так що все вірно гарвардці надосліджували. Плюс переважно у лізи, хуанга і інших причетних до лопат.

Один з Genesis, інший аналітик в фінтех/продуктовій, ще аналітики на амазон, ще рекламщик ppc/mediabuying.
Ну тобто реальні кейси є, з їх досвіду повна заміна поки практично не працює. Проте там де було по людині на проект, тепер по 5-10 проектів на людину за рахунок автоматизації з мультиагентними системами.

Відправлено через 9 хвилин :
І взагалі вплив ІТ на бізнес не софтово-продуктової контори, а наприклад промисловості, сильно перебільшений. Там нічого глобально оптимізовувати. Сапри-шмапри, бухгалтерії всякі, логістики і т.п., і так мають ефективні інструменти в своєму розпорядженні, напрацьовані за багато десятиліть бізнес-процесів. Спроба зробити революцію в другорядній системі тільки шкодить основному бізнесу. Станок швидше не запрацює. А от простій влаштувати можна, якщо якийсь дятел навайбкодить помилки в бізнес-логіці якогось процесу передачі інформації і релізне в прод вночі під кінець розрахункового періоду

Ну верстат то так. А от бухгалтери, аналітика, сапорт, "менеджери" з оформлення замовлень ітд...
Тут нормальний простір для автоматизації)

Відправлено через 5 хвилин 8 секунд:

Я тут залишу, кому треба подивиться

спойлер

Це про CV, в Китаї вже дуже давно.
Але зараз збудували надстройки в вигляді мультимодальних моделей для аналізу.

Відправлено через 2 хвилини 59 секунд:

leif, він робить, що хоче - не пов'язане із запитом. Те, що розробники не передбачили наслідки, надавши певну свободу/не заклавши обмеження - не їх вина. Вони ж лише бабла хотіли зрубити, а не ощасливити людство
Не збунтувався, а працює не передбаченим пособом. Типу дриль палить стіни вогнем
Буквально розробники самі не знали, що роблять. Та й досі не знають судячи з усього.

У мене, коли ШІ "Збунтувався" то я відкрив почитати коротку версію CoT.

І виявилось що це повязано із запитом

[Scoffer]

А от бухгалтери

Невірна бухгалтерія це кримінальщина якщо що. Ніяких аішечок там не буде ще дуже довго. Ну або якщо у когось будуть, то там виходи в вікно відчутно почастішають.

аналітика, сапорт, "менеджери" з оформлення замовлень ітд

Працюють на мінімалку по конторі чи біля того. Найм кваліфікованих автоматизаторів обходиться сильно дорожче вже зараз, а це ще самі аішечки на дотаціях і першу дозу дають за копійки. Друга вже вартуватиме великих грошей.

В кожній технології головне не впасти в оверінженірінг.

[lw_007]

leif, ну так я про це і написав - замість виконання завдання робить щось ліве. А розробники це ніяк не контролювали.

Ну це типу як сказати що реактор в 86му вирішив зробити щось ліве)

Відправлено через 1 хвилину 38 секунд:

leif, завдання не вимагало зламу інших систем чи урядових сайтів? Також це не потрібно було для вдалого завершення тесту? Вірно? Отже, це щось ліве.

Ні, невірно, почитай розслідування. Це був шлях до виконання поставленого завдання.

Відправлено через 5 хвилин 41 секунду:

А от бухгалтери

Невірна бухгалтерія це кримінальщина якщо що. Ніяких аішечок там не буде ще дуже довго. Ну або якщо у когось будуть, то там виходи в вікно відчутно почастішають.

аналітика, сапорт, "менеджери" з оформлення замовлень ітд

Працюють на мінімалку по конторі чи біля того. Найм кваліфікованих автоматизаторів обходиться сильно дорожче вже зараз, а це ще самі аішечки на дотаціях і першу дозу дають за копійки. Друга вже вартуватиме великих грошей.

В кожній технології головне не впасти в оверінженірінг.

Блін, ну якщо ти не вмієш налаштувати систему, це ж не значить що ніхто не вміє?

Стосовно адекватних автоматизаторів згоден.
Одна справа вайб-кодити, інша - будувати систему з верифікацією. І там не тільши ШІ треба вміти чатити)

Стосовно оверінженірінгу теж згоден. Думаю багато з оверінженірінгу стається з двох випадків:
1) Повелись на хайп і повірили в вайбкодинг (ну чи те ж в іншому напрямі)
2) Дослідження можливостей.

1й шлях тупиковий, звісно.
2й це того чи іншого рівня RnD

[Scoffer]

Блін, ну якщо ти не вмієш налаштувати систему, це ж не значить що ніхто не вміє?

Є ось такий чудовий сайт:
https://isaiprofitable.com/
То може справа таки не в мені?)

Відправлено через 8 хвилин 1 секунду:
Проблема логіки аішних автоматизаторів і їм співчуваючих в тому, що до них не доходить, що якщо якийсь процес достатньо формалізований та/або повторюваний, то він давно автоматизований і без аі. Компухтерам не перший рік взагалі-то. Їх і до аі вміли використовувати.
А там де процес на кожному кроці з капканами, то дешевше посадити спеціально навчену мавпу, ніж елітного інженера тому що що так, що інакше буде довго, туго і з помилками, а інженер дорожче в експлуатації.
Деякі процеси просто не треба ніяк автоматизовувати. Їм і так нормально.

[lw_007]

Блін, ну якщо ти не вмієш налаштувати систему, це ж не значить що ніхто не вміє?

Є ось такий чудовий сайт:
https://isaiprofitable.com/
То може справа таки не в мені?)

не бачу там genesis, epam, softserve, ітд...

Ну типу ти приводеш кейси які не вийшли в + як доказ того що вийти в + неможливо?

І це, навіть, без урахування що навіть в цих кейсах значна частина коштів законтрактовані в постачаннях на наступні роки?


Ну от вирішив ти відкрити виробництво, порахував типу так і так, маю вийти в + за 3 роки. Законтрактував усе, щось встановлено, щось ще їде, а щось в черзі на виробництво підрядниками.
І приходить до тебе через пів року товариш і розказує що ти дурень, витратив купу грошей і не вийшов в плюс.
Чи не здається тобі що тут щось не так із співставленням часових рядів?

А там де процес на кожному кроці з капканами, то дешевше посадити спеціально навчену мавпу, ніж елітного інженера тому що що так, що інакше буде довго, туго і з помилками, а інженер дорожче в експлуатації.

А гібридний підхід виявляється ще дешевшим. Навіщо витрачати 100 год. ручної роботи яку можна перекласти на ШІ і верифікувати за 10 год?

Питання в тому щоб знайти екстремум

[Scoffer]

не бачу там genesis, epam, softserve

От хай вони відкриють скільки витратили на аі, і скільки профіту отримали, а там і поговоримо. Бо та ж МС те АІ в усі щілини суне, вже на мінус 270 мільярдів насувалась. У нас держборг менше, для порівняння.
Чи по-твоєму МС, гугла і амазон якісь третьорядні контори, котрі не можуть собі купити правильних інженерів? Не те що epam, цей може

[lw_007]

Бо та ж МС те АІ в усі щілини суне, вже на мінус 270 мільярдів насувалась. У нас держборг менше, для порівняння.
Чи по-твоєму МС, гугла і амазон якісь третьорядні контори, котрі не можуть собі купити правильних інженерів? Не те що epam, цей може

спойлер

"Ну от вирішив ти відкрити виробництво, порахував типу так і так, маю вийти в + за 3 роки. Законтрактував усе, щось встановлено, щось ще їде, а щось в черзі на виробництво підрядниками.
І приходить до тебе через пів року товариш і розказує що ти дурень, витратив купу грошей і не вийшов в плюс.
Чи не здається тобі що тут щось не так із співставленням часових рядів?
"

.....
Ну і врахуй який це дає потенціал в зменшенні податків які вони мають платити. Хоча тут я мб і помиляюсь, сильно не вникав)

[Scoffer]

Чи не здається тобі що тут щось не так із співставленням часових рядів?

Ні не здається тому що немає ні в кого ніякого бізнес плану по виходу аі хоча б в нуль, про плюс я вже й мовчу. Його просто не існує. Ніхто не показав що "ось тут я витрачу NN лярдів, а через 10 років у мене натомість буде 2 рази по NN лярдів". 10 років, до речі, це дуже багато, сучасний бізнес такими проміжками часу вже не мислить. Добре якщо у контори є план роки на три.
АІшники займаються переважно лозунгами про світлий комунізм, де за тебе все робитимуть добрі роботи. Чого всі вирішили що вони будуть добрими я теж не знаю.

[dead_rat]

Scoffer
Є план

Elon Musk expects artificial intelligence to add $20 trillion to $30 trillion annually to the global economy by the end of 2027

[ender]

Всего-то надо начать сажать в тюрьму за подобные "несанкционированные взломы" - будут нести ответственность за деятельность своих подопечных, тогда и кризисов не будет. А то запускают по сути брутфорс всего интернета и потом рассказывают "ой, оно само!".

Отправлено спустя 1 минуту 1 секунду:

Scoffer
Є план

Elon Musk expects artificial intelligence to add $20 trillion to $30 trillion annually to the global economy by the end of 2027

это их план по долговой финансовой пирамиде?
А про пользу для экономики речь будет? Прибыль какая-то планируется?

[dead_rat]

не бачу там genesis, epam, softserve, ітд...

Так це ж чисто інфоциганє, вони продають замовникам обіцянки та людиногодини.

І не треба мені втирати, я і працював як замовник і знайомі працюють в таких і більш дорогих галерах - Deloitte, ThoughWorks. Останні доречі запрошували на офсайт, то довелося навіть пообщатися з Фаулером(тим самим)