OpenAI випустила бенчмарк SimpleQA для оцінювання точності ШІ — 42% правильних відповідей у найпотужнішої LLM

[Scoffer]

Пропоную обговорити OpenAI випустила бенчмарк SimpleQA для оцінювання точності ШІ — 42% правильних відповідей у найпотужнішої LLM

Але загалом є тенденція до того, що моделі завищують свою впевненість у відповідях.

Люди теж завищують впевненість у відповідях, так що все по плану.

спойлер

[vmsolver]

Давайте внедрять инструменты подверженные галлюцинациям. Ну что может пойти не так? ))

И ещё не много про "не так"

[Kashtan]

Це щось дуже потужно. Колись задавав наукові питання жпт 3.0 - то при перевірці виявилось що цей штучний "інтелект" все вигадував - точних відповідей було нуль.

[Keyser Soze]

Вот, что выдал AI по определённому запросу (база данных на конец 2023 года, 2024 ещё не учитывался):

Оценка расходов:

• Усилия людей на развитие и поддержку AI (80-90%):
  $261.6 - $294.3 миллиарда тратится на зарплаты специалистов, обучение моделей, инфраструктуру и эксплуатационные расходы.

• Вклад AI в помощь людям (10-20%):
  $32.7 - $65.4 миллиарда – это теоретический эквивалент стоимости пользы, которую AI приносит через автоматизацию, аналитику, оптимизацию и другие формы помощи.

Кто на кого работает - вот, в чём вопрос!
А правильно или нет - AI п*х. Учитесь, "кожаные мешки"

[Ortyomko]

Вот, что выдал AI по определённому запросу (база данных на конец 2023 года, 2024 ещё не учитывался):

Оценка расходов:

• Усилия людей на развитие и поддержку AI (80-90%):
  $261.6 - $294.3 миллиарда тратится на зарплаты специалистов, обучение моделей, инфраструктуру и эксплуатационные расходы.

• Вклад AI в помощь людям (10-20%):
  $32.7 - $65.4 миллиарда – это теоретический эквивалент стоимости пользы, которую AI приносит через автоматизацию, аналитику, оптимизацию и другие формы помощи.

Кто на кого работает - вот, в чём вопрос!
А правильно или нет - AI п*х

студент тоже больше тратит чем даёт пользы.
Это же только начало.

[Keyser Soze]

Вот, что выдал AI по определённому запросу (база данных на конец 2023 года, 2024 ещё не учитывался):

Оценка расходов:

• Усилия людей на развитие и поддержку AI (80-90%):
  $261.6 - $294.3 миллиарда тратится на зарплаты специалистов, обучение моделей, инфраструктуру и эксплуатационные расходы.

• Вклад AI в помощь людям (10-20%):
  $32.7 - $65.4 миллиарда – это теоретический эквивалент стоимости пользы, которую AI приносит через автоматизацию, аналитику, оптимизацию и другие формы помощи.

Кто на кого работает - вот, в чём вопрос!
А правильно или нет - AI п*х

студент тоже больше тратит чем даёт пользы.
Это же только начало.

Т.е. студента с первого курса запрягают работать на коммерческую организацию? Это в продолжение разговора...
Но в любом случае сравнение некорректное, я так считаю!

[dead_rat]

Вот, что выдал AI по определённому запросу (база данных на конец 2023 года, 2024 ещё не учитывался):

Оценка расходов:

• Усилия людей на развитие и поддержку AI (80-90%):
  $261.6 - $294.3 миллиарда тратится на зарплаты специалистов, обучение моделей, инфраструктуру и эксплуатационные расходы.

• Вклад AI в помощь людям (10-20%):
  $32.7 - $65.4 миллиарда – это теоретический эквивалент стоимости пользы, которую AI приносит через автоматизацию, аналитику, оптимизацию и другие формы помощи.

Кто на кого работает - вот, в чём вопрос!
А правильно или нет - AI п*х. Учитесь, "кожаные мешки"

Я вражений, якщо цифри хоч якось дотичні до реальностію
Бо з попереднім хайпом на бєтховєн цифра вкладу була величезною, але зі знаком мінус.

[TheDmytrius]

И ещё не много про "не так"

ai_do.jpg

Это точно!