AMD Ryzen 9 9950X3D2 — майбутній флагман платформи AM5 зі 192 мегабайтами L3-кешу

[yuriy_dd]

Тож повторюю питання: скільки займає перемноження 4х пар чисел на CPU та GPU?

вирішили корчити дурня?

ніхто не буде множити 4 пари чисел як векторними інструкціями так і тим більше на ГПУ

а тепер відповідь на моє питання, повтор - якщо ви розгладаєте векторні інструкції для множення 4-х пар чисел - то явно вам потрібно помножити не 4 пари, а значно більше, так чи ні?

[dext]

вирішили корчити дурня?

ніхто не буде множити 4 пари чисел як векторними інструкціями так і тим більше на ГПУ

Тож для чого ви несете відверту маячну про непотрібність AVX?

а тепер відповідь на моє питання, повтор - якщо ви розгладаєте векторні інструкції для множення 4-х пар чисел - то явно вам потрібно помножити не 4 пари, а значно більше, так чи ні?

Це залежить від того, чи розумієте ви різницію між SIMD(ЦП) та MIMD(ГП), latency(ЦП) та bandwidth(ГП)

[tornadox]

Тобі не доходе, що порівнювати цифри в характеристиках безглуздо, на різних архітектурах. В тебе тупі порівняння, які виглядають як - якщо в умовній фурі 500 коняк, то значить що легкові автомобілі теж потягнуть такий вантаж, з аналогічним за потужністю двигуном. А те що нічого в легковому під такий режим роботи не розраховане, то тобі байдуже. 500 кобил = 500 кобил, і не їпе

Ідеальна аналогія.
Я б ще добавив кілька моментів:

Він постійно натягує досягнення Apple в закритому залізі на закритій ОС, де практично закриті будь-які кастомізації, нібито як "прогрес ARM як архітектури".

Щойно прочитав пост на HackerNews про встановлення Asahi Linux на Air M2, і там таких як він в коментарях сотні.

Ну подумаєш:
- Сідає батарея так само як в любому іншому лептопі
- В сні сідає гірше ніж Інтел чи АМД
- Немає прискорення графіки
- Купа драйверів не працює
- Зате є консоль
(бо залізо і ос закриті, реверсити важко і дорого)

І коментарі ті ж самі - суцільна брехня де "M4 перевершує самий потужний Ryzen і при тому споживає 0.2 вата" (дивно що не віддає енергію в розетку назад). "Якості такої як в епл не зустрінеш в жодному ноуті."


Мені здається він просто хоче доказати нам всім що наші ПК за 2-4 кілобакси це дурна і не ефективна покупка, а от його витрачені $600 це і є той самий дзен!
Тому і старається представити себе експертом першопрохідцем (нібито) АРМ і тому пише в кожній темі про відеокарти чи процесори.
Все про утвердження що він "правильно вибрав" а решта - ні.


Я вже тут раніше збирав його цитати за літній період:
viewtopic.php?p=4075763#p4075763
Бреше про 28 годин YouTube на ноуті 2020 року який він "щодня використовує від батареї" (після 1000+ циклів ємність має бути -30%).

Але! Він досяг визнання!
Це і є перемога. Краще бути знаменитим тролем, ніж анонімним невдахою.

[AntonyKandaurov]

Щойно прочитав пост на HackerNews про встановлення Asahi Linux на Air M2, і там таких як він в коментарях сотні.

Боже, їх вже десь виготовляють в товарних масштабах. Бідні люди - мусять терпіти Юрко-подібних.

Але! Він досяг визнання!
Це і є перемога. Краще бути знаменитим тролем, ніж анонімним невдахою.

Так собі ачівка, але життя трошки задрімавшого форума пожвавив

Відправлено через 7 хвилин 35 секунд:

здається він просто хоче доказати нам всім що наші ПК за 2-4 кілобакси це дурна і не ефективна покупка, а от його витрачені $600 це і є той самий дзен!

Так і є, пропонувати купляти телефон за 212 $ спираючись на те, що там стоїть топовий проц - це щось із розряду шкідливих порад. Процесор може там і топовий але все інше зроблено з гівна і палок і дай боже щоб фарба з пластику в перший же день не почала злазити. Я вже не кажу про немаленьку вірогідність отримати телефон який залочений лише під китайського оператора зв'язку. Сам сабж чомусь ходить із поко ф5 зате рекламує якийсь "Huyiyu" із снапом ( назва умовна, не пам'ятаю як те чудо зветься ).

[gooodorsage]

Мені здається він просто хоче доказати нам всім що наші ПК за 2-4 кілобакси це дурна і не ефективна покупка, а от його витрачені $600 це і є той самий дзен!
Тому і старається представити себе експертом першопрохідцем (нібито) АРМ і тому пише в кожній темі про відеокарти чи процесори.
Все про утвердження що він "правильно вибрав" а решта - ні.

Я не знаю, що тут сперечатись, є задачі - де мак показує кращі результати, є де ПК на windows показує кращі результати.
Це ж кінцевому результаті все інструменти для виконання прикладних задач.

АРМ до речі дійсно стає більш популярним, але нажаль(чи на щастя) - у кожного популярного виробника ноутів, виходить 1-2 бука на АРМ, з сотень на windows.

Особистий досвід:
В свій час пробував розробляти під маком, нажаль якщо це не SWIFT, то там мрак, тупо не має різноманіття софту/інструментів для тестування та розробки(займаюсь розробкою та проектуванням БД та сотфом для керування цими БД).

У мене по знайомим де компанії виділяють свою техніку "apple" для розробки/аналітики - виглядає зі сторони класно, але майже усі просто використовують їх як термінальну станцію та рдп-шкою зайти на сервера компанії).

Адміни та безпека плюються на маки, т.к. нормально не можуть ці пристрої під'єднати до політик безпеки компанії, стандартного набору софту та інш. речей які на windows вирішуються в пару кліків та фактично мучаются з кожним. Тому часто зустрічав в запитах на закупку саме буки на windows, навіть дорожчі за маки(але гірші по х-ка).

[yuriy_dd]

займаюсь розробкою та проектуванням БД та сотфом для керування цими БД

займаюсь цим 30+ років. До аас професійне питання як оптимізувати запит:
select * from table where field1 in (1, 2) order by field2 limit 10 offset 100

я стверджую що його не можливо оптимізувати існуючими підходами, індекси не допоможуть

[vdemeshko]

а все тому що в Epyc кожен чіплет приєднано через шину 64 байт запис + 64 зчитування, що дає 80+ Гбайт/с, а в Ryzen всього 60 Гбайт/с на зчитування і 30 Гбайт на запис

80+ - так це ж досягнення що ого-го-го ...
в точ час як вбогий базовий М5 дає 153GB/s. Ви усмідомлюєте перевагу?

а скільки там каналів - ви в курсі?

а що краще - мало широких каналів, чи багато але вузьких?

Ну давайте добавьте оперативки в SoC Apple дополнительно )) не получится ? Зато 153Gb/s.. или меняй ноут с устраивающим по производительности процессором на другой так как через , допустим пару лет, понадобилось больше оперативки под задачи - а ядер и их производительности хватает еще с головой

just add 2 my cents

я стверджую що його не можливо оптимізувати існуючими підходами

какая цель оптимизации - какой приемлимый тарджет буста перфоманса на каком дата сете ? что значит "существующие подходы" - keyset pagination (seek method) к каким относится?
Отправлено спустя 35 минут 44 секунды:
PS

Код: Выделить всё

SELECT * FROM table 
WHERE field1 IN (1, 2) 
  AND field2 > :last_seen_field2_value
ORDER BY field2 
LIMIT 10;

індекси не допоможуть

реверс композит индекс

Код: Выделить всё

CREATE INDEX idx_field2_field1 ON table(field2, field1);

или юнион шоб помогло

Код: Выделить всё

-- первая пейджа без кусрора
(
  SELECT * FROM table 
  WHERE field1 = 1
  ORDER BY field2 
  LIMIT 10
)
UNION ALL
(
  SELECT * FROM table 
  WHERE field1 = 2
  ORDER BY field2 
  LIMIT 10
)
ORDER BY field2
LIMIT 10;

-- следующая пейджа (юзаем last_seen_field2 как cursor)
(
  SELECT * FROM table 
  WHERE field1 = 1 AND field2 > :last_seen_field2
  ORDER BY field2 
  LIMIT 10
)
UNION ALL
(
  SELECT * FROM table 
  WHERE field1 = 2 AND field2 > :last_seen_field2
  ORDER BY field2 
  LIMIT 10
)
ORDER BY field2
LIMIT 10;

но я не DBA/SQL developer - там лучше к ним (>30+ годами опыта) вообще у оптимизаци обычно есть какая то цель что бы искать стратегию.

Отправлено спустя 36 минут 26 секунд:
PPS
да да естественно там будут вопросы по дедупликации, следующим шагом надо будет их решать типа compound cursor, но смысл в стратегии , а не деталях имплементации солюшена..

Код: Выделить всё

-- первая пейджа
(
  SELECT * FROM table 
  WHERE field1 = 1
  ORDER BY field2, id 
  LIMIT 10
)
UNION ALL
(
  SELECT * FROM table 
  WHERE field1 = 2
  ORDER BY field2, id 
  LIMIT 10
)
ORDER BY field2, id
LIMIT 10;

-- последующие страницы
(
  SELECT * FROM table 
  WHERE field1 = 1 
    AND (field2, id) > (:last_field2, :last_id)
  ORDER BY field2, id 
  LIMIT 10
)
UNION ALL
(
  SELECT * FROM table 
  WHERE field1 = 2 
    AND (field2, id) > (:last_field2, :last_id)
  ORDER BY field2, id 
  LIMIT 10
)
ORDER BY field2, id
LIMIT 10;

а следующим шагом под какой диалект SQL и движок это надо и тд и тп.. а я тут мимо крокодил


PPS

я стверджую що його не можливо оптимізувати існуючими підходами

всегда думал что нам платят деньги за то что невозможное делаем возможным )) ну как минимум проблем солвинг - вот это все..

[yuriy_dd]

Ну давайте добавьте оперативки в SoC Apple дополнительно )) не получится ? Зато 153Gb/s

ця жертва для того щоб швидко працювало. х86 - теж розпаюють, але сильно швидше від цього в них не працює

какая цель оптимизации - какой приемлимый тарджет буста перфоманса на каком дата сете ? что значит "существующие подходы" - keyset pagination (seek method) к каким относится?

щоб запит працював на рівні швидкості виконання запиту: select * from table where field1 in (1) order by field2 limit 10 offset 100

CREATE INDEX idx_field2_field1 ON table(field2, field1);

таблиця велика, скажімо 1 млрд записів, і к-ть записів по кожному field1 у великих діапазонах - від 1 до 10млн

или юнион шоб помогло

ви забули про offset 100

в чому проблема - що якщо йти по індексу - то кожне значення фільтру по field1 повертає дуже багато результатів, які потім треба злити і посортувати
особливо гостро якщо у списку фільтра "field1 in (1, 2)" не 2 значення - як я вказав - а скажімо 100 і більше
і от я придумав як оптимізувати виконання таких запитів - використовуючи власні бінарні структури
недавно почав дивитись про ClickHouse - то є певні однакові ідеї

[vdemeshko]

ви забули про offset 100

вы забыли про курсор keyset pagination и даже компаунд курсор для решения проблемы дедупликации

Отправлено спустя 2 минуты 6 секунд:

ClickHouse

а знаете что такое колоночные базы данных? для этого нужно задать вопрос что такое индекс в реляционных think about it (c) meme

[yuriy_dd]

вы забыли про курсор

використання курсорів - сповільнує роботу

Відправлено через 1 хвилину 10 секунд:

а знаете что такое колочные базы данных?

звичайно що знаю, але це нічого не допоможе - в загальному випадку розмір даних буде сильно більшим - бо потрібно ще зберігати ключ в кожній колонці

[vdemeshko]

yuriy_dd

використання курсорів - сповільнує роботу

Код: Выделить всё

WHERE field1 IN (1, 2) 
  AND field2 > :last_seen_field2_value (курсор)

Отправлено спустя 5 минут 53 секунды:
yuriy_dd

звичайно що знаю, але це нічого не допоможе

я не про это... я про Index-Only Scan или даже (Covering index + index-only scan) но даже не в этом дело зачем делать "аналитику" в релеационной с таким массивом данных и что то там оптимизировать )) для этого же аналитические, колоночные бд и существуют.. если пытались оптимизировать для такого объема данных то не тем инструментом пользовались изначально

[yuriy_dd]

WHERE field1 IN (1, 2)
AND field2 > :last_seen_field2_value (курсор)

ну але мені треба offset і 1000000

но даже не в этом дело зачем делать "аналитику" в релеационной с таким массивом данных

це не аналітика - це вибірка даних по вимозі

[vdemeshko]

WHERE field1 IN (1, 2)
AND field2 > :last_seen_field2_value (курсор)

ну але мені треба offset і 1000000

дело в том, что согласно указанным Вами вводным данным он Вам не нужен(то есть по заданному вопросу изначально это было понятно в том примере квери с ссылкой на то что индексы не работают) => keyset pagination

спойлер

Keyset pagination (or seek pagination) is a database technique for fetching data pages efficiently by using the values (keys) from the last record of the previous page to define the start of the next page, instead of using OFFSET. It's faster for large datasets because it leverages database indexes (like primary keys or timestamps) to directly find the next set of rows, avoiding slow full table scans or sorting required by LIMIT/OFFSET, making it great for infinite scrolling but requiring unique, indexed keys for stable results.

все ответы же были даны заранее с учетом второго вопроса "а если ярд записей" тут идея как это сделать а не полная реализация в контексте задачи.. там же с юнион выше был экзампл. Даже индексы можно "оживить"

Отправлено спустя 15 минут 17 секунд:

звичайно що знаю, але це нічого не допоможе - в загальному випадку розмір даних буде сильно більшим - бо потрібно ще зберігати ключ в кожній колонці

недавно почав дивитись про ClickHouse - то є певні однакові ідеї

а зачем стали смотреть про нее если не поможет кликхаус - True column-oriented DBMS
Но вообще абстрактная задачи про сферического в вакууме коня. Что хотели услышать спросив ее на форуме ? никто ваши данные не видит. Никто не понимаете какой аксептанс критерий в разерзе ожидаемого эффекта от оптимизации. Даже не понято в контексте чего это надо архитектура приложения, ETL задача или что там)) апликуха чисто в БД аля Оракл ? ну вот смысл без кучи вводных давать некую задача кому то тут не тех собес ) и не профильный форум )

[yuriy_dd]

AND field2 > :last_seen_field2_value

і це ще вимагає щоб field2 були унікальні - що не є

а зачем стали смотреть про нее если не поможет

просто знайшов - дослідив

[vdemeshko]

і це ще вимагає щоб field2 були унікальні - що не є

вы пробовали не скролить а читать весь пост )) там же ниже

AND (field2, id) > (:last_field2, :last_id)

там же не реализация показана под вашу задача, а идея