Ветка Харнесс роляет ))

10 сообщений · 02:59–03:16

Александр Евтеев

Харнесс роляет ))

02:59

J
John Nest
Теоретически можно и локальную модель подключить к условному Гермесу (обычно с ним работаю), но пока у тебя нет 20 A100 (видел на связке GLM) это будет несерьезным
03:00
1. А
  Александр Евтеев
  Возможно, я пока до локальных экспериментов не дошел еще )
  03:01
  1. J
    John Nest
    Многое пропускаешь, мне локальные модели больше для генерации изображении нужны, но вот условную flux 2 dev уже не могу на RTX 5090 TI нормально поднять! (Модель жрет 33 ГБ VRAM!)
    03:02
    1. А
      Александр Евтеев
      Я на GB10 посматриваю, там 128 Гб общей памяти И сейчас вроде уже AI Max+ 495 вышли взамен 395, у них вроде до 192 Гб общей, под видео можно 160 отдать емнип Может возьму что-то из этого для экспериментов. В игры не играю, шумную печь задорого на RTX 5090 / 6000 PRO не хочу собирать ))
      03:08
      1. J
        John Nest
        Заманчиво выглядит, но выглядит как что-то не по карману...
        03:11
        А
        Александр Евтеев
        А 5090 по карману? Она вроде сейчас те же 400 тр плюс-минус стоит, не считая остального компа ))
        03:12
        J
        John Nest
        Я ее за 200 урвал в Китае...
        🔥1
        03:12
        А
        Александр Евтеев
        GB10 вендор-локнутые, под родную убунту от NVIDIA. Говорят, что окирпичиваются при установке другой ОС. И это настораживает, вдруг решат санкции ввести
        03:15
        J
        John Nest
        Теоретически они могут по драйверу локнуть вообще все, что как говорится "Обстоятельства независящие от нас" будет конечно крайне грустно...
        💯1
        03:16