西西河

主题投票很多人似乎都觉得国内经济不行,到底为啥不行呢? -- 胡一刀

共:💬2067 🌺12231 🌵43 新:
  • 投票信息

    单选,参与共: 249 / 0

    好上加好
    7/0
    稳中向好
    84/0
    不死不活
    64/0
    越来越差
    62/0
    自己晕菜了
    32/0
    已结束
全看分页树展 · 主题 跟帖
家园 gpt3.5级别的,字节训练这种量级的也就是1.7天

llama2 这类gpt3.5级别开源模型本质不会有太大差别,

scaling law, 模型参数和token一定 ,那模型的能力也是大差不差。

市面还没gpt4级别的开源模型,2T参数,20Ttoken级别的模型

训练量在2e25 flops 级别,万卡训练需要3-4个多月

全看分页树展 · 主题 跟帖


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河