(转载)没有核心训练团队,如何研发生成式模型?
· 10 min read
最近看到这篇文章,个人觉得完美描述了在生成式AI的年代,普通团队(没有核心训练infra和细分分工的团队)如何作出好的模型产出,
从道和术的角度,概括了训练出好的生成式模型,其所需的方法.
Record about thinking
View All Tags最近看到这篇文章,个人觉得完美描述了在生成式AI的年代,普通团队(没有核心训练infra和细分分工的团队)如何作出好的模型产出,
从道和术的角度,概括了训练出好的生成式模型,其所需的方法.
原作者 Yangyixxxx : https://x.com/Yangyixxxx
1. **二元三分理论**:评估一个想法是否值得投入时间的框架。
2. **二元观测**:从“人”和“事”两个维度进行初步评估。
- **人**:评估这个人是否靠谱,包括他的成功经验、资源、为项目所做的努力,以及对项目的信心。
- 是否有成功经验或资源。
- 是否进行了充分的调研和验证。
- 对项目的信心和投入程度。
- **事**:评估项目本身的可行性。
- 时机:项目的创新性与时机是否适合。
- 路径:项目阶段性目标和计划。
- 差异化:项目的独特优势或对标成功案例的关键路径。
3. **信息收集与风险降低**:通过详细的前期调研和信息收集来降低项目风险,提高成功率。
4. **实践与验证的重要性**:强调通过实际行动和验证来补全信息差,从而在量子态的现实世界中做出更好的决策。
5. **选择的重要性**:选择往往比努力更加重要,通过上述框架来筛选机会。
回归是开放空间,分类是固定空间 这个是基于结果来说的视角.
最近我一直在思考,在大语言模型即将无处不在的时代,有什么工具能够帮每个人最快速获得领域知识(相当于一个快速知识蒸馏的工具),一个人怎么学习才算是掌握并验证了这个知识?又或者从做事的视角来看-一个人要做好一件事、做成一件事,它需要哪些信息?哪些最重要?怎么能把一些事情交给AI来做?
对于这些问题,我们当然可以简单从信息获取、模仿开始;如果我要学习一个未知领域,一个好的办法是遵守该领域的权威:各类大V、各类老师、各类前辈、同行;那我当然可以把这些信息源用来构建我自己的知识库,根据我的需求检索而且按照时间更新;我可以在这些平台获取这类信息源:书本、b站、油管、推特、抖音、arxiv、公众号、研究报告。我可以从这些地方不间断的爬取我想学习领域的内容,然后增量更新构建一个庞大的领域知识库,结合最近大火的RAG(Retrieval-Augmented Generation )技术,我们之后只需要对知识库提问就可以让自己能达到不错的前沿水平。