在过去的两周里，生成式人工智能 (AI) 毫无疑问，该领域是一个热点，突破性的新版本和尖端集成不断涌现。 OpenAI 发布了备受期待的 GPT-4 模型，Midjourney 最新的发布 V5 模型，Stanford 发布了 Alpaca 7B 语言模型。与此同时，谷歌在整个过程中 Workspace 生成式人工智能在套件中推出，Anthropic 推出其人工智能助手 Claude，微软将其强大的生成人工智能工具 Copilot 集成到了 Microsoft 365 套件中。
随着企业开始意识到人工智能和自动化的价值，以及使用这些技术来保持市场竞争力的必要性，人工智能的开发和应用越来越快。
虽然人工智能的发展似乎进展顺利，但仍有一些潜在的挑战和瓶颈需要解决。随着越来越多的企业和消费者接受人工智能，计算能力的瓶颈正在出现。人工智能系统所需的计算量每隔几个月翻一番，但计算资源的供应难以跟上步伐。此外，培训大型人工智能模型的成本继续飙升，过去十年的年增长率约为 3100%。
开发和培训尖端人工智能系统所需的成本增加和资源需求增加的趋势正在导致集中。只有预算大的实体才能研究和生产模型。然而，一些基于加密技术的项目正在建立分散的解决方案，以利用开放式计算和机器智能网络来解决这些问题。
人工智能（AI）和机器学习（ML）基础
AI 该领域可能令人望而生畏，技术术语如深度学习、神经网络和基本模型增加了其复杂性。现在，让我们简化这些概念，以便理解它们。
人工智能是计算机科学的一个分支，涉及算法和模型的开发，使计算机能够执行感知、推理和决策制定等需要人类智能的任务；
机器学习 (ML) 是 AI 该子集涉及训练算法来识别数据中的模式并根据这些模式进行预测；
深度学习是一种涉及使用神经网络的方式 ML，通过分析输入数据并生成输出，神经网络由多层相互连接的节点组成。
例如，基本模型 ChatGPT 和 Dall-E，它是一种经过大量数据预训练的大规模深度学习模型。这些模型可以学习数据中的模式和关系，生成类似于原始输入数据的新内容。 ChatGPT 它是一种用于生成自然语言文本的语言模型 Dall-E 它是一种用于生成新颖图像的图像模型。
AI和ML行业的问题
人工智能的进步主要由三个因素驱动：
算法创新：研究人员不断开发新的算法和技术，使人工智能模型能够更高效、更准确地处理和分析数据。
数据：人工智能模型依靠大型数据集作为训练燃料，使其能够从数据中的模式和关系中学习。
计算：训练 AI 模型所需的复杂计算需要大量的计算处理能力。
然而，有两个主要问题阻碍了人工智能的发展。回到2021年，获取数据是人工智能企业在人工智能发展过程中面临的主要挑战。去年，与计算相关的问题超过了数据，尤其是由于高需求驱动的计算资源无法按需访问。
第二个问题与算法创新效率低有关。虽然研究人员继续在以往模型的基础上增量改进模型，但从这些模型中提取的智能或模型总是会丢失。
让我们更深入地研究这些问题。
计算瓶颈
基础机器学习模型的训练需要大量的资源，通常需要很长时间 GPU。例如，Stability.AI 需要在 AWS 的云中运行 4,000 个 Nvidia A100 GPU 训练他们的 AI 模型，一个月的费用超过 5000 万美元。另一方面，OpenAI 的 GPT-3 使用 1,000 个 Nvidia V100 GPU 训练，耗资 1,200 万美元。
人工智能公司通常面临两种选择：投资自己的硬件，牺牲可扩展性，或选择云供应商并支付高价。尽管大公司有能力选择后者，但小公司可能并不那么奢侈。尽管大型云供应商扩展基础设施的成本基本保持不变，但初创公司还是被迫降低云支出。
人工智能的高计算成本给追求该领域进步的研究人员和组织带来了重大障碍。目前，迫切需要一个负担得起的按需无服务器计算平台 ML 传统计算领域不存在工作。幸运的是，一些加密项目致力于开发分散的机器学习计算网络，以满足这一需求。
效率低下，缺乏合作
越来越多的人工智能开发是在大型科技公司而不是在学术界进行的。这一趋势导致了微软等领域合作的减少 OpenAI 和谷歌的 DeepMind 等待公司相互竞争，保持其模型的隐私。
缺乏合作导致效率低下。例如，如果一个独立的研究团队想要发展一个更强大的团队 OpenAI 的 GPT-4 在版本中，他们将需要从零开始重新训练模型，基本上是重新学习 GPT-4 所有的训练内容。考虑到仅 GPT-3 培训成本高达 1200 一万美元，这使得小规模的规模更小 ML 研究实验室处于劣势，进一步将人工智能发展的未来推向大型科技公司的控制。
然而，如果研究人员可以建立在现有模型的基础上，而不是从零开始，以减少进入障碍；如果有一个开放的网络来激励合作，作为一个自由市场管理的模型协调层，研究人员可以使用其他模型来训练他们的模型，会发生什么？分散的机器智能项目 Bittensor 构建了这种类型的网络。
机器学习的分散计算网络
通过激励去中心化计算网络 CPU 和 GPU 资源对网络的贡献将寻求计算资源的实体连接到具有闲置计算能力的系统中。与集中提供商相比，分散的网络可以提供更低的价格，因为个人或组织提供的闲置资源没有额外的成本。
有两种主要类型的分散计算网络：通用和特殊类型。通用计算网络像分散云一样运行，为各种应用程序提供计算资源。另一方面，特定用途的计算网络是为特定用例量身定制的。例如，渲染网络是一个专注于渲染工作负载的特殊计算网络。
尽管大多数 ML 计算工作负载可以在分散的云上运行，但有些计算网络更适合特定用途，如下所述。
机器学习计算工作负载
机器学习可分为四大计算工作负荷：
数据预处理：准备原始数据并将其转换为 ML 可用的模型格式通常涉及数据清理和标准化等活动。
训练：通过学习数据中的模式和关系，机器学习模型在大型数据集上进行训练。在训练过程中，调整模型的参数和权重，以最大限度地减少误差。
微调：可以使用较小的数据集进一步优化 ML 为了提高特定任务的性能，模型。
推理：对用户查询进行预测，运行训练和微调模型。
数据预处理、微调和推理工作负荷非常适合 Akash、Cudos 或 iExec 在去中心化云平台上运行。然而，分散存储网络 Filecoin 由于其最近的升级特别适合数据预处理，因此被使用 Filecoin 虚拟机（FVM）。 FVM 升级可以计算存储在网络上的数据，为使用它存储数据的实体提供更有效的解决方案。
计算网络机器学习专用计算网络
由于并行化和验证的两个挑战，训练部分需要一个特定用途的计算网络。
ML 模型的训练依赖于状态，这意味着计算结果取决于计算的当前状态，使用分布式 GPU 网络变得更加复杂。因此，有必要专门做一个 ML 并行训练模型设计的特定网络。
更重要的问题与验证有关。建立信任最小化 ML 在模型训练网络中，网络必须有一种方法来验证计算工作，而无需重复整个计算，否则会浪费时间和资源。
Gensyn
Gensyn 是一种特定的 ML 在计算网络中，它找到了分散和分布式训练模型的并行化和验证问题的解决方案。该协议使用并行化将较大的计算工作负载分成任务，并将其异步推送到网络中。为了解决验证问题，Gensyn 利用概率学习证明，基于图形的精确定位协议，以及基于抵押和削减的激励系统。
尽管 Gensyn 该网络尚未上线，但该团队预测该网络将上线 V100 等效 GPU 每小时成本约为 0.40 美元。基于以太坊矿工的这一估计 Merge 以前用过类似的 GPU 每小时赚取 0.20 至 0.35 美元。即使有这个估计 100% 的偏差，Gensyn 计算成本仍将大大低于 AWS 和 GCP 按需服务。
Together
Together 是另一个专注于构建专门用于机器学习的分散计算网络的早期项目。项目启动之初，Together 斯坦福大学、苏黎世联邦理工学院开始整合Open Science Grid、麦迪逊分校，威斯康星大学， CrusoeCloud 不同机构未使用的学术计算资源总数超过 200 PetaFLOP 计算能力。他们的最终目标是收集全球计算资源，创造一个任何人都能为先进人工智能做出贡献并受益的世界。
Bittensor：分散的机器智能
Bittensor 它解决了机器学习中的低效问题，并通过使用标准化的输入和输出代码来鼓励开源网络上的知识生产，从而改变研究人员的合作模式，实现模型的可操作性。
在 Bittensor 在上面，矿工通过独特的方式 ML 该模型为网络提供智能服务，获取网络本地资产 TAO 的奖励。矿工在互联网上训练他们的模型时，与其他矿工交换信息，加快他们的学习。通过抵押 TAO，整个用户都可以使用 Bittensor 网络的智能化并根据其需要调整其活动，从而形成 P2P 智能市场。此外，应用程序可以通过网络验证器在网络的智能层上构建。
Bittensor 如何工作
Bittensor 是一种开源 P2P 该协议实现了分散专家的混合 (MoE)，这是一种 ML 该技术结合了针对不同问题的多种模型，以创建更准确的整体模型。这是通过训练被称为门控层的路由模型来完成的。该模型在一组专家模型上进行训练，以学习如何智能地输入路由以产生最佳输出。为了实现这一目标，验证器动态地在相互补充的模型之间形成联盟。用于解决延迟瓶颈的稀疏计算。
Bittensor 激励机制吸引特殊模型加入混合体，并在解决利益相关者定义的更大问题中发挥利基作用。每个矿工代表一个独特的模型（神经网络），Bittensor 自协调模型作为模型运行，由未经许可的智能市场系统管理。
该协议与算法无关。验证人只定义锁，允许市场找到钥匙。矿工的智能是共享和测量的唯一组成部分，模型本身仍然是私有的，从而消除了测量中的任何潜在偏见。
验证者
在 Bittensor 上面，验证器充当网络 MoE 模型的门控层充当训练 API 并支持在网络上开发应用程序。他们的质押主导着激励模式，并决定了矿工需要解决的问题。验证人了解矿工提供的价值，以相应地奖励他们，并就他们的排名达成共识。排名较高的矿工获得更高份额的通货膨胀区块奖励。
验证人也被鼓励诚实有效地发现和评估模型，因为他们获得了顶级矿工的债券，并获得了他们未来奖励的一部分。这有效地创造了矿工将自己“绑定”到矿工排名的经济机制。该协议的共识机制旨在抵制高达 50% 网络股份的串通，使得不诚实地对自己的矿工进行高度的财务排名是不可行的。
矿工
矿工在互联网上接受培训和推理。他们根据自己的专业知识有选择地与同行交换信息，并相应地更新模型的权重。在交换信息时，矿工应根据其股份优先考虑验证人的要求。目前，有3523名矿工在线。
矿工之间在 Bittensor 网络上的信息交换允许创建更强大的信息 AI 模型，因为矿工可以利用同行的专业知识来改进自己的模型。这本质上是 AI 空间带来不同的可组合性 ML 模型可以在其中连接，以创建更复杂的模型 AI 系统。
复合智能
Bittensor 通过新市场解决低效激励问题，有效实现机器智能的复合，提高效率 ML 培训效率。无论他们贡献的规模或利基如何，这个网络都能让个人为基本模型做出贡献，货币化他们的工作。这类似于互联网如何使利基在经济上做出贡献，在经济上是可行的 YouTube 在内容平台上赋予个人权力。本质上，Bittensor 致力于商业化机器智能，成为人工智能互联网。
总结
随着分散机器学习生态系统的成熟，各种计算和智能网络可能会产生协同效应。例如 Gensyn 和 Together 可以作为 AI 而生态硬件协调层， Bittensor 可作为智能协调层。
在供应方面，以前的开采 ETH 大型公共加密矿工对为分散计算网络贡献资源表现出极大的兴趣。例如，在他们的网络中 GPU 发布之前，Akash 从大型矿工那里获得了 100 万个 GPU 承诺。此外，大型私人比特币矿工之一 Foundry 已经在 Bittensor 开采。
本报告中讨论的项目背后的团队不仅构建基于加密技术的网络进行炒作，而且构建基于加密技术的网络 AI 研究人员和工程师已经意识到加密在解决其行业问题方面的潜力。
通过提高培训效率，实现资源池，为更多人提供大规模服务 AI 模型有机会做出贡献，分散化 ML 网络可以加速 AI 在未来，让我们更快地解锁通用人工智能。
原文作者：Messari - Sami Kassab
原创编译：BlockTurbo
本文的部分内容来自网络，仅供参考。如有侵权行为，请联系删除。
