<blockquote>
<p>金磊 发自 凹非寺</p>
<p>量子位 | 公众号 QbitAI</p>
</blockquote>
<p><strong>马斯克</strong>的 “开源承诺”，终于如约而至。</p>
<p>就在刚刚，马斯克正式宣布：</p>
<blockquote>
<p>大部分（Twitter 的）<strong>推荐算法</strong>将在今天开源，剩下的也会跟进。</p>
</blockquote>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/9f44cbb40dda48fd8ba3ca3ab934bc44~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPVRjZmFKd1UwWklMcEtVL2RsU29zS09GV0pHWT0?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="161" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/9f44cbb40dda48fd8ba3ca3ab934bc44~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPVRjZmFKd1UwWklMcEtVL2RsU29zS09GV0pHWT0"/></div>
<p>而且马斯克紧接着亮出了 GitHub 上 Twitter 推荐算法源代码的地址。</p>
<p>仅仅数小时，便揽获<strong>上万</strong>个 Star：</p>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/c45e0998b2e94bb9b93a53a13b72e07e~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPUo5eEZvaTVrUEErZFBrc0hNK0FNYlppY2JxWT0?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="409" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/c45e0998b2e94bb9b93a53a13b72e07e~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPUo5eEZvaTVrUEErZFBrc0hNK0FNYlppY2JxWT0"/></div>
<p>除此之外，马斯克还表示：</p>
<blockquote>
<p>推特将每 24 到 48 小时更新一次基于用户建议的推荐算法。</p>
</blockquote>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/031c866baaa6419dac1bb66cd6e8d96d~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPS91ejJ4Tzc0c0s1ZzllYnJ2MGJLUWdHYXp2UT0?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="546" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/031c866baaa6419dac1bb66cd6e8d96d~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPS91ejJ4Tzc0c0s1ZzllYnJ2MGJLUWdHYXp2UT0"/></div>
<p>至此，这个号称每天从 5 亿条推文做推荐的大算法的庐山真面目，终于得以露出。</p>
<h1>Twitter 的推荐算法长什么样？</h1>
<p>据介绍，Twitter 的推荐系统基于一组核心模型和功能，可以从推文、用户和互动数据中提取潜在信息。</p>
<p>这些模型的作用是回答 Twitter 网络中的重要问题，例如，“未来你与另一个用户互动的概率是多少？” 或者，“Twitter 上有哪些社区以及其中的趋势推文是什么？”</p>
<p>若是能够准确回答这些问题，就可以让 Twitter 提供更多相关的推荐。</p>
<p>Twitter 的推荐系统由三大部分构成：</p>
<ul>
<li>从不同的推荐源获取最好的推文，这个过程称为候选源。</li>
<li>使用机器学习模型对每条推文进行排名。</li>
<li>应用 heuristics 和 filters，例如过滤来自已屏蔽用户的推文、NSFW 内容和已看到的推文。</li>
</ul>
<p>负责构建和提供 “For You” 时间轴的服务被称为 “Home Mixer”。</p>
<p>“Home Mixer” 建立在 “Product Mixer” 之上，这是定制的 Scala 框架，有助于构建内容的动态流。</p>
<p>这项服务作为软件主干，连接不同的候选源、评分函数、heuristics 和 filters。</p>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/f6b52cc4d0d245138ed0119fb0dc0a90~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPVV2dm5IUTZna2hCUUJtb0pVYWtTVDgzU3NnST0?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="205" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/f6b52cc4d0d245138ed0119fb0dc0a90~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPVV2dm5IUTZna2hCUUJtb0pVYWtTVDgzU3NnST0"/></div>
<h1>候选源（Candidate Sources）</h1>
<p>Twitter 使用多个候选源来为用户检索最近和相关的推文。</p>
<p>对于每个请求，推特尝试通过这些源从数亿条推文池中提取最佳的 1500 条。</p>
<p>从您关注的人（内部网络）和不关注的人（外部网络）中寻找候选人。</p>
<p>如今，“为您推荐” 时间轴平均由 50％的内部网络推文和 50％的外部网络推文组成（尽管这可能因用户而异）。</p>
<h1>内部网络资源（In-Network Source）</h1>
<p>内部网络资源是最大的候选来源，旨在提供关注的用户最相关、最新的推文。</p>
<p>它使用逻辑回归模型高效地对关注的人的推文进行排名，以其相关性为基础。然后将排名最高的推文发送到下一阶段。</p>
<p>排名内部网络推文最重要的组成部分是 Real Graph。</p>
<p>Real Graph 是一种模型，用于预测两个用户之间的互动可能性。用户和推文作者之间的 Real Graph 分数越高，就会包括更多他们的推文。</p>
<p>内部网络来源最近成为 Twitter 的研究对象。最近 Twitter 停止使用 Fanout 服务，这是一个 12 年前用来从每个用户的推文缓存中提供内部网络推文的服务。</p>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/a9fae1aa32954aefa2acff02f0a0880d~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPUZHSHVQYzJiamRpeE9uaWhkTS9zTlQzR0d2az0?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="327" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/a9fae1aa32954aefa2acff02f0a0880d~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPUZHSHVQYzJiamRpeE9uaWhkTS9zTlQzR0d2az0"/></div>
<h1>外部网络资源（Out-of-Network Sources）</h1>
<p>在用户网络之外寻找相关的推文是一个棘手的问题。</p>
<p>因为如果你不关注作者，怎么知道某条推文是否与你相关？</p>
<p>为此，Twitter 采取了两种方法来解决这个问题。</p>
<p>一个是社交图（Social Graph）。</p>
<p>这个方法是通过分析你关注的人或有相似兴趣的人的活动，来估计你会发现什么是相关的。</p>
<p>主要遍历参与的图，并按照以下步骤回答以下问题：</p>
<ul>
<li>我关注的人最近在 Twitter 上发了什么消息？</li>
<li>谁和我一样喜欢类似的推文，他们最近还喜欢什么？</li>
</ul>
<p>团队根据这些问题的答案生成候选推文，并使用 Logit 模型对产生的推文进行排名。</p>
<p>这种类型的图形遍历对于外部网络推荐是必不可少的；团队开发了 GraphJet，一个维护用户和推文之间实时交互图的图形处理引擎，来执行这些遍历。</p>
<p>虽然这种搜索 Twitter 参与和关注网络的启发式方法已经被证明是有用的，但嵌入式空间方法已经成为外部网络推文的更大来源。</p>
<p>第二个是嵌入空间（Embedding Spaces）。</p>
<p>嵌入式空间方法旨在回答一个关于内容相似性的更普遍的问题——什么推文和用户与我的兴趣相似？</p>
<p>Embeddings 通过生成用户兴趣和推文内容的数字表示来工作。然后可以计算这个嵌入空间中任意两个用户之间的相似度，推文或用户 - 推文 对。</p>
<p>只要生成准确的 embedding，就可以使用这种相似性作为相关性的替代。</p>
<p>Twitter 最有用的嵌入空间之一是 SimClusters。</p>
<p>SimClusters 使用自定义矩阵分解算法发现由一群有影响力的用户锚定的社区（有 14.5 万个社区，每三周更新一次）。</p>
<p>用户和推文在社区空间中表示，并且可以属于多个社区。社区的规模从个人朋友群的几千名用户到新闻或流行文化的数亿用户不等：</p>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/c9a943f778da45c5aa49b5af3e4346c6~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPXYzblU5VCtvSGRlaWVScHNzQ1lLVUMvRXhHUT0?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="419" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/c9a943f778da45c5aa49b5af3e4346c6~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPXYzblU5VCtvSGRlaWVScHNzQ1lLVUMvRXhHUT0"/></div>
<p>……</p>
<p>更多与之相关的详细内容，可戳文末链接～</p>
<h1>One More Thing</h1>
<p>Twitter 的算法开源了，然后手快的网友吧……都已经开始根据算法总结怎么成为大 V 了：</p>
<p>你关注的人数和关注你的人数比例很重要、订阅 TwitterBlue 有一定作用……</p>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/854265c705574ceb9fb7d14354c5c66c~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPU9Sa1Z6QWtwZlhhUzErOVRmV2Y2WDdCOFRqQT0?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="663" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/854265c705574ceb9fb7d14354c5c66c~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPU9Sa1Z6QWtwZlhhUzErOVRmV2Y2WDdCOFRqQT0"/></div>
<p>参考链接：<br/>[1] https://blog.twitter.com/engineering/en_us/topics/open-source/2023/twitter-recommendation-algorithm<br/>
[2] https://github.com/twitter/the-algorithm<br/>
[3] https://twitter.com/elonmusk/status/1641874582473695246<br/>
[4] https://twitter.com/steventey/status/1641892386564640768?s=46&amp;t=iTysI4vQLQqCNJjSmBODPw</p>

<p>网友已经在总结怎么成大 V 了</p>

马斯克开源 Twitter 推荐算法，GitHub 秒破万星，还承诺每 24-48 小时进化一次