2023 Google 开发者大会：基于 TensorFlow 造就活色生香的膳食生成艺术

﹏ヽ暗。殇╰゛Y 2024-04-01 10:17 56阅读 0赞

#### 文章目录 ####

*  前言
 *  一、关于 Google 开发者大会
 *   *  1.1、什么是 Google 开发者大会？
     *  1.2、CSDN 上线 2023 Google 开发者大会专题页
 *  二、关于吃的话题
 *   *  2.1、食物选择的普遍性
     *  2.2、探讨食物的重要性
 *  三、健康饮食中的食材感知与关联探讨
 *   *  3.1、项目团队组建及研发进展
     *  3.2、基于小样本的预训练 CNN 图像识别
     *  3.3、食物感知 APP 开发
 *  四、基于时空网络的膳食生成应用
 *   *  4.1、不仅要吃得好，还要吸收得好
     *  4.2、时空图数据挖掘理论
     *  4.3、多维度推荐系统
 *  五、膳食文化与数据智能模型技术
 *   *  5.1、ChatGLM 的应用与优化
     *  5.2、饮食和健康的延伸
 *  总结

--------------------

## 前言 ##

“民以食为天”，中华美食文化源远流长，现代生活“食”尚追求科学饮食，维生素、蛋白质、糖分热量都要计算，还要结合每天的运动量达到合理饮食，均衡膳食。面对五颜六色、琳琅满目的食材，到底该如何选择呢？本期技术内容来由中国科学技术大学赵振刚老师于 2023 Google 开发者大会分享，其团队开展了将 AI 和 TensorFlow 技术应用于美食相关方面的一些工作。

![在这里插入图片描述][9f800ea3ee7949cc98c83d11d96e36b1.png_pic_center]

--------------------

声明：本文由作者“白鹿第一帅”于 CSDN 社区原创首发，未经作者本人授权，禁止转载！爬虫、复制至第三方平台属于严重违法行为，侵权必究。亲爱的读者，如果你在第三方平台看到本声明，说明本文内容已被窃取，内容可能残缺不全，强烈建议您移步“白鹿第一帅” CSDN 博客查看原文，并在 CSDN 平台私信联系作者对该第三方违规平台举报反馈，感谢您对于原创和知识产权保护做出的贡献！

--------------------

**文章作者**：[白鹿第一帅][Link 1]，**作者主页**：[https://blog.csdn.net/qq\_22695001][Link 1]，未经授权，严禁转载，侵权必究！

## 一、关于 Google 开发者大会 ##

### 1.1、什么是 Google 开发者大会？ ###

![在这里插入图片描述][1e27c0c423a04b56bbcd621846d051e3.png_pic_center]  
Google 开发者大会旨在向开发者展示谷歌最新的技术、产品、应用和开发工具等，同时也给开发者们提供了一个交流互动的平台，让他们能够和谷歌公司的工程师和其他开发者进行交流和互动，分享创意，交流经验，探讨未来的发展方向和趋势，并共同探讨如何利用最新的技术和工具来推动互联网的发展和创新。大会内容涵盖了广泛的领域，包括机器学习、Web 技术、移动开发、云计算、物联网等，每年都会发布一系列重要的开发工具更新。

**9 月 6 日 - 7 日，2023 Google 开发者大会在上海举办。**

### 1.2、CSDN 上线 2023 Google 开发者大会专题页 ###

CSDN [上线 2023][2023] Google 开发者大会的专题页，[无法亲临现场的开发者可以通过观看主旨演讲、专题演讲回放视频，全方位了解重磅技术更新和专业行业洞察https://marketing.csdn.net/p/8b1b4b3f5f0fe4c3cdf1c2d5e42a05c3][2023]

![在这里插入图片描述][f477a53dae6a4ab8a66fd085a40d6b2f.png_pic_center]

## 二、关于吃的话题 ##

### 2.1、食物选择的普遍性 ###

食物是人类赖以生存、繁衍的基础，关乎全人类的生存和命运。吃得饱是人们的基本需求，吃得好是人们的共同追求。在快餐盛行的今天，我们大多数人每天都面临着“吃什么”的选择。

![在这里插入图片描述][4aaf31faefd74176aaa329ef20f6f696.png_pic_center]

### 2.2、探讨食物的重要性 ###

“吃什么”不仅仅是个日常话题，也是科学家们关注的重要命题，“吃什么样的食物”或“吃得多少”与我们的健康密切相关，下图是 Nature 的子刊当中关于食物感知的相关研究，我们可以看到其中提到了关于“**食材感知**”的技术。

![在这里插入图片描述][bc1ea790d7d844c985973b4a8f5c971d.png_pic_center]  
所谓**食物感知，就是通过食物的图像、检验、指标等多个特征来分析食物的营养及其对人体系统的影响，食物感知可以帮助人们科学饮食、均衡膳食**。

## 三、健康饮食中的食材感知与关联探讨 ##

### 3.1、项目团队组建及研发进展 ###

那么能否通过运用 AI 技术来实现食物感知，从而提高人们的生活质量呢？在这样的思考下，赵振刚老师团队的项目应运而生，在两年前的一次谷歌的技术交流会上，组建了项目的初始团队，并且启动了“益食”项目的开发。

![在这里插入图片描述][a2dd0a7a0f56417d920d9358aa2420c7.png_pic_center]  
**理论方法**：

*  数据集处理和小样本识别研究。
 *  基于小样本的预训练 CNN 图像识别。

**工程开发**：

*  **搭建食材数据库**：广泛收集食材标本，设定训练集、测试集、验证集。
 *  **以 TensorFlow 2.0 框架搭建识别食材神经网络**：深度学习训练神经网络，优化神经网络，提高食材的识别率。

**实际应用**：

*  **基于 TensorFlow 的轻量级食材识别**：一款食材与食谱搭配的 APP——益食。

### 3.2、基于小样本的预训练 CNN 图像识别 ###

由于食物数据集相对较少，并且食物形态缺少结构化特征，团队选择了小样本学习方法。**小样本方法是指通过几个样本来进行高质量识别，人类拥有单样本学习的能力，通过泛化一个例子就可以学习新的概念**，对事物图像新类别的学习也同样可以借鉴。

例如在下图中有十几个我们常见的动物，当你看到右图动物的时候，很容易把它分辨出来，这是一只水獭，这是我们人类的所特有的智能认知能力，而小样本学习也正是模拟人类的这种认知水平。

![在这里插入图片描述][00d98777bb0a4d28ba3fd157f9de0fe2.png_pic_center]  
在此方法指导下，团队先后研究了国外各种经典的食物数据集，并且实现在大规模数据集（many-shot）上预训练模型，使用该 CNN 模型的特征提取器得到食品图像的特征向量，再迁移到我们国内的有中华美食的数据集（few-shot）上训练分类器做食品图像识别，实现了特征相量化和就近相似度匹配。

![在这里插入图片描述][ed8a0097b22a484ba44e09d15ff0797a.png_pic_center]  
在实验工作当中，团队实现了在 TensorFlow 的技术上有 96.3% 识别率，比同类方法高 2~3 个百分点。

### 3.3、食物感知 APP 开发 ###

在基于小样本的预训练 CNN 图像识别基础上，团队通过 TensorFlow 构建了移动端智能 APP。

![在这里插入图片描述][ad71fbba067041f3a02b0982cb3d49c3.png_pic_center]

*  **端侧部署**：为了匹配移动端算力有限的限制，通过简化模型来实现端测部署。减少网络时延，缓解服务器压力，充分利用手机端算力。
 *  **Mosaic 数据增强**：考虑到手机拍摄时相机角度的随机性，引入 Mosaic 数据增强方法，将图像在不同角度下进行旋转。把不少于 4 张图片，通过随机缩放、随机截减、随机排布的方式进行拼接，扩充了数据集的数量，增加小样本的数量。
 *  **多帧缓冲**：设计多帧缓冲来对数帧画面进行综合判定，解决了因画面抖动或环境复杂导致的识别异常问题。

![在这里插入图片描述][03c342e87f23477a8a9e1899217e2c07.png_pic_center]

*  **同帧不同框**：实现同一帧多食材识别，在同一帧画面中截处多块，使模型在同一画面多个目标食材条件下实现近实时推演速度。

下图是通过端侧部署、数据增强技术后不断提升的增强曲线以及同帧不同框下多食材同时识别的效果和通过多帧缓冲技术之后画面消抖实现的稳定识别效果。

![在这里插入图片描述][4f6b61ede4d2475aa018b8f9d01f7084.png_pic_center]  
第一版的益食 APP 对 25 种以上的核心食材实现了高达 97% 以上的识别率。

![在这里插入图片描述][f95157a9cb7a4d34b7200fc53a4d211c.png_pic_center]

## 四、基于时空网络的膳食生成应用 ##

### 4.1、不仅要吃得好，还要吸收得好 ###

中国饮食讲究时令，有“不时不食”的说法，仅仅完成食材识显然不是团队的目的，对于健康饮食而言，和时间有非常强的相关性，这也是我们传统饮食、中医养生在长期民族文化中积累的精华。

![在这里插入图片描述][aeacbbd2725e4d03ae88dc73034c0cf0.png_pic_center]

### 4.2、时空图数据挖掘理论 ###

在与专门研究**时空图数据挖掘领域**的项目团队讨论后，团队提出了**基于时空网络的膳食生成应用技术路线图**。团队采集了美食菜谱用户的饮食偏好等各类数据，结合时空建模，生成了基于 AI 的健康食谱推荐模型，在模型指导下，进一步积累并融合用户饮食的时空上下网信息，从而构建一个随时间变化的饮食时空网络，为用户推荐个性化食谱。

![在这里插入图片描述][c5cd88a4b2a9470aa8edd256eef1f3a2.png_pic_center]

### 4.3、多维度推荐系统 ###

之后团队进行了 TensorFlow 2.0 的相关移植和模型的调优，引入了时间相关维度，将一年 365 天量化为 24 个节气，即 24 个元素的向量，通过食材契合、标签匹配饮食偏好、营养结构分析和季节时令多个特征比对，实现精准的个性化健康饮食推荐。在这样的模型指导下，让“每天吃什么？”这个问题变得不再困难。

![在这里插入图片描述][c24cd8bb4a724545bc3aaff3fdea8b1f.png_pic_center]  
**以知识图谱组织非结构化数据**：

*  广泛收集食谱样本。
 *  挖掘食材间关系。

**以文本特征补偿图像分析结果**：

*  常见食材搭配。

**以 24 节气构建时间序列**：

*  时令推荐。

**融合饮食与运动记录**：

*  短期个体因子。

为此团队进行了专项训练，构建除了智能膳食 APP 之外的单项维度测试网站，让更多学生、老师用户参与进来进行规模化训练。

![在这里插入图片描述][591666cd883a442f99b41c32a1e2a2c0.png_pic_center]  
下图是益食 2.0 版本，综合实现了**食材识别、膳食推荐、食谱排行、运动社区、拼盘生成**等几大功能，在 APP 指导下，用户可以完成在菜场买菜、做菜、烹饪等各个环节的指导工作。

![在这里插入图片描述][6986f9728f8e4a699cf9db2b037f34e2.png_pic_center]  
也许“我们晚饭吃什么？”这个问题可以这样来解决？

![在这里插入图片描述][dab34565111e4f378f8034f9064cccf1.png_pic_center]  
![在这里插入图片描述][83655fac53604ac0adf65c4ee41817ce.png_pic_center]  
![在这里插入图片描述][8928a096274642209e3b009630c40edf.png_pic_center]

## 五、膳食文化与数据智能模型技术 ##

### 5.1、ChatGLM 的应用与优化 ###

吃得有味道是人类更高的饮食追求，饮食是各国文化与情感联络的符号。中华美食誉满天下，不但追求“色、香、味”俱全和“滋、养、补”的特点，而且随着社会的发展，菜式越来越丰富，吃法也是越来越多样。吃饭成为人们联系感情、社交活动的重要组成部分。

![在这里插入图片描述][f47acd20bf914382b21ab014d8e96741.png_pic_center]  
艺术离不开丰富的语料，系统接入了大语言模型 ChatGLM，团队并针对**解决智能膳食这一个专业问题**，进行了专门的调优。

![在这里插入图片描述][32e9312e312b4588822438053019d810.png_pic_center]

*  **广泛的知识储备**：ChatGLM 经过了广泛的训练，掌握了大量的常识信息，因此可以为用户提供准确、符合逻辑的回答。
 *  **强大的中文能力**：在 7 个零样本 CLUE 数据集和 5 个零样本 FewCLUE 数据集上进行了训练，理解能力和生成能力强。
 *  **finetune 方案**：LoRA 低秩自适应方法。冻结原模型参数，将可训练的秩分解矩阵注入 Trasformer 的每一层。优化之后的模型可以生成智能度高、自然度高的智能对答。

例如下面这是关于到菜品的人际对话，微调前的模型对话结果仅仅能罗列我们可以吃的一些比较好的菜品，经过微调之后，可以同时将食材健康指数和用户个性化匹配指数全部给出，更为智能化。

输入如下参数：

Prompt = "以胡萝卜、火龙果为主要食材，生成一道菜谱，要求：难度为简单、口味为微甜，工艺为炒"

top_p = 0.6 Temperature = 0.95

![在这里插入图片描述][aa1a178f72954109885443c9d20cb050.png_pic_center]

### 5.2、饮食和健康的延伸 ###

关于饮食和健康延伸，团队也做了相关工作。下面是微调前对于健康相关的问答，原来的模型缺乏专业知识，相对简单，而微调之后，它具有一定的自我推理和认知能力，能够将饮食、身体健康、季节时令都关联起来，让人看得懂、听得懂、还会做。

![在这里插入图片描述][ba5513ce0f04444cbd934ecde96b6bb8.png_pic_center]  
益食 APP 2.0 除了食材识别菜品推荐之外，还有品牌生成、菜品分析、文化溯源等功能，不仅要吃得好，还要在吃的时候让人们更加享受生活，也许你可以这样来吃饭？

![在这里插入图片描述][3881923a4f5a4f64983686103832fef5.png_pic_center]  
如上就是团队将 AI 和 TensorFlow 应用于美食文化方面的工作，相信将来，会有更多的领域相关工作可以应用于乡村振兴与老人健康。

--------------------

**文章作者**：[白鹿第一帅][Link 1]，**作者主页**：[https://blog.csdn.net/qq\_22695001][Link 1]，未经授权，严禁转载，侵权必究！

--------------------

## 总结 ##

我们通过应用 AI 和 TensorFlow 技术，可以将传统文化的音乐、舞蹈、戏剧等进行数字化保存和传承，同时也可以通过人工智能的技术手段，吸引更多年轻人对传统文化的关注和了解，从而在数字时代中保护和传承传统文化。乡村振兴需要结合数字化技术手段，通过技术手段，可以对农业、林业、渔业等传统产业进行优化和升级，提高资源利用效率和产业竞争力，推动新型农村经济的发展，促进乡村振兴。

![在这里插入图片描述][278b93b323204263885624eeeb50c825.png_pic_center]

--------------------

> 我是白鹿，一个不懈奋斗的程序猿。望本文能对你有所裨益，欢迎大家的一键三连！若有其他问题、建议或者补充可以留言在文章下方，感谢大家的支持！

[9f800ea3ee7949cc98c83d11d96e36b1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/935d7708f90e470ca6ec065142805c16.png
[Link 1]: https://blog.csdn.net/qq_22695001
[1e27c0c423a04b56bbcd621846d051e3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/a5959fa7da274dceaf8af206e065df41.png
[2023]: https://marketing.csdn.net/p/8b1b4b3f5f0fe4c3cdf1c2d5e42a05c3
[f477a53dae6a4ab8a66fd085a40d6b2f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/21bdc2aa420445c6ae8c831de3be82d8.png
[4aaf31faefd74176aaa329ef20f6f696.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/31be5c2762794a9bab1920ebd63475f9.png
[bc1ea790d7d844c985973b4a8f5c971d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/543051a509d64ff2aa28a9b4f2a6ad06.png
[a2dd0a7a0f56417d920d9358aa2420c7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/cd49c33275ce4f50b693b778ebdf5825.png
[00d98777bb0a4d28ba3fd157f9de0fe2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/23a238a1a06a47a28d45886da87b9cd0.png
[ed8a0097b22a484ba44e09d15ff0797a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/6c08b419d8d6448ba5c6af646255ece3.png
[ad71fbba067041f3a02b0982cb3d49c3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/a40a2be72c5744b08bd1ae28e5785b4d.png
[03c342e87f23477a8a9e1899217e2c07.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/98cf65f4d4b64c0fac5aa39c509dcf5e.png
[4f6b61ede4d2475aa018b8f9d01f7084.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/357ab40bd1f846f7ab84968e15ba2cd3.png
[f95157a9cb7a4d34b7200fc53a4d211c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/a1ee891476074deeb61eaf520605dd38.png
[aeacbbd2725e4d03ae88dc73034c0cf0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/af159bfc014c41928b1e8f399f0e2a98.png
[c5cd88a4b2a9470aa8edd256eef1f3a2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/9bb49d68065549738fc38a3705b36f7f.png
[c24cd8bb4a724545bc3aaff3fdea8b1f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/31c9934d0ef449aa9311845c7f57ee65.png
[591666cd883a442f99b41c32a1e2a2c0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/dbd68bbe07de480d92b044e1b00cb337.png
[6986f9728f8e4a699cf9db2b037f34e2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/cba32c2e9f3f45f786f2b9a1391ddfbe.png
[dab34565111e4f378f8034f9064cccf1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/6a40b7e5e9604e5eb253d8801802d0a7.png
[83655fac53604ac0adf65c4ee41817ce.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/32c10390b1fb4cc0a761ea555d24d2eb.png
[8928a096274642209e3b009630c40edf.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/cd568b98ea3143758358d5dcc3ae5bbf.png
[f47acd20bf914382b21ab014d8e96741.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/24af4204a9ad411688c64070fba742a8.png
[32e9312e312b4588822438053019d810.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/4db24aacb90845a9aac12ce3f27095de.png
[aa1a178f72954109885443c9d20cb050.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/7c2cfa3c92734677815a7ae92efbbba9.png
[ba5513ce0f04444cbd934ecde96b6bb8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/a0a22d424a5841b59816cb266f04fbda.png
[3881923a4f5a4f64983686103832fef5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/6d3789b51c284e94a4ff3cb0e9bd85e6.png
[278b93b323204263885624eeeb50c825.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/1b45b73854ed4addb5419a14da7e064b.png